An 84-Format Numeric Catalog with Bit-Exact Conformance Vectors: A Vendor-Neutral Reference for FP8, BF16, MXFP4, and Microscaling Formats
Este artigo apresenta um catálogo independente de fornecedores de 84 formatos numéricos e seis pacotes de conformidade bit a bit, completos com artefatos JSON validados cruzadamente e um mapeamento cruzado IEEE P3109, para fornecer uma referência compartilhada para diagnosticar divergências silenciosas em implementações de hardware de aprendizado de máquina.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é um mestre carpinteiro tentando construir uma cadeira. Você tem um projeto que diz: "Corte esta perna com 24 polegadas". Mas, quando você vai à loja de ferragens, encontra três réguas diferentes: uma diz "24 polegadas", outra diz "24,1 polegadas" e uma terceira diz "24 polegadas, mas se você cortar além de 24, a madeira vira pó".
Se você usar a régua errada, sua cadeira pode parecer boa no início, mas irá balançar ou quebrar quando alguém se sentar nela.
Este artigo trata de um problema semelhante no mundo dos chips de Inteligência Artificial (IA). Engenheiros estão construindo "réguas" (formatos numéricos) mais rápidas e menores para medir números para IA. Eles criaram dezenas de novos tipos, como FP8, BF16 e MXFP4. O problema é que, embora todos concordem com o nome da régua (por exemplo, "FP8 E4M3"), eles nem sempre concordam sobre como as marcações são posicionadas. Um chip pode lidar com um número enorme limitando-o a um valor máximo, enquanto outro chip pode simplesmente gerar um erro (NaN) quando esse número fica grande demais.
Este artigo apresenta uma "Régua Mestra Compartilhada" para resolver essa confusão.
O que é este artigo?
O autor, Dmitrii Vasilev, criou duas ferramentas principais para ajudar os engenheiros a falarem a mesma língua:
O "Catálogo de Formatos 84" (A Enciclopédia):
Pense nisso como um dicionário massivo ou um catálogo de biblioteca. Ele lista 84 formas diferentes de computadores armazenarem números, organizadas em 13 famílias. Para cada formato, ele lista as regras exatas: quantos bits são usados, o quão grandes os números podem ficar e o que acontece quando um número é grande demais (ele para no limite ou vira um "Não é um Número" [NaN]?).- Analogia: É como uma lista mestre de todos os tipos de parafusos, porcas e botões existentes, com um diagrama mostrando exatamente quantas roscas cada um possui.
Os "Seis Pacotes de Conformidade" (Os Kits de Teste):
O artigo não apenas lista as regras; ele fornece seis kits de teste específicos para os formatos mais populares usados em hardware de IA atualmente (GF16, MXFP4, BF16, FP8 E4M3, FP8 E5M2 e E8M0).- Cada kit é um arquivo digital contendo uma lista de "números de teste".
- Ele diz exatamente qual deve ser a saída do chip de computador para cada número.
- Inclui um "Número Âncora" especial (o valor 3.0) que serve como uma verificação de sanidade. Se o seu chip não conseguir processar corretamente este número específico, você saberá que algo está errado.
- Analogia: São como "pesos de calibração" que você coloca em uma balança. Se a balança não ler exatamente 3,0 libras quando você coloca o peso de 3 libras, você sabe que a balança está quebrada.
A Grande Descoberta: "A Lacuna de Interpretação"
A parte mais importante do artigo não é apenas que as réguas existem, mas que o autor descobriu dois lugares específicos onde as réguas discordam, mesmo que as regras oficiais permitam ambos.
Lacuna 1 (O Problema do Overflow/Transbordamento): Imagine que um número é tão grande que não cabe no formato.
- O Chip A diz: "Vou apenas limitar ao maior número que eu conseguir conter." (Saturação)
- O Chip B diz: "Não consigo conter isso, então vou transformar em uma mensagem de erro (NaN)."
- Ambos os chips estão seguindo o livro de regras oficial, mas o fazem de forma diferente. Este artigo expõe essa diferença para que os engenheiros não fiquem confusos quando um modelo de IA funciona em um chip, mas falha em outro.
Lacuna 2 (O Problema da Estrutura de Bloco): Alguns formatos agrupam números em "blocos" (como uma caixa de 32 parafusos).
- O Formato A usa uma caixa de 32 parafusos com um rótulo simples.
- O Formato B usa uma caixa de 16 parafusos com um rótulo mais detalhado.
- Mesmo que os parafusos individuais (os números) pareçam os mesmos, a maneira como eles são embalados na caixa altera como todo o conjunto funciona. O artigo destaca que você não pode simplesmente trocar esses formatos sem verificar o "tamanho da caixa".
O que este artigo NÃO é
O autor é muito claro sobre o que este artigo não faz:
- Ele não diz qual formato é "melhor" ou mais rápido.
- Ele não testa o desempenho dos modelos de IA (como a precisão de um chatbot).
- Ele não inventa novos formatos.
- É puramente uma ferramenta de referência para garantir que todos estejam medindo da mesma forma.
Por que isso é importante?
Antes deste artigo, se um engenheiro movesse um modelo de IA de um chip de uma empresa para o de outra, ele poderia obter resultados diferentes e não saber o porquê. Era como tentar construir uma ponte onde uma equipe usava polegadas e a outra usava centímetros, mas nenhuma das duas admitia isso.
Este artigo fornece a régua compartilhada e os pesos de teste. Ele permite que os engenheiros digam: "Ok, meu chip passa no teste do âncora 3.0 e lida com o transbordamento exatamente como o arquivo de referência". Se não passar, eles sabem que têm um erro para corrigir.
Em resumo, este artigo é a fita métrica padronizada para o mundo caótico dos formatos numéricos de IA, garantindo que, quando diferentes empresas construírem hardware de IA, todas estejam falando a mesma linguagem matemática.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.