Adaptive Block-Scaled Data Types

1. O Problema

A redução da precisão numérica para 4 bits (FP4) é crucial para acelerar o treinamento e a inferência de Grandes Modelos de Linguagem (LLMs) em hardware moderno (como GPUs NVIDIA Blackwell e AMD MI355X). No entanto, formatos de 4 bits existentes, como o NVFP4 (o padrão atual suportado pelo hardware), apresentam limitações significativas:

• Distribuição de Erro: O NVFP4 utiliza um formato de ponto flutuante (E2M1) escalado por blocos. Recentemente, observou-se que esse formato gera grandes quantidades de erro de quantização para valores próximos ao máximo representável dentro de cada grupo de 16 valores.
• Ineficiência em Dados Uniformes: Quando os dados passam por transformações (como a Transformada de Hadamard) para suavizar outliers, a distribuição torna-se mais uniforme. Nesse cenário, o NVFP4 performa pior do que formatos inteiros (INT4), pois a distribuição de erro do ponto flutuante não é ideal para dados uniformes.
• Soluções Atuais com Desvantagens: A técnica "Four Over Six" (4/6) tenta mitigar isso adaptando o valor máximo do bloco para 4 ou 6. No entanto, escolher o valor 4 sacrifica dois valores úteis do conjunto de 16 (os valores ±6) e reduz o intervalo dinâmico global do tensor em 42,9%, limitando a eficácia em cenários de treinamento.

2. Metodologia: Tipos de Dados Adaptativos em Blocos

Os autores propõem uma nova classe de formatos chamada Adaptive Block-Scaled Data Types, com foco principal no formato IF4 (Int/Float 4).

• Conceito Central: Em vez de forçar um único formato (apenas FP4 ou apenas INT4) para todo o tensor, o IF4 permite que cada grupo de 16 valores escolha dinamicamente entre duas representações:
  1. FP4: Valores armazenados como ponto flutuante (E2M1).
  2. INT4 Escalonado: Valores armazenados como inteiros escalados.
• Mecanismo de Seleção:
  • O algoritmo quantiza o grupo de 16 valores para ambos os formatos (FP4 e INT4).
  • Calcula o Erro Quadrático Médio (MSE) para ambas as opções.
  • Seleciona a representação com o menor erro.
• Codificação Eficiente: A escolha do formato é indicada usando o bit de sinal do fator de escala (scale factor). No NVFP4, esse bit é inútil (pois os valores individuais já têm seus próprios bits de sinal e o fator de escala é sempre positivo). No IF4, esse bit é reutilizado como um "indicador":
  • 0: O grupo está no formato FP4.
  • 1: O grupo está no formato INT4 escalonado.
• Método 6/7: Para garantir que o intervalo dinâmico seja mantido quando se usa INT4, os valores do grupo selecionado como INT4 são escalados por um fator de 7/6 antes da quantização e desescalados por 6/7 durante a multiplicação. Isso permite que o valor máximo representável seja 6 (igual ao FP4), evitando a perda de intervalo dinâmico que ocorria na técnica 4/6.
• Extensões: O conceito é generalizado para outros tamanhos de bits, propondo IF3 (3 bits) e IF6 (6 bits).

3. Contribuições Principais

1. Novo Formato de Dados (IF4): Introdução de um formato híbrido que adapta a representação (Inteiro vs. Flutuante) por bloco, eliminando o overhead de memória (usa o mesmo espaço que o NVFP4).
2. Redução de Erro de Quantização: Demonstra que a seleção adaptativa reduz significativamente o MSE (Mean Squared Error) em comparação com NVFP4, NVINT4 e a técnica 4/6, especialmente em dados com distribuições uniformes ou transformadas.
3. Viabilidade de Hardware: Projeto e síntese de uma unidade de Multiply-Accumulate (MAC) para IF4. A análise mostra que o overhead de latência é de apenas 4,7% e o overhead de área/energia é gerenciável, especialmente considerando que a maioria das cargas de trabalho de IA é limitada por largura de banda de memória, não por computação.
4. Extensão para Outros Bits: Validação do conceito para formatos de 3 bits (IF3) e 6 bits (IF6), mostrando que a abordagem adaptativa é superior em vários cenários de precisão.

4. Resultados Experimentais

Os autores avaliaram o IF4 em cenários de Treinamento Quantizado (W4A4G4) e Quantização Pós-Treinamento (PTQ W4A4) em modelos como Qwen3.5 e Nemotron 3.

• Treinamento (W4A4G4):
  • O IF4 superou o NVFP4, alcançando uma perda de treinamento (training loss) mais próxima da linha base de alta precisão (BF16).
  • A melhoria foi particularmente notável quando combinado com técnicas de estimativa de gradiente não enviesada (MS-EDEN), onde o IF4 conseguiu adaptar-se melhor aos dados transformados.
• Quantização Pós-Treinamento (PTQ):
  • Perplexidade: Em modelos de diferentes tamanhos (de 4B a 397B), o IF4 obteve a menor perplexidade no conjunto de dados WikiText-2 e C4, superando NVFP4, NVINT4 e MXFP4.
  • Tarefas de Downstream: O IF4 alcançou a maior precisão média em tarefas como ARC-Easy, ARC-Challenge, HellaSwag, LAMBADA e PIQA.
  • Comparação: O IF4 superou consistentemente o NVFP4 e o NVINT4, demonstrando que a capacidade de adaptar o formato por bloco é mais eficaz do que usar um formato fixo.
• Desempenho de Hardware:
  • A unidade MAC de IF4 sintetizada em tecnologia CMOS de 28nm apresentou uma latência de 4,00 ns (vs 3,82 ns do NVFP4), uma diferença de 4,7%.
  • O aumento de área (66,6%) e potência (27,8%) foi considerado aceitável, pois em um acelerador real, o MAC é apenas uma fração do custo total, e o gargalo costuma ser a memória.

5. Significado e Impacto

Este trabalho é significativo porque resolve o dilema fundamental da quantização de 4 bits: a dificuldade de representar tanto outliers (melhor com FP) quanto dados uniformes (melhor com INT) simultaneamente.

• Eficiência sem Custo de Memória: Ao contrário de soluções que exigem mais bits ou metadados extras, o IF4 oferece adaptabilidade sem aumentar o custo de armazenamento.
• Facilitação do Treinamento em 4 bits: Ao reduzir o erro de quantização e o viés, o IF4 torna o treinamento completo de LLMs em 4 bits (W4A4G4) mais viável e estável, permitindo que modelos grandes sejam treinados e inferidos em hardware de próxima geração com menor consumo de memória e maior velocidade.
• Padrão Futuro: A proposta sugere que os futuros formatos de dados para IA não devem ser estáticos, mas sim adaptativos, explorando bits "inativos" (como o bit de sinal do fator de escala) para ganhar flexibilidade lógica.

Em resumo, o IF4 representa um avanço na arquitetura de dados para IA, oferecendo o "melhor dos dois mundos" (precisão de ponto flutuante e uniformidade de inteiros) dentro do mesmo bloco de memória, superando os limites atuais do NVFP4.