Resumo Técnico: O Mais Fino é Melhor? Os Limites dos Formatos de Microescalonamento em Grandes Modelos de Linguagem

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) escalam em tamanho e contexto, a redução da precisão numérica tornou-se essencial para a eficiência de treinamento e inferência. Embora os fabricantes de hardware tenham migrado de FP16 para FP8 e agora para FP4, reduzir a precisão abaixo de 8 bits frequentemente causa uma degradação substancial na acurácia, particularmente quando tanto os pesos quanto as ativações são quantizados.

Formatos de microescalonamento (ex: MXFP4, NVFP4) abordam isso particionando tensores em pequenos blocos onde os elementos compartilham um único fator de escala. Isso permite uma compressão agressiva mantendo a acurácia através de um controle mais fino do que a quantização por tensor ou por canal. No entanto, a tendência da indústria é mover-se para tamanhos de bloco cada vez menores para minimizar o erro de quantização.

Este artigo identifica um fenômeno contraintuitivo: diminuir o tamanho do bloco abaixo de um determinado limite pode, paradoxalmente, aumentar o erro de quantização e degradar o desempenho do modelo (perplexidade). Esta "inversão de perplexidade" contradiz a expectativa padrão de que blocos menores resultam em uma melhor representação do tensor. Os autores investigam por que isso ocorre, especificamente ao usar escalas FP8 unsigned E4M3, e propõem uma solução amigável ao hardware.

Metodologia

Os autores empregam uma abordagem dual combinando a análise experimental de modelos pré-treinados com um rigoroso arcabouço teórico.

1. Análise Experimental

• Monitoramento do Gap de Perplexidade: Os autores mediram o gap de perplexidade entre modelos de microescalonamento FP4 e suas bases de 16 bits através de vários tamanhos de bloco (de 256 até 8) para múltiplos modelos (ex: Granite-3.3-8b, Llama-3.1-8b, Mixtral-8x7b).
• Decomposição de Erro: Eles analisaram o Erro Quadrático Médio (MSE) em uma base por bloco e por tensor. Ao comparar tamanhos de bloco (ex: 8 vs. 16), isolaram instâncias onde blocos menores resultaram em um MSE maior.
• Correlação de Distribuição: O estudo correlacionou o MSE com o desvio padrão ($\sigma$) das distribuições de peso. Observaram que modelos com distribuições de peso estreitas (baixo $\sigma$) eram mais suscetíveis à inversão de erro ao usar escalas UE4M3.

2. Arcabouço Teórico

Para explicar a anomalia, os autores derivaram um modelo teórico para o MSE de quantização de microescalonamento:

• Distribuições Ideais: Eles validaram que os pesos de modelos pré-treinados seguem de perto uma distribuição Normal ($\mu=0$, $\sigma$ variável).
• Fontes de Erro: O arcabouço desacopla o MSE total em três contribuições distintas:
  1. Elementos não máximos: Erro ao quantizar elementos $x_i \neq x_{max}$.
  2. Elemento máximo: Erro ao quantizar o próprio máximo do bloco $x_{max}$ (que é não-zero quando as escalas são quantizadas).
  3. Arredondamento para zero (Zero-rounding): Erro que ocorre quando o máximo do bloco cai abaixo do valor de escala mínimo representável, fazendo com que todos os elementos no bloco sejam arredondados para zero.
• Impacto da Quantização de Escala: A teoria demonstra que, para distribuições estreitas (pequeno $\sigma$), a contribuição de erro proveniente da quantização do fator de escala (especificamente a incapacidade de representar valores muito pequenos não-zero com precisão) domina o erro total. À medida que o tamanho do bloco diminui, a probabilidade de encontrar esses blocos estreitos aumenta, e a gama dinâmica limitada das escalas UE4M3 (valor mínimo não-zero $2^{-9}$) falha em representá-los, levando à inversão de erro observada.

Contribuições Principais

1. Descoberta da Inversão de Perplexidade: O artigo identifica e caracteriza uma anomalia específica onde a redução do tamanho do bloco em formatos de microescalonamento FP4 (com escalas FP8 UE4M3) aumenta o erro de quantização para modelos com distribuições de peso estreitas.
2. Arcabouço Teórico: Os autores fornecem um arcabouço matemático de primeiros princípios que desacopla as fontes de erro de quantização. Este arcabouço prevê com precisão o ponto de cruzamento onde blocos menores se tornam prejudiciais, mostrando concordância notável com os dados experimentais de distribuições Normais ideais e de modelos pré-treinados reais.
3. Solução Amigável ao Hardware (UE5M3): Com base no insight de que a gama dinâmica limitada das escalas é a causa raiz, os autores propõem o uso de FP8 unsigned E5M3 (UE5M3) para os fatores de escala.
   • O UE5M3 reaproveita o bit de sinal não utilizado do formato padrão UE4M3 para estender a gama do expoente.
   • Isso reduz o valor mínimo não-zero representável de $2^{-9}$ (UE4M3) para $2^{-17}$ (UE5M3), permitindo a representação precisa de blocos estreitos sem exigir um escalonamento global por tensor.
   • Os autores demonstram que esta modificação requer mudanças insignificantes de hardware, pois utiliza a lógica existente para os formatos E5M2 e E4M3.

Resultados

• Validação Experimental: As curvas teóricas de MSE vs. $\sigma$ coincidiram com os dados experimentais com alta precisão ($\chi^2 \approx 4 \cdot 10^{-8}$). O modelo previu corretamente que modelos como o Granite-3.3-8b (distribuição estreita) sofreriam de inversão no bloco 16, enquanto o Llama-2-7b (distribuição mais larga) não sofreria.
• Desempenho do UE5M3:
  • A aplicação de escalas UE5M3 ao microescalonamento FP4 eliminou a inversão de perplexidade observada com o UE4M3.
  • Acurácia: Em uma suíte de benchmarks (Wiki, PIQA, HellaSwag, Winogrande, GSM8K, MMLU), o UE5M3 alcançou desempenho comparável ou superior ao formato convencional UE4M3 com escalonamento por tensor (UE4M3-S).
  • Eficiência: Diferente do UE4M3-S, que exige escalonamento dinâmico por tensor (aumentando o custo computacional ou exigindo pré-calibração), o UE5M3 opera sem operações de escalonamento global, mantendo a eficiência de hardware.
  • Robustez: A solução manteve-se constante em várias arquiteturas, incluindo LLMs baseados em atenção, Modelos de Espaço de Estado (SSM) e modelos híbridos.

Significância e Alegações

O artigo alega que a suposição de que "mais fino é melhor" no microescalonamento possui um limite fundamental impulsionado pela interação entre distribuições de tensores estreitas e a gama dinâmica limitada das escalas quantizadas.

• Insight Crítico: A anomalia não é uma falha no conceito de microescalonamento em si, mas uma limitação específica do padrão atual (escalas UE4M3) quando aplicado a certas distribuições de dados.
• Impacto Prático: O formato proposto UE5M3 oferece um caminho para desbloquear todo o potencial da precisão sub-8-bit (especificamente FP4) sem as penalidades de acurácia associadas a tamanhos de bloco menores.
• Viabilidade de Hardware: Os autores enfatizam que sua solução é "amigável ao hardware", exigindo apenas modificações menores nos designs existentes de aceleradores de IA (estendendo a lógica do expoente por um bit) em vez de uma reformulação arquitetônica completa.

O trabalho serve como um guia para fornecedores de hardware e desenvolvedores de modelos para evitar armadilhas de acurácia em formatos de quantização de próxima geração e fornece uma ferramenta teórica para analisar o impacto de reduzir ainda mais a precisão (por exemplo, para elementos sub-4-bit ou escalas sub-8-bit).