Finer is Better (with the Right Scaling)

Resumo Técnico: Mais Fino é Melhor (com a Escalabilidade Adequada)

Declaração do Problema
A implantação de Modelos de Linguagem de Grande Escala (LLMs) em arquiteturas de datacenter e de borda depende cada vez mais de formatos de precisão ultra-baixa (4 bits ou menos) para mitigar gargalos de memória e largura de banda. A microescalabilidade, que aplica fatores de escala individuais a pequenos blocos de dados (por exemplo, tamanho 16 ou 32), é uma técnica crítica para preservar a qualidade do modelo nesses regimes. No entanto, um paradoxo recente identificado na literatura [1] contradiz a expectativa intuitiva de que tamanhos de bloco mais finos resultem em menor erro de quantização. Especificamente, ao usar escalonamento padrão de máximo absoluto (abs-max) com fatores de escala E4M3, a redução dos tamanhos de bloco pode paradoxalmente degradar a qualidade do modelo, resultando em maior Erro Quadrático Médio (MSE) e aumento da perplexidade a jusante. Este artigo investiga os mecanismos subjacentes desse fenômeno para determinar se se trata de uma limitação inerente da granularidade fina ou de um problema algorítmico solucionável.

Metodologia
Os autores conduzem uma investigação em duas fases, combinando análise numérica e avaliação de modelo completo:

1. Estudo Numérico: Os autores analisam o comportamento da quantização em vários tamanhos de bloco (4, 8, 16, 32) usando FP4 (OCP E2M1) para dados e E4M3 para fatores de escala. Eles amostram distribuições normais para isolar o comportamento teórico do MSE.
2. Estratégias de Escalonamento: O estudo avalia várias metodologias de escalonamento:
   • Abs-Max Padrão: O método de base onde a escala é o valor absoluto máximo no bloco, arredondado para o valor representável mais próximo no formato E4M3.
   • Prevent-Zero (Prevenir-Zero): Uma modificação onde o fator de escala é limitado ao menor valor representável não nulo ($\epsilon_{SF}$) para evitar o underflow para zero, o que, de outra forma, colapsaria todos os valores em um bloco para zero.
   • 4-over-6: Uma intervenção algorítmica [2] que seleciona o fator de escala entre os dois maiores valores representáveis no intervalo FP4 (4.0 e 6.0) para minimizar o MSE de um bloco específico, adaptando efetivamente a geometria da quantização.
   • Busca por Força Bruta: Uma base ótima que pesquisa todos os fatores de escala possíveis para encontrar o MSE teórico mínimo, estabelecendo o limite superior de desempenho.
   • Escalonamento Hierárquico: Um processo de dois estágios envolvendo uma escala global por tensor seguida por escalas de bloco locais.
3. Avaliação a Jusante: As estratégias propostas são aplicadas à quantização de pesos e ativações (especificamente camadas MLP) de quatro LLMs distintos: Granite-3.3-8B, Llama-3.1-8B, DeepSeek-LLM-7B-Base e Qwen2.5-14B. O desempenho é medido por meio de lacunas de perplexidade em relação às bases não quantizadas.

Principais Descobertas e Resultados
O estudo identifica que a degradação observada com tamanhos de bloco menores não é um defeito inerente da granularidade fina, mas uma consequência de distribuições de tensores com caudas pesadas interagindo mal com os bins de quantização superiores grosseiros do formato FP4 (E2M1).

• Região A (Escala Extremamente Pequena): O escalonamento abs-max padrão frequentemente causa o underflow do fator de escala para zero, criando um pico no MSE. O ajuste Prevent-Zero elimina completamente esse erro localizado ao forçar a escala para o menor valor positivo.
• Região B (Escalas Moderadas): Mesmo com a prevenção de zero, persiste uma inversão paradoxal onde blocos menores resultam em MSE mais alto. Isso ocorre porque os maiores valores em um bloco frequentemente se alinham mal com a grade grosseira E4M3, levando a um clipping excessivo no bin de maior magnitude (6.0). A metodologia 4-over-6 resolve isso escolhendo adaptativamente entre fatores de escala de 4.0 e 6.0, permitindo que os valores se encaixem na parte mais uniforme do intervalo FP4 e evitando um clipping forte.
• Base Ótima: A busca por força bruta confirma que, quando o fator de escala ideal é selecionado, o MSE melhora estritamente à medida que os tamanhos de bloco diminuem, validando que "mais fino é melhor" é teoricamente sólido.
• Comportamento Específico do Modelo: Nas avaliações de LLM a jusante, modelos como DeepSeek e Qwen comportam-se de forma intuitiva, mostrando melhoria na perplexidade com tamanhos de bloco menores. Por outro lado, Granite e Llama exibem a degradação paradoxal nos tamanhos de bloco 4 e 8 sob escalonamento padrão.
  • A aplicação de Prevent-Zero oferece melhorias localizadas, mas não resolve completamente a curva de perplexidade em forma de U para Granite e Llama.
  • A aplicação de 4-over-6 reduz significativamente a lacuna de perplexidade (por exemplo, reduzindo a lacuna do Llama de 0,725 para 0,270 no tamanho de bloco 4), eliminando efetivamente o paradoxo.
  • Interoperabilidade de Formatos: O artigo demonstra que o uso de fatores de escala E4M3 padrão combinados com escalonamento hierárquico e a estratégia 4-over-6 produz resultados comparáveis ao uso de formatos personalizados com expoentes mais largos, como UE5M3. Embora o UE5M3 ofereça inerentemente um intervalo absoluto mais amplo, a receita algorítmica (E4M3 + 4-over-6 + Hierárquico) alcança melhorias de qualidade semelhantes.

Significado e Alegações
Os autores afirmam ter resolvido completamente o "paradoxo do tamanho do bloco", demonstrando que a degradação é impulsionada por interações específicas entre distribuições de tensores e geometria de quantização, e não pelo tamanho do bloco em si.

• Resolução Algorítmica: O trabalho estabelece que formatos padrão e compatíveis com hardware (como OCP E4M3) podem igualar o desempenho de formatos personalizados com expoentes mais largos (como UE5M3) se a receita algorítmica correta (especificamente 4-over-6 e escalonamento hierárquico) for aplicada.
• Compensações de Hardware: O artigo destaca uma compensação: embora o UE5M3 ofereça maior flexibilidade sem necessidade de escalonamento hierárquico, o algoritmo 4-over-6 incorre em sobrecarga computacional (requerendo duas quantizações e cálculos de MSE por bloco). Essa sobrecarga é aceitável para quantização de pesos offline, mas pode ser proibitiva para quantização dinâmica de ativações.
• Direções Futuras: Os autores observam que as heurísticas atuais ainda ficam aquém do MSE mínimo teórico estabelecido pela busca por força bruta, indicando que o projeto de algoritmos ótimos de seleção de escala permanece uma área crítica para pesquisas futuras.

Em conclusão, o artigo afirma que, com as estratégias de escalonamento adequadas, os benefícios teóricos da granularidade de microescalabilidade mais fina podem ser realizados na prática, permitindo melhorias robustas na perplexidade a jusante em diversas arquiteturas de LLM.