Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization

Este artigo apresenta o MR-GPTQ, um método de quantização especializado para formatos FP4 microescalonados que utiliza transformadas de Hadamard e otimizações específicas para superar as limitações de precisão atuais, alcançando ganhos significativos de velocidade em GPUs modernas sem sacrificar a acurácia dos modelos de linguagem.

O essencial

Imagine que você tem uma biblioteca gigante de livros (os Modelos de Linguagem, como o Llama ou o Qwen) que são incrivelmente inteligentes, mas ocupam um espaço enorme na sua estante (memória) e são lentos para ler (processamento).

Para resolver isso, os cientistas tentam "resumir" esses livros. Eles trocam as páginas de papel de alta qualidade por um papel mais fino e barato. Isso é chamado de Quantização.

Até agora, a melhor forma de fazer isso era usar números inteiros simples (como contar em 1, 2, 3), chamados de INT4. Mas, recentemente, as empresas de chips (NVIDIA e AMD) lançaram uma nova tecnologia: formatos de ponto flutuante de 4 bits, chamados MXFP4 e NVFP4.

A promessa era que esses novos formatos seriam mágicos: ocupariam o mesmo espaço, seriam mais rápidos, mas manteriam a inteligência do livro quase intacta.

O Problema: A Promessa vs. A Realidade

Os autores deste paper (publicado na ICLR 2026) foram testar essa mágica e descobriram que ela não funcionava como esperado.

Pense nos novos formatos (MXFP4 e NVFP4) como dois tipos diferentes de caixas de ferramentas:

1. NVFP4: É uma caixa com ferramentas muito precisas, mas pequenas.
2. MXFP4: É uma caixa com ferramentas grandes e arredondadas (potências de 2), o que é ótimo para a máquina, mas perde detalhes finos.

Quando eles tentaram usar as técnicas antigas de "resumo" (algoritmos padrão) nessas novas caixas, os resultados foram desastrosos, especialmente para o MXFP4. A inteligência do modelo caía drasticamente. Era como tentar escrever um poema complexo usando apenas letras maiúsculas e arredondadas; o significado se perdia.

Por que isso acontecia?

• O NVFP4 era muito sensível a "picos" de dados (números muito grandes que aparecem de vez em quando). As técnicas antigas tentavam esconder esses picos, mas acabavam destruindo a precisão da caixa pequena.
• O MXFP4 usava uma régua muito "grosseira" (só potências de 2). Se o número não encaixava perfeitamente na régua, ele era arredondado de forma errada, criando erros gigantes.

A Solução: O "Micro-Rotated-GPTQ" (MR-GPTQ)

A equipe decidiu não apenas usar as ferramentas novas, mas criar uma nova maneira de empacotar os livros especificamente para essas caixas. Eles chamaram sua solução de MR-GPTQ.

Aqui está a analogia do que eles fizeram:

1. A Roda de Girassol (Transformada de Hadamard):
   Imagine que os dados do modelo são como um grupo de pessoas em uma sala, onde algumas estão gritando muito alto (os "outliers" ou picos) e outras sussurrando. As técnicas antigas tentavam abafar os gritos, mas estragavam a conversa.
   O MR-GPTQ pega essas pessoas e as faz girar em uma roda (uma transformação matemática chamada Hadamard). Ao girar, o barulho dos gritos se espalha por toda a sala, tornando-se um zumbido uniforme. Agora, a "régua" do MXFP4 consegue medir tudo com muito mais precisão, porque não há mais aquele grito estridente que quebrava a régua.

2. O Organizador Inteligente (Reordenação Estática):
   Em vez de tentar reorganizar a biblioteca toda vez que alguém entra (o que é lento), eles reorganizaram os livros antes de colocar na estante. Isso significa que, quando o computador lê o livro, ele não precisa gastar tempo reorganizando nada. É como ter um livro já aberto na página certa.

3. A Ajuste Fino (Otimização de Escala):
   Eles ajustaram a "régua" do MXFP4 para se encaixar perfeitamente nos dados reais, em vez de usar uma régua genérica.

O Resultado: Velocidade e Precisão

Com essa nova técnica, eles conseguiram:

• Precisão: O modelo quantizado com MXFP4 usando MR-GPTQ ficou quase tão inteligente quanto o modelo original de alta qualidade (FP16), e até melhorou o NVFP4.
• Velocidade: Como eles criaram um "motor" especial (chamado QuTLASS) para rodar isso nos chips mais novos (NVIDIA Blackwell/B200 e RTX 5090), o modelo ficou 2x a 4x mais rápido do que os métodos atuais, sem perder qualidade.

Resumo em uma frase

Os pesquisadores descobriram que os novos formatos de 4 bits prometidos pelas empresas de chips eram "brutos" demais para as técnicas antigas, mas, ao criar um método inteligente de "girar e ajustar" os dados antes de comprimi-los (MR-GPTQ), eles conseguiram desbloquear a verdadeira velocidade e inteligência desses chips, tornando a IA muito mais rápida e eficiente sem perder a qualidade.

Em suma: Eles não apenas consertaram a ferramenta quebrada; eles inventaram uma nova maneira de usá-la que transformou uma promessa vazia em uma realidade poderosa.

Resumo técnico

Resumo Técnico: Ponte entre Promessa e Desempenho para Quantização FP4 Microescala

1. O Problema

Os formatos de ponto flutuante de 4 bits com microescala (microscaling), especificamente MXFP4 e NVFP4, foram recentemente introduzidos com suporte em hardware (GPUs NVIDIA Blackwell e AMD) para revolucionar a inferência de Grandes Modelos de Linguagem (LLMs). A promessa era que esses formatos ofereceriam maior precisão do que os formatos inteiros de 4 bits (INT4) tradicionais, mantendo a eficiência de armazenamento.

No entanto, o artigo identifica uma lacuna crítica entre a promessa teórica e o desempenho real:

• Falha dos Métodos Atuais: Os métodos de quantização pós-treinamento (PTQ) de última geração (como RTN, GPTQ padrão, SmoothQuant) não funcionam bem com esses novos formatos FP4.
• Causas Específicas:
  1. NVFP4: O tamanho de grupo pequeno (16 elementos) neutraliza as técnicas tradicionais de mitigação de outliers (valores extremos), levando a erros significativos.
  2. MXFP4: A quantização de escalas para potências de dois (formato E8M0) introduz erros de quantização elevados, degradando severamente a precisão do modelo.
• Consequência: Sem adaptações específicas, a quantização FP4 resulta em quedas drásticas de acurácia em comparação com o modelo original em ponto flutuante (FP16) ou até mesmo em INT4.

2. Metodologia e Análise

Os autores realizaram uma análise abrangente combinando teoria de erro de quantização e validação empírica:

• Análise de Distribuição: Modelaram pesos e ativações nativos como distribuições de Laplace (com caudas pesadas e outliers) e as distribuições rotacionadas (via Transformada de Hadamard) como Normais.
• Limites de Erro (MSE): Demonstraram analiticamente que:
  • Para NVFP4, a rotação (Hadamard) combinada com quantização padrão (Round-to-Nearest) pode piorar a acurácia devido à perda de preservação de outliers em grupos pequenos.
  • Para MXFP4, a rotação ajuda a reduzir o erro, mas o formato de escala (E8M0) continua sendo um gargalo.
• Solução Proposta: MR-GPTQ (Micro-Rotated-GPTQ):
  Os autores propõem uma variante do algoritmo clássico GPTQ, adaptada especificamente para as propriedades do FP4. Os três componentes principais são:
  1. Grade Otimizada por MSE: Em vez de usar escalas fixas, o algoritmo otimiza as escalas de grupo e globais para minimizar o erro quadrático médio (MSE) específico para cada formato (NVFP4 e MXFP4).
  2. Reordenamento Estático de Ativações: Adaptação da heurística de reordenamento de colunas do GPTQ para ser aplicada estaticamente durante a quantização, evitando o custo de overhead em tempo de execução (runtime) associado a embaralhamentos dinâmicos.
  3. Rotações Online Fundidas (Fused): Implementação de transformadas de Hadamard em blocos (micro-rotação) que são fundidas diretamente nos kernels de GPU. Isso permite rotacionar pesos e ativações sem penalidade de desempenho, normalizando as distribuições para o FP4.

3. Implementação de Hardware (QuTLASS)

Para suportar o MR-GPTQ sem perda de velocidade, os autores desenvolveram QuTLASS, uma biblioteca de kernels de alto desempenho para GPUs NVIDIA Blackwell (arquitetura SM100/SM120):

• Kernels de Rotação: Kernels leves e fundidos para calcular a rotação de Hadamard das ativações online.
• Kernels de MatMul: Suporte nativo para multiplicação de matrizes em precisão reduzida (FP4), integrando a reorganização de escalas necessária pelo hardware.
• Eficiência: O design permite que a rotação e a quantização ocorram com overhead negligenciável, aproximando-se da eficiência teórica ideal.

4. Resultados Experimentais

Os testes foram realizados em modelos como Llama-3 (8B, 70B) e Qwen-3 (8B a 32B) em tarefas padrão (MMLU, GSM8k, etc.) e benchmarks de baixo ruído (PlatinumBench).

• Acurácia:
  • O MR-GPTQ supera consistentemente os métodos existentes.
  • Para MXFP4, o método recupera a acurácia para níveis próximos ao do NVFP4 (dentro de 1-2% de diferença), reduzindo a queda de acurácia de ~10% para menos de 1-2% em relação ao FP16.
  • Em modelos grandes (70B+), o MR-GPTQ alcança 98-99% de recuperação da acurácia FP16.
  • O NVFP4 com MR-GPTQ também mostra melhorias consistentes sobre o GPTQ padrão.
• Desempenho (Velocidade):
  • NVIDIA B200: Aceleração de até 3.6x por camada e 2.2x de ponta a ponta (end-to-end) em comparação com BF16.
  • RTX 5090: Aceleração de até 6x por camada e 4x de ponta a ponta.
  • Curiosamente, em certas configurações, o MXFP4 com MR-GPTQ superou o NVFP4 em throughput, possivelmente devido a escalas mais eficientes e tamanhos de grupo maiores.

5. Contribuições Principais

1. Estudo Abrangente: Primeiro estudo detalhado das limitações de precisão e desempenho dos formatos MXFP4 e NVFP4 em LLMs reais.
2. Algoritmo MR-GPTQ: Uma nova variante de quantização que alinha a otimização de escalas e a rotação de Hadamard às restrições específicas do FP4.
3. Suporte de Hardware (QuTLASS): Liberação de kernels otimizados que demonstram que a "micro-rotação" pode ser feita sem custo de desempenho, desbloqueando o potencial do FP4.
4. Análise Teórica: Provas analíticas sobre como a rotação afeta diferentemente distribuições de Laplace e Normais sob diferentes tamanhos de grupo e formatos de escala.

6. Significado e Conclusão

O trabalho conclui que o FP4 não é uma atualização automática sobre o INT4; sem métodos especializados, ele pode ser inferior. No entanto, através de métodos focados no formato, como o MR-GPTQ, é possível desbloquear uma nova fronteira de trade-offs entre precisão e desempenho.

A pesquisa valida que a combinação de algoritmos inteligentes (otimização de escala e rotação) com suporte de hardware eficiente (kernels fundidos) permite que os LLMs operem em 4 bits com acurácia próxima ao FP16, tornando a inferência de modelos massivos muito mais acessível e rápida em hardware de próxima geração.