Resumo Técnico: TORQ – Rotação Ortogonal de Dois Níveis para Quantização MXFP4

1. Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) avançam para a implantação prática, o formato Microescala FP4 (MXFP4) emergiu como um padrão crítico para inferência de baixa precisão, devido ao seu equilíbrio entre alta faixa dinâmica e eficiência de hardware. No entanto, a aplicação direta do MXFP4 à quantização de ativações de LLMs resulta em degradação severa da precisão. O artigo identifica que os métodos de quantização baseados em rotação existentes, projetados principalmente para formatos inteiros (por exemplo, INT4), não abordam a estrutura topológica única dos formatos de Ponto Flutuante em Blocos (BFP), como o MXFP4.

Através de análise teórica, os autores revelam que a queda de desempenho decorre de dois desequilíbrios estruturais entre as distribuições de ativação do mundo real e o formato de ponto flutuante em blocos do MXFP4:

1. Desequilíbrio Extremo de Variância Inter-bloco: Sob microescala de bloco fixo, a variância da ativação é altamente desigual. Uma minoria de blocos de alta variância domina o erro total de quantização. Esses blocos forçam o fator de escala compartilhado (expoente) para cima para acomodar valores aberrantes, o que causa o alisamento excessivo da resolução para a maioria das ativações de pequena magnitude dentro do mesmo bloco, resultando frequentemente no zeramento de mais de 90% dos elementos.
2. Desequilíbrio de Utilização do Código Interno ao Bloco (Colapso do Código): As ativações do mundo real frequentemente seguem uma distribuição de cauda pesada concentrada perto de zero, o que não corresponde à progressão geométrica do código do MXFP4 (e2m1). Isso leva ao "colapso do código", onde a vasta maioria dos valores cai no intervalo de quantização mínimo, deixando os códigos de alta capacidade para valores grandes inativos. Estatísticas mostram que ~50% da faixa de códigos é ativada por apenas ~10% dos dados.

2. Metodologia: Framework TORQ

Para abordar esses desafios, os autores propõem o TORQ (Rotação Ortogonal de Dois Níveis para Quantização MXFP4), um framework de Quantização Pós-Treinamento (PTQ) sem treinamento. Em vez de ajustar passivamente os parâmetros de quantização, o TORQ rotaciona ativamente o sistema de coordenadas de ativação para alinhar as características de distribuição com as propriedades estruturais do MXFP4. O método decompõe a otimização em dois subproblemas matematicamente ortogonais:

A. Rotação de Equilíbrio Macro (Inter-bloco)

• Objetivo: Eliminar o domínio de blocos de alta variância redistribuindo uniformemente a energia de ativação entre todos os blocos.
• Base Teórica: Baseada no teorema de Schur-Horn e na teoria de otimização convexa. Os autores provam que, sob um modelo de erro convexo, equalizar a variância entre os blocos minimiza o Erro Quadrático Médio (MSE) global.
• Mecanismo: Uma transformação ortogonal é construída para garantir que os elementos diagonais da matriz de covariância transformada sejam uniformes (ou seja, todas as variâncias de bloco se tornam iguais). Isso atua como um mecanismo de "supressão suave de valores aberrantes", impedindo que blocos de alta variância elevem os fatores de escala compartilhados e preservando a precisão dos elementos de pequena magnitude.
• Implementação: Um algoritmo eficiente de rotação de Givens iterativo é usado para construir a matriz de rotação, garantindo convergência dentro de $O(B^2)$ tempo.

B. Rotação de Alinhamento Micro (Intra-bloco)

• Objetivo: Aliviar o "colapso do código" remodelando a distribuição de ativação intra-bloco para utilizar a capacidade total do código do MXFP4.
• Base Teórica: Guiada pelo princípio da máxima entropia. O objetivo é fazer com que a distribuição de ativação "flua" uniformemente para cada intervalo de código no espaço FP4 normalizado.
• Mecanismo: O método define uma Perda de Equilíbrio de Ocupação do Código, que mede o desvio do uso empírico de códigos em relação a uma distribuição uniforme.
• Otimização: Uma estratégia de descida de coordenadas alternada é empregada:
  • Passo S: Atualiza os fatores de escala de bloco para mapear os valores máximos de ativação para o código máximo do MXFP4.
  • Passo R: Atualiza a matriz de rotação ortogonal intra-bloco usando rotações de Givens. Uma heurística seleciona pares de colunas com alto desequilíbrio e complementaridade estatística, depois busca o ângulo de rotação ótimo por enumeração finita (explorando a natureza constante por partes da função de perda).

Eficiência de Inferência

O TORQ é projetado para sobrecarga mínima. As matrizes de rotação inversa são fundidas nos pesos das camadas lineares adjacentes durante a fase de calibração offline. Consequentemente, a fase de inferência online incorre em custo computacional adicional negligenciável, pois a rotação é efetivamente absorvida na multiplicação da matriz de pesos.

3. Contribuições Principais

1. Formalização do Problema: O artigo é o primeiro a identificar e formalizar sistematicamente os dois desafios estruturais que impedem o desempenho do MXFP4: Desequilíbrio de Variância Inter-bloco e Desequilíbrio de Utilização do Código Intra-bloco.
2. Framework de Dois Níveis: Propõe o TORQ, o primeiro framework de rotação de dois níveis projetado explicitamente para estruturas de Ponto Flutuante em Blocos. Ao integrar equilíbrio de variância macro e alinhamento de código micro, alcança uma minimização sistemática do erro de quantização.
3. Fundação Teórica: Os autores fornecem provas rigorosas mostrando que o equilíbrio de variância é aproximadamente ótimo sob modelos de erro convexos e que o equilíbrio de ocupação de códigos aproxima a minimização do erro de quantização sob a estrutura geométrica do MXFP4.
4. Pipeline PTQ Eficiente: Estabelece um pipeline sem ajuste fino que requer apenas dados de calibração mínimos (por exemplo, 128 amostras) e demonstra amabilidade com hardware com pegada de parâmetros negligenciável.

4. Resultados Experimentais

Experimentos foram conduzidos em LLMs principais (séries LLaMA3 e Qwen3) variando de 8B a 70B parâmetros, cobrindo tanto arquiteturas Densas quanto de Mistura de Especialistas (MoE). A avaliação incluiu perplexidade no WikiText2 e precisão zero-shot em tarefas como ARC, HellaSwag, MMLU, GSM8K e HumanEval.

• Superioridade de Desempenho: O TORQ supera significativamente os métodos existentes de Estado da Arte (SOTA) (incluindo RTN, GPTQ, QuaRot, OSTQuant, FlatQuant e BRQ).
  • No Qwen3-32B, o TORQ reduziu a perplexidade do WikiText para 8,43 (comparado a 274,93 para RTN e 14,62 para OSTQuant), aproximando-se da linha de base BF16 de 7,61.
  • A precisão média em tarefas zero-shot para o Qwen3-32B aumentou de 38,40% (RTN) para 73,63% (TORQ), quase igualando a linha de base BF16 de 74,82%.
  • No LLaMA3-70B, o TORQ alcançou uma perplexidade de 3,49 (vs. 3180,43 para RTN) e uma precisão média de 76,28%.
• Capacidades de Raciocínio: O TORQ demonstrou forte recuperação da "inteligência profunda" em tarefas complexas de raciocínio. No GSM8K para Qwen3-8B, a precisão foi restaurada para 86,82% (vs. 67,37% para GPTQ), e a precisão no HumanEval atingiu 61,15%.
• Generalização: O método provou ser eficaz em diferentes formatos de microescala (MXINT4, NVFP4) e arquiteturas MoE (Qwen3-30B-A3B), confirmando sua natureza agnóstica ao formato.
• Eficiência: A calibração do TORQ é significativamente mais rápida que os métodos concorrentes (por exemplo, ~10x mais rápida que o FlatQuant para Qwen3-32B). Acelerações de inferência de 3,5x sobre BF16 foram observadas no Qwen3-30B-A3B, com uso de memória reduzido de 56,9GB para 15,3GB.

5. Significado e Alegações

O artigo alega que o TORQ efetivamente preenche a lacuna entre a quantização de ponto flutuante de 4 bits e a inferência de precisão total, resolvendo a degradação de precisão inerente à quantização de ativação MXFP4. Ao deslocar o paradigma de otimização do ajuste local de parâmetros para "transformação ortogonal consciente da estrutura", o TORQ fornece a primeira solução sistemática para a quantização de ativação MXFP4.

Os autores posicionam este trabalho como estabelecendo uma base crucial para a aplicação de formatos de ponto flutuante de baixa precisão na implantação eficiente de LLMs. Eles reconhecem limitações, como o foco atual em estatísticas de primeira ordem (ignorando momentos de ordem superior como curtose) e o uso de tamanhos de bloco fixos, notando que estratégias adaptativas para esses fatores permanecem uma direção para trabalhos futuros. No entanto, os resultados atuais estabelecem um novo paradigma de otimização para quantização de ativação de ponto flutuante de baixa precisão.