Resumo Técnico: INFOQUANT

Declaração do Problema

A quantização de ativações em baixos bits permanece um gargalo crítico para a implantação eficiente de Modelos de Linguagem de Grande Escala (LLMs). Enquanto os pesos nos LLMs são tipicamente planos e uniformemente distribuídos, as ativações frequentemente contêm um pequeno número de coordenadas dominantes (outliers) que expandem o intervalo de quantização. Isso força a quantização de arredondamento para o mais próximo a mapear muitos valores normais para os mesmos poucos níveis discretos, resultando em perda significativa de informação.

Os métodos existentes de Quantização Pós-Treinamento (PTQ) tentam mitigar isso suprimindo outliers, equilibrando canais ou minimizando o erro de reconstrução (por exemplo, MSE). No entanto, o artigo argumenta que essas abordagens falham em definir explicitamente qual distribuição de ativação é realmente "amigável à quantização". Os métodos podem reduzir picos visíveis ou diminuir o erro numérico sem melhorar a "discretizabilidade" fundamental da distribuição, frequentemente deixando o intervalo de quantização muito amplo ou causando o colapso de valores próximos à média.

Metodologia: INFOQUANT

Os autores propõem o INFOQUANT, um framework de PTQ sem treinamento que reencena a transformação de ativações como "design de distribuição voltado para o quantizador". A filosofia central é derivada de uma análise teórica da informação que mostra que um baixo erro de quantização requer duas propriedades complementares:

1. Um intervalo numérico menor (para reduzir o tamanho do passo de quantização).
2. Dispersão suficiente dentro desse intervalo (para utilizar efetivamente os níveis de quantização disponíveis).

O INFOQUANT alcança isso através de três componentes principais:

1. Transformação Ortogonal de Supressão de Picos (PSOT)

A PSOT aprende uma matriz de rotação ortogonal para remodelar as distribuições de ativação. Diferentemente de rotações fixas (por exemplo, Hadamard), a PSOT otimiza uma matriz ortogonal em blocos diagonais $R$ para minimizar uma função de perda específica:
$$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$$
onde $y = xRP_\perp$ (ativação rotacionada centralizada), e $\pi_T$ é um peso baseado em softmax dependente da magnitude. Este objetivo penaliza explicitamente coordenadas de alta magnitude (picos). Ao suprimir a maior coordenada centralizada enquanto preserva a energia total do token (devido à ortogonalidade), a PSOT força a energia restante a se espalhar por mais dimensões. Isso reduz simultaneamente a escala de corte (estreitando o intervalo) e aumenta a dispersão normalizada ($b_n$).

2. Seleção Adaptativa de Tokens Outlier (ASOT)

Para garantir uma otimização robusta, o INFOQUANT não trata todos os tokens de calibração igualmente. Ele identifica tokens com "estruturas de outliers sensíveis à quantização" e os repondera durante a otimização da rotação.

• Seleciona tokens contendo pelo menos uma coordenada estatisticamente extrema.
• Emprega um mecanismo de seleção por limite para garantir que as posições de outliers selecionadas variem entre as amostras (evitando o overfitting a layouts fixos de prompts ou artefatos de calibração).
• Esses tokens selecionados são ponderados para cima ($\gamma > 1$) na função de perda, enquanto tokens normais servem como regularizadores.

3. Recorte de Ativação Aprendível (LAC)

Após a distribuição ser remodelada pela PSOT, o método aplica uma etapa final de calibração usando parâmetros de recorte aprendíveis ($\alpha, \beta$). Esses parâmetros refinam o tamanho do passo de ativação para corresponder a saída do bloco quantizado à saída de precisão total, minimizando o erro de reconstrução especificamente para a distribuição remodelada.

Contribuições Principais

1. Framework Teórico da Informação: O artigo estabelece um vínculo teórico entre o erro de quantização e as propriedades da distribuição de ativações. Demonstra que minimizar o erro de quantização é equivalente a reduzir o limite de erro recortado normalizado, o que requer um intervalo numérico menor e maior dispersão.
2. Algoritmo INFOQUANT: Um método sem treinamento e eficiente em hardware que aprende transformações ortogonais para moldar ativações em distribuições amigáveis à quantização, complementado por seleção adaptativa de tokens e recorte aprendível.
3. Validação Empírica: Experimentos extensivos nas famílias LLaMA-2 e LLaMA-3 (de 7B a 70B) e nos modelos Qwen2.5.

Resultados Experimentais

O método foi avaliado sob várias configurações de largura de bits, incluindo o desafiador cenário W4A4KV4 (pesos de 4 bits, ativações de 4 bits, cache KV de 4 bits).

• Preservação de Precisão: No cenário W4A4KV4, o INFOQUANT preserva uma média de 97% da precisão de ponto flutuante original entre os modelos LLaMA-2 e LLaMA-3.
• Desempenho State-of-the-Art: Reduz a lacuna de desempenho do modelo LLaMA-2 13B em 42% em comparação com o estado da arte anterior (SpinQuant) sob W4A4KV4.
• Comparação com Baselines: O INFOQUANT supera consistentemente métodos baseados em rotação (QuaRot, SpinQuant) e métodos de reconstrução de pesos (GPTQ, AWQ). Também supera o OSTQuant baseado em distilação em vários modelos (por exemplo, LLaMA-3 8B, LLaMA-2 13B) sem exigir supervisão de precisão total.
• Eficiência: O método permite a quantização do modelo LLaMA-2 70B usando apenas 24GB de memória de GPU. Mantém um caminho de inferência leve compatível com kernels de baixos bits existentes, evitando a alta sobrecarga de FLOPs associada a transformações dinâmicas durante a inferência (diferentemente do FlatQuant).

Significado e Afirmações

O artigo afirma que a limitação primária da quantização de ativações em baixos bits atual não é meramente a presença de outliers, mas a incompatibilidade entre a distribuição de ativações e as capacidades de um quantizador uniforme de baixos bits. Ao deslocar o foco da "supressão de outliers" para "moldagem de distribuição", o INFOQUANT demonstra que aprender transformações ortogonais específicas pode melhorar significativamente a discretizabilidade.

Os autores enfatizam que sua abordagem é sem treinamento e eficiente em hardware, tornando-a prática para implantação em hardware de nível de consumidor. Eles notam que, embora seu método dependa de dados de calibração e escolhas de implementação específicas (como matrizes em blocos diagonais), oferece uma alternativa robusta ao ajuste fino supervisionado ou a pipelines pesados de distilação. O artigo conclui que trabalhos futuros devem estender essa análise além das suposições de ativações em forma de sino para regimes distribucionais mais amplos.