OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

Resumo Técnico: OffQ – Domando Outliers Estruturados na Quantização de LLMs por meio de Deslocamento (Offsetting)

Definição do Problema
A quantização de baixa precisão (ex: 4 bits) é essencial para implantar Grandes Modelos de Linguagem (LLMs) em hardware com recursos limitados, reduzizando a pegada de memória e os custos computacionais. No entanto, a quantização robusta de pesos, ativações e KV-caches simultaneamente (W4A4KV4) permanece um desafio significativo. O principal obstáculo é a presença de outliers de ativação: valores esparsos e extremamente grandes em canais específicos que dominam a faixa dinâmica. Esses outliers forçam esquemas de quantização a usar tamanhos de passo (step sizes) grosseiros para acomodar toda a faixa, resultando em grandes erros de arredondamento para a maioria da distribuição de ativação e uma severa degradação de desempenho. Métodos baseados em rotação (ex: QuaRot, SpinQuant) melhoraram a mitigação de outliers ao redistribuir a energia de ativação, mas as distribuições resultantes frequentemente retêm alta variância, tornando a quantização W4A4KV4 confiável difícil. Alternativas existentes, como esquemas de precisão mista ou quantização não uniforme, introduzem heterogeneidade de execução, kernels complexos ou incompatibilidade de hardware.

Metodologia: OffQ
Os autores propõem o OffQ, um método de quantização pós-treinamento (PTQ) projetado para mitigar outliers de ativação estruturados sem depender de componentes de precisão mista, níveis de quantização não uniformes ou rotação baseada em retropropagação computacionalmente cara. O método opera através de três estágios principais:

1. Concentração via Top-1 PCA:
   O método aproveita a observação de que os outliers de ativação em LLMs exibem uma estrutura de baixa dimensão pronunciada, compartilhando a mesma direção entre camadas, IDs de tokens e localizações de sequência. Para explorar isso, o OffQ emprega um procedimento de Top-1 PCA:

   • Em vez de usar todos os tokens para estimativa de covariância (que é distraída por tokens normais), ele seleciona apenas o único token com a maior norma $L_\infty$ por sequência de um conjunto de dados de calibração.
   • Ele calcula o autovetor principal da matriz de covariância formada por esses tokens extremos.
   • As ativações são rotacionadas usando esta matriz de autovetores, concentrando a variância dominante dos outliers no primeiro canal (ou em alguns canais), deixando os canais restantes amplamente livres de outliers.

2. Absorção via Deslocamento (Rotação de Hadamard):
   Uma vez que os outliers são concentrados em canais específicos, o OffQ aplica uma rotação de Hadamard especializada para absorvê-los:

   • Uma matriz de Hadamard $H$ parcialmente aleatória é construída onde a primeira linha consiste inteiramente em uns ($H_{1,:} = [1, 1, \dots, 1]$).
   • A aplicação desta rotação às ativações concentradas em outliers redistribui o valor do canal de outlier uniformemente por todos os canais do grupo.
   • Matematicamente, isso converte a magnitude do outlier em um deslocamento constante (offset) adicionado a cada canal do grupo.
   • Este deslocamento é então absorvido no ponto zero ($z$) da quantização assimétrica. Consequentemente, os valores de ativação restantes exibem uma distribuição mais plana com variância reduzida, tornando-os altamente adequados para a quantização uniforme padrão de baixa precisão.

3. Implementação por Grupo (Group-Wise):
   Para lidar com múltiplos canais de outliers, o método particiona os canais em grupos. Dentro de cada grupo, o principal canal de outlier é identificado e rotacionado para criar um deslocamento por grupo. Isso permite o uso de quantização assimétrica por grupo, onde cada grupo possui seu próprio fator de escala e ponto zero para absorver a energia específica do outlier.

Principais Contribuições

1. Identificação de Outliers Estruturados: O artigo identifica que os outliers de ativação de LLMs possuem uma estrutura de baixa dimensão compartilhada entre camadas e tokens, que pode ser isolada usando uma abordagem direcionada de Top-1 PCA.
2. O Framework OffQ: Um novo método de PTQ que combina Top-1 PCA para concentração de outliers e uma técnica de deslocamento baseada em Hadamard para converter outliers em pontos zero de quantização. Isso possibilita uma quantização W4A4KV4 eficaz usando matrizes de grade uniforme e precisão uniforme padrão.
3. Desempenho e Eficiência: O método atinge o estado da arte em precisão na quantização de 4 bits sem o overhead de execução de precisão mista ou rotações aprendidas complexas, mantendo a simplicidade da inferência de baixa precisão de ponta a ponta.

Resultados Experimentais
Experimentos extensivos foram conduzidos em várias arquiteturas de LLM (séries Llama 2, Llama 3, Llama 3.2 e Qwen 2.5) e benchmarks (perplexidade WikiText e acurácia zero-shot em ARC-e, ARC-c, BoolQ, HellaSwag, etc.).

• Superioridade sobre Baselines: O OffQ superou consistentemente os baselines de estado da arte, incluindo métodos baseados em rotação (QuaRot, SpinQuant, DFRot, KurTail) e abordagens de precisão mista (ResQ, QUIK).
• Robustez W4A4KV4: Enquanto métodos de apenas pesos (GPTQ) e métodos de precisão mista sofreram degradação severa no cenário W4A4KV4, o OffQ manteve a perplexidade e a acurácia próximas aos baselines de 16 bits. Por exemplo, no Llama 3-8B, o OffQ alcançou uma PPL de 6.98 comparado a 7.4 para o SpinQuant e 7.8 para o QuaRot.
• Estudos de Ablação: O estudo confirmou que a estratégia de seleção Top-1 é crítica para a identificação precisa do subespaço de outliers, superando o PCA padrão. Adicionalmente, o agrupamento ordenado (sorted grouping) de canais mostrou-se mais eficaz do que o agrupamento zigzag, e um tamanho de grupo de 128 ofereceu o melhor equilíbrio entre desempenho e overhead de metadados.

Significância e Alegações
O artigo afirma que o OffQ fornece um mecanismo prático e eficiente para tornar a quantização de 4 bits robusta contra outliers de ativação. Ao transformar o problema de outliers "pontiagudos" (spiky) em um problema de "deslocamento" (offset) gerenciável, o OffQ permite uma quantização W4A4KV4 confiável usando hardware uniforme amigável à implantação. Os autores enfatizam que esta abordagem fortalece a viabilidade de implantar LLMs em ambientes de custo sensível e recursos limitados (ex: dispositivos de borda/edge) sem sacrificar a precisão do modelo ou exigir pipelines de execução heterogêneos e complexos. O método é apresentado como uma técnica complementar que pode potencialmente ser combinada com outras estratégias de quantização avançadas em trabalhos futuros, embora os resultados atuais demonstrem sua força como uma solução independente.