Resumo Técnico: Picos Massivos em LLMs são Vetores de Viés

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) enfrentam severas restrições computacionais e de memória que tornam necessária uma quantização eficiente. No entanto, a eficácia da quantização de ativação é criticamente prejudicada por Picos Massivos: valores de ativação extremos localizados em canais específicos e em semânticas de tokens específicos (frequentemente tokens de "sumidouro" de baixa semântica). Esses picos são ordens de magnitude maiores do que os valores típicos, esticando a faixa dinâmica e causando erros de quantização catastróficos, particularmente para esquemas estáticos por tensor.

Trabalhos anteriores caracterizaram esses picos como vieses escalares de alto nível ou "outliers" (Sun et al., 2024; An et al., 2025), mas as estratégias de mitigação existentes frequentemente os tratam como aberrações numéricas ou dependem de heurísticas limitadas a modalidades de texto discretas (por exemplo, prefixar tokens específicos). A mecânica geométrica fundamental desses picos e seu papel no comportamento do modelo permanecem subexplorados, limitando o desenvolvimento de frameworks de quantização generalizados e robustos.

Metodologia: A Hipótese do Vetor de Viés

Este trabalho avança a compreensão dos picos massivos ao propor a Hipótese do Vetor de Viés. Os autores argumentam que os picos não são meramente vieses escalares, mas os intermediários escalares de vetores de viés estruturais e rígidos inerentes à arquitetura do modelo.

1. Caracterização Geométrica

Através de análise mecanística, o artigo estabelece que, após o RMSNorm, os tokens portadores de picos (tokens sumidouro) convergem para vetores constantes e rígidos ($\hat{x}_{sink} \to b$) com variância negligenciável entre as amostras, distinguindo-se dos tokens semânticos de alta variância.

• Mecanismo de Sumidouro de Atenção (Attention Sink): As matrizes de projeção ($W^K$ e $W^Q$) interagem para isolar este vetor de viés. O $W^K$ atua como um amplificador contrastivo, separando a chave do sumidouro das chaves semânticas, enquanto o $W^Q$ alinha todas as consultas semânticas em direção a esta chave de sumidouro isolada, criando um atrator global.
• Dreno de Estado de Valor (Value-State Drain): A matriz de projeção de valor ($W^V$) projeta o vetor de viés no nul-espaço espectral. Consequentemente, o vetor de valor resultante é próximo de zero ($v_{sink} \approx 0$), garantindo que o token sumidouro não contribua com nenhuma atualização semântica para o fluxo residual, permitindo efetivamente uma operação de "no-op" (não operação).
• Estabilidade Rotacional: O modelo preserva ativamente essas estruturas rígidas contra perturbações de Rotary Positional Embedding (RoPE). Isso é alcançado localizando o viés em "zonas de estabilidade rotacional": especificamente, utilizando bandas de baixa frequência (índices de canais altos onde os ângulos de rotação decaem) e pares de canais coerentes (índices $i$ e $i + d/2$) para manter a robustez de magnitude apesar da rotação.

2. O Framework INSERTQUANT

Aproveitando a percepção de que os tokens sumidouro funcionam como vieses estruturais estáticos em vez de conteúdo semântico dinâmico, os autores propõem o INSERTQUANT, um framework de Quantização Pós-Treinamento (PTQ).

• Clamp (Limitação): Os tokens sumidouro são identificados durante uma fase de calibração leve e são cirurgicamente limitados a zero antes de entrarem nas multiplicações de matrizes. Isso elimina os picos massivos do fluxo de ativação, tornando as ativações restantes estritamente livres de picos e amigáveis à quantização.
• Insert (Inserção): Para preservar a mecânica de "no-op" do modelo, o papel funcional dos tokens limitados é restaurado nas camadas subsequentes através da injeção de vetores de template pré-computados (vetores médios de $K$ e $V$ derivados da calibração) diretamente nos inputs do mecanismo de atenção.
• Generalização: Diferente de métodos baseados em prefixos que dependem de identidades de tokens específicos (ex: <BOS>), o INSERTQUANT opera no espaço de embedding, permitindo que se generalize para modalidades sem definições de tokens discretos, como Vision Transformers (ViTs).

Contribuições Principais

1. Hipótese do Vetor de Viés: O artigo estabelece que os picos massivos são os intermediários escalares de vetores de viés rígidos. Demonstra que, embora as magnitudes dos picos flutuem, sua direção normalizada é invariante, servindo como um componente estrutural do modelo.
2. Análise Mecanística: Os autores fornecem uma análise geométrica quantitativa mostrando como os vetores de viés impulsionam os sumidouros de atenção e os drenos de estado de valor. Eles detalham a interação com as matrizes de projeção ($W^K, W^Q, W^V$) e identificam a localização desses vetores em zonas de estabilidade rotacional (bandas de baixa frequência e pares coerentes) como evidência de preservação estrutural ativa.
3. Framework INSERTQUANT: O trabalho introduz o primeiro framework de PTQ que explora a natureza sistemática dos picos. Ao desacoplar os vieses estruturais do conteúdo dos tokens, ele alcança uma quantização de alta fidelidade para baixos bits em LLMs e ViTs sem a necessidade de fine-tuning.

Resultados Experimentais

Os autores avaliam o INSERTQUANT em múltiplos LLMs (LLaMA-3.2-3B, LLaMA-2-7B/70B, Mistral-7B-v0.3) e Vision Transformers (CLIP ViT-L, DINOv2 ViT-L/B).

• Modelos de Linguagem: Em configurações estáticas de peso/ativação/KV-cache de 4 bits ($W4A4sKV4$), o INSERTQUANT atinge paridade de desempenho com métodos de estado da arte como o PrefixQuant. Por exemplo, no LLaMA-2-7B, ele alcança uma acurácia de Raciocínio de Senso Comum (CSR) de 60,26% e uma perplexidade de WikiText-2 de 6,31, aproximando-se de perto do baseline PrefixQuant (60,17% / 6,21) e superando significativamente os baselines RTN e baseados em rotação.
• Vision Transformers: O INSERTQUANT generaliza-se com sucesso para ViTs. No cenário $W8A8sKV8$, enquanto o baseline RTN no DINOv2 ViT-B colapsa para 6,00% de acurácia, o INSERTQUANT preserva 74,10% de acurácia.
• Overhead do Sistema: O framework introduz um overhead de latência desprezível (4,69%) e um overhead de memória mínimo (aumento de 0,007% para um modelo de 13,5GB) devido ao pequeno tamanho dos vetores de template armazenados.

Significância e Alegações

O artigo afirma que uma quantização eficaz requer um entendimento mecanístico de como os LLMs utilizam picos para permitir operações de "no-op". Ao reenquadrar os picos massivos como características estruturais de nível de vetor em vez de outliers numéricos, os autores demonstram que esses artefatos podem ser cirurgicamente removidos e funcionalmente restaurados.

A significância deste trabalho reside em:

1. Aprofundamento do Entendimento do Modelo: Revela a natureza rígida e determinística dos sumidouros de atenção e sua coordenação geométrica com o RoPE, indo além das interpretações escalares.
2. Solução de Quantização Unificada: Estabelece um framework que transcende as modalidades de texto, oferecendo uma solução robusta para quantizar diversas arquiteturas (LLMs e ViTs) sem depender de identidades de tokens heurísticas.
3. Eficiência de Hardware: Ao possibilitar espaços de ativação estritamente livres de picos, o INSERTQUANT facilita a inferência de baixo bit (ex: 4-bit) robusta, que era anteriormente inalcançável com esquemas de quantização estática por tensor.

Os autores mantêm a modéstia quanto a garantias teóricas, observando que, embora forneçam uma interpretação mecanística e evidência empírica, não oferecem uma prova teórica de por que o processo de treinamento inerentemente converge para esta solução geométrica específica. Eles também reconhecem que seu método é desnecessário para modelos pré-treinados com modificações arquitetônicas projetadas para suprimir nativamente esses picos.