Resumo Técnico: HeadQ: Distorção Visível ao Modelo e Correção no Espaço de Pontuação para Quantização de KV-Cache

1. Declaração do Problema

Os métodos atuais de quantização de KV-cache otimizam predominantemente a reconstrução do espaço de armazenamento, tipicamente minimizando o Erro Quadrático Médio (MSE) entre as chaves e valores originais e quantizados. No entanto, os autores argumentam que esse objetivo não se alinha com a forma como os mecanismos de atenção consomem efetivamente os dados do cache.

• As Chaves são lidas através de logits (pontuações query-chave), o que significa que apenas projeções lineares específicas das chaves afetam a distribuição de atenção.
• Os Valores são lidos através de leitura ponderada por atenção ($\sum p_j v_j$).

O artigo postula que o erro persistente do cache deve ser medido em coordenadas visíveis ao modelo e não em coordenadas de armazenamento euclidianas brutas. Uma perturbação pode ter um grande MSE de armazenamento, mas zero impacto na atenção (se estiver em uma direção "nula do softmax"), ou um pequeno MSE de armazenamento, mas danos catastróficos à atenção (se afetar a direção "visível à pontuação"). Essa incompatibilidade leva a estratégias de quantização subótimas que desperdiçam bits em componentes irrelevantes enquanto falham em proteger os componentes criticamente importantes para o comportamento.

2. Fundamentação Teórica: Geometria Visível ao Modelo

O artigo estabelece uma estrutura geométrica que distingue entre erro de armazenamento e erro comportamental:

2.1 Espaço de Pontuação da Chave (Geometria de Fisher)

Para uma consulta fixa $q$, uma perturbação da chave $\delta k_j$ induz uma perturbação na pontuação $\delta s_j = q^\top \delta k_j / \sqrt{d}$.

• Direções Nulas do Softmax: Uma tradução compartilhada pelo token (adicionar um vetor constante $\mu$ a todas as chaves) adiciona uma constante a todas as pontuações. Como o softmax é invariante a deslocamentos constantes, essa perturbação é nula do softmax e causa zero dano à atenção, apesar de possivelmente gerar um grande MSE de armazenamento.
• Espaço Visível à Pontuação: A atenção depende apenas dos coeficientes ativos centralizados da perturbação da chave em relação à consulta.
• Informação de Fisher: A geometria de segunda ordem local da distribuição do softmax é capturada pela Matriz de Informação de Fisher. O artigo deriva que a divergência KL entre as distribuições de atenção original e perturbada é localmente proporcional a uma variância ponderada por Fisher dos erros de pontuação (Eq. 6), e não ao MSE bruto da chave.

2.2 Geometria de Leitura de Valores

Os valores são consumidos via uma soma ponderada. Para pesos de atenção fixos $p$, o erro de leitura é $\Delta o = \sum p_j \Delta v_j$.

• O artigo propõe uma distorção de token ponderada por $A^2$ como o substituto apropriado para o erro de valor. Diferentemente do MSE de valor bruto, essa métrica pondera a distorção de cada token pelo quadrado de sua probabilidade de atenção ($p_j^2$), refletindo o fato de que erros em tokens altamente atendidos contribuem mais para o erro de saída.

3. Metodologia: HeadQ

HeadQ é um método de quantização do lado da chave projetado para preservar o resíduo "visível à pontuação" em vez do vetor de chave bruto.

Visão Geral do Algoritmo

1. Calibração: Para cada camada e cabeça, uma base de baixo posto $U_h$ (posto $r$) é aprendida via PCA a partir de consultas de calibração (pós-RoPE).
2. Escrita no Cache:
   • Um quantizador padrão de baixo bit $B_b$ gera uma chave base $\hat{k}^{base}_j$.
   • O resíduo $e_j = k_j - \hat{k}^{base}_j$ é computado.
   • O resíduo é projetado na base aprendida: $z_j = Q_q(U_h^\top e_j)$, onde $Q_q$ é um quantizador lateral de baixo bit.
   • O cache armazena a chave base e o código lateral $z_j$.
3. Leitura do Cache (Inferência):
   • A consulta atual $q$ é usada para desquantizar o código lateral.
   • Uma correção aditiva de logits é aplicada:
     $$\hat{s}_j = \frac{q^\top \hat{k}^{base}_j}{\sqrt{d}} + \frac{q^\top U_h \hat{z}_j}{\sqrt{d}}$$
   • Essa correção visa diretamente o erro de pontuação, contornando a necessidade de reconstruir o vetor de chave completo.

Distinção Chave: O HeadQ não armazena a consulta atual; ele armazena um código de resíduo em uma base aprendida na calibração que a consulta de tempo de execução pode decodificar em uma correção de logits.

4. Contribuições Principais

1. Formulação da Distorção Visível ao Modelo: O artigo define a distorção da chave como "erro visível à pontuação módulo deslocamentos constantes" e a distorção do valor como "erro visível à leitura com um substituto diagonal $A^2$". Isso explica por que o MSE bruto é um mau proxy para o desempenho comportamental.
2. Algoritmo HeadQ: Um algoritmo prático de escrita/leitura no cache que armazena um código lateral de resíduo de baixo posto em uma base de consulta e o aplica como uma correção aditiva de logits.
3. Cadeia de Evidências Falsificáveis:
   • Superioridade da Métrica: O erro no espaço de Fisher/pontuação prevê a divergência KL da atenção significativamente melhor (ganho de Spearman $\rho \approx 0.62\text{--}0.69$) do que o MSE bruto da chave em seis modelos.
   • Contraexemplos: Experimentos pareados mostram que um quantizador com menor MSE de armazenamento pode ter maior KL de atenção e erro de saída, provando que o MSE de armazenamento não é um proxy suficiente.
   • Intervenções no Espaço Nulo: Restaurar um componente de média "nulo do softmax" (que a atenção densa ignora) aumenta drasticamente o dano de Fisher para quantizadores de grade fixa não equivariantes, demonstrando que o desperdício de coordenadas de armazenamento quebra o desempenho comportamental.
   • Implantabilidade: Bases de PCA de consulta aprendidas a partir de dados de calibração aproximam com sucesso o resíduo ativo, enquanto bases aleatórias de orçamento igual falham.
   • Direcionalidade: Reverter o sinal da correção HeadQ (controle de "sinal errado") causa falha catastrófica, confirmando que o método funciona corrigindo o objeto de pontuação específico na direção correta.

5. Resultados Experimentais

Os experimentos foram conduzidos no WikiText-103 utilizando seis modelos (GPT-2, Pythia, Qwen2, Qwen2.5, TinyLlama, Mistral).

• Experimentos Apenas-K (Valores Densos):
  • Nas linhas de 2 bits mais danificadas, o HeadQ (posto 4) remove aproximadamente 84–94% da perplexidade excessiva (PPL) em comparação com uma linha de base tipo KIVI para modelos como Qwen2, Pythia e GPT-2.
  • O TinyLlama mostra melhoria material; o Mistral já apresenta desempenho próximo ao denso neste protocolo.
• Composição Completa KV (2 bits):
  • Combinar o HeadQ (lado da chave) com uma política de valor ponderada por $A^2$ melhora o desempenho em todos os seis modelos na precisão de 2 bits.
• Análise de Anomalias:
  • O Pythia-160M mostrou uma correlação mais fraca entre Fisher e KL em regimes específicos de baixa entropia de "virada de rota" (onde pequenas perturbações invertem o token top-1). Essa anomalia foi localizada em uma fronteira específica da família e enfraqueceu em checkpoints maiores do Pythia (410M, 1B).

6. Significado e Alegações

O artigo alega que o casamento de operadores é a lição de design crítica para a quantização de KV-cache:

• As chaves são objetos de pontuação; a compressão deve preservar resíduos visíveis à consulta e evitar desperdiçar resolução em deslocamentos nulos do softmax.
• Os valores são objetos de leitura; a compressão deve priorizar o erro ponderado por $A^2$.

Os autores afirmam explicitamente que este trabalho é mecanístico e diagnóstico, não uma alegação de um sistema de serviço pronto para produção. Eles não afirmam ter otimizado kernels empacotados, latência ou vazão. O significado reside em:

1. Corrigir o objetivo teórico da quantização de KV-cache de reconstrução de armazenamento para distorção visível ao modelo.
2. Fornecer um método implantável (HeadQ) que alcança recuperação substancial de PPL em regimes de baixo bit ao visar a geometria de erro correta.
3. Demonstrar que métricas padrão de armazenamento (MSE) podem ser enganosas comportamentalmente, necessitando de uma mudança em direção a proxies no espaço de pontuação.

O artigo conclui que o próximo passo é estender essa visão casada com operadores para um codec completo KV totalmente otimizado, em vez de tratar o MSE de armazenamento como o alvo padrão.