Resumo Técnico: VECTOR

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam um gargalo crítico na inferência de longo contexto devido ao crescimento linear da memória do cache de Chave-Valor (KV) com o comprimento da sequência. Esse custo de memória restringe a implantação prática em aplicações que exigem janelas de contexto longas, como QA pesada em recuperação, fluxos de trabalho de agentes e raciocínio multi-turno.

Os métodos existentes de compressão de cache KV geralmente se enquadram em duas categorias, ambos com limitações:

1. Eliminação Baseada em Importância: Métodos como SnapKV e KeyDiff pontuam tokens e descartam permanentemente entradas de baixa pontuação. Embora eficientes, essa decisão binária (manter ou eliminar) é irreversível. Sob orçamentos de memória restritos, isso pode levar a degradação substancial de desempenho ao descartar tokens que não são críticos para retenção exata, mas ainda são reconstrutíveis.
2. Aproximação de Representação: Métodos como AQUA-KV e EliteKV comprimem representações KV via quantização ou projeção. No entanto, muitos exigem modificações arquitetônicas, re-treinamento ou computação online cara (por exemplo, reconstrução baseada em recuperação).

Além disso, os métodos existentes de alocação multi-estado (por exemplo, ARKV, D2O) melhoram a eliminação binária, mas dependem exclusivamente de sinais de importância de token. Eles falham em modelar explicitamente a reconstrutibilidade — se a representação KV de um token pode ser recuperada com precisão de outras informações disponíveis com erro limitado. Adicionalmente, embora trabalhos anteriores observem que os valores (V) são geralmente mais tolerantes à aproximação do que as chaves (K) devido à amplificação não linear de erros no mecanismo de atenção softmax, a maioria dos métodos de compressão em nível de token não explora explicitamente essa assimetria na alocação de memória.

Metodologia: VECTOR

Os autores propõem VECTOR (Estimativa de Valor via Colinearidade e Roteamento Ortogonal de Três Vias), uma augmentação plug-and-play para pipelines baseados em eliminação. O VECTOR introduz um mecanismo de roteamento de token de três vias: Retenção, Aproximação e Eliminação.

Mecanismos Principais

1. Tratamento Assimétrico (K vs. V):

   • Chaves (K): Retidas exatamente para todos os tokens no pool de candidatos. Isso preserva a integridade do mecanismo de roteamento de atenção, pois perturbações nas chaves são amplificadas exponencialmente pela função softmax.
   • Valores (V): Sujeitos a uma decisão de três vias.
     • Manter: Armazenamento exato para tokens de alta importância ou difíceis de reconstruir.
     • Aproximar: Descartados e reconstruídos sob demanda para tokens com alta reconstrutibilidade.
     • Eliminar: Removidos permanentemente para tokens de baixa importância.

2. Reconstrutibilidade via MQO:

   • O método aproveita a estrutura de baixo posto intrínseca compartilhada por K e V (ambas projeções lineares do mesmo estado oculto).
   • Emprega um modelo de regressão de Mínimos Quadrados Ordinários (MQO), calibrado offline, para prever V a partir de K ($V \approx W_{MQO}K$).
   • Para lidar com o Embedding de Posição Rotacional (RoPE), o método aplica uma rotação inversa às chaves antes da reconstrução, desacoplando a informação posicional para permitir que uma matriz $W_{MQO}$ estática funcione em todas as posições.

3. Pipeline de Alocação de Três Vias:
   Dado um ratio de compressão alvo $p_c$ e um ratio de aproximação $p_a$:

   • Passo 1 (Relaxamento de Orçamento): O algoritmo base de eliminação identifica um pool de candidatos expandido de tamanho $1 - p_c + p_a$.
   • Passo 2 (Avaliação de Resíduo): Para cada token neste pool, o erro de reconstrução $\epsilon_i = \|V_i - W_{MQO}K_i\|^2$ é computado.
   • Passo 3 (Truncamento Assimétrico):
     • Chaves para todos os $1 - p_c + p_a$ tokens são retidas.
     • Os $2p_a$ tokens com os menores erros de reconstrução têm seus valores descartados e reconstruídos via $W_{MQO}K$.
     • Os $1 - p_c - p_a$ tokens restantes retêm tanto K quanto V exatos.
   • Isso garante que a pegada de memória total corresponda ao orçamento alvo de $1 - p_c$ pares KV completos.

Contribuições Principais

1. Alocação Consciente de Reconstrutibilidade: O artigo reformula a compressão KV como um problema unificado de manter-aproximar-eliminar, considerando conjuntamente a importância do token e a reconstrutibilidade, em vez de uma decisão binária.
2. Reconstrução K→V Leve: Uma calibração única de MQO offline permite a reconstrução online de valores a partir de chaves armazenadas com sobrecarga de inferência negligenciável e sem re-treinamento do modelo.
3. Integração Plug-and-Play: O VECTOR pode ser acoplado a métodos existentes de eliminação por importância de token (tanto conscientes quanto agnósticos de consulta) com adaptação mínima.
4. Análise Teórica: Os autores derivam condições sob as quais expandir o nível de aproximação reduz a perda de informação, ligando a qualidade de previsão MQO necessária ($R^2_{aprox}$) à assimetria da distribuição de pontuação de importância.

Resultados Experimentais

Os experimentos foram conduzidos no LongBench (16 tarefas) e Needle-in-a-Haystack (NIAH) usando Llama-3.1-8B, Qwen3-14B e Qwen3-0.6B.

• Ganhos de Alta Compressão: O VECTOR melhora consistentemente o desempenho downstream em regimes de alta compressão ($p_c \in \{0.75, 0.90\}$).
  • Baselines Agnósticas de Consulta: Os ganhos mais significativos foram observados com KeyDiff e KVzip. Por exemplo, no Qwen3-14B com KeyDiff, o VECTOR melhorou as pontuações médias em +7,03 em $p_c=0.50$, +9,15 em $p_c=0.75$ e +9,73 em $p_c=0.90$.
  • Baselines Conscientes de Consulta: As melhorias com SnapKV e PyramidKV foram mais modestas, particularmente em compressão moderada, pois esses métodos já retêm os tokens mais pertinentes, deixando menos "margem" para aproximação. No entanto, ganhos consistentes foram observados em $p_c=0.90$.
• Robustez (NIAH): Nos testes de estresse NIAH em $p_c=0.90$, o VECTOR melhorou consistentemente a qualidade de recuperação. Transformou padrões de falha de regiões contíguas grandes de baixa pontuação para células difíceis mais localizadas, indicando robustez aprimorada.
• Sensibilidade: O desempenho atinge o pico em um ratio de aproximação moderado ($p_a$). Se $p_a$ for muito baixo, informações recuperáveis são perdidas; se muito alto, o nível de retenção encolhe, forçando tokens difíceis de reconstruir para a aproximação.

Significado e Alegações

O artigo afirma que o VECTOR demonstra uma direção promissora para sistemas de inferência de longo contexto ao combinar eliminação consciente de importância com aproximação consciente de reconstrutibilidade.

• Eficiência: Recupera informações de valor úteis que seriam irreversivelmente perdidas sob eliminação binária, preservando vetores de chave para estabilidade de atenção.
• Praticidade: O método não exige mudanças arquitetônicas ou re-treinamento, tornando-se uma augmentação prática para sistemas existentes.
• Otimização de Trade-off: Sob orçamentos de memória estritos, o VECTOR alcança melhores trade-offs qualidade-memória, particularmente para métodos que dependem exclusivamente de pontuação intrínseca ao contexto (agnósticos de consulta), onde importância e reconstrutibilidade capturam dimensões ortogonais de utilidade.

Os autores reconhecem limitações, observando que o ratio de aproximação $p_a$ é atualmente definido via uma fórmula empírica em vez de otimização dinâmica, e os ganhos sobre baselines conscientes de consulta são limitados pelo alto desempenho basal desses métodos. Trabalhos futuros poderiam explorar estratégias de alocação adaptativa.