Resumo Técnico: Como a Visibilidade da Consulta Altera os Rankings de Compressão de KV-Cache

1. Declaração do Problema

A literatura predominante sobre compressão de KV-cache avalia métodos sob um protocolo ciente da consulta (query-aware), onde a pergunta do benchmark é anexada ao contexto antes do algoritmo de compressão rodar. Neste cenário, o mecanismo de pontuação do compressor pode "ver" a pergunta, permitindo que ele priorize tokens relevantes para aquela consulta específica.

No entanto, a principal motivação econômica para a compressão de KV-cache é a reutilização: comprimir um documento uma vez para responder a muitas perguntas futuras. Neste cenário de implantação, a compressão deve ser agnóstica à consulta (query-agnostic) (ocorrendo antes de qualquer pergunta ser vista). O artigo identifica uma lacuna crítica: as avaliações existentes não quantificam quanto do ganho de desempenho reportado de um método é um artefato de ver a pergunta versus uma retenção genuína de informação. Os autores perguntam: Sob um orçamento correspondente, quanto do ganho reportado de cada método publicado sobrevive à transição da compressão ciente da consulta para a agnóstica à consulta, e o tamanho da queda acompanha como o sinal de pontuação do método utiliza a pergunta?

2. Metodologia: Uma Auditoria de Orçamento Correspondente

Os autores conduziram uma auditoria rigorosa e controlada em vez de propor um novo método de compressão. O design experimental isola a variável "protocolo" enquanto mantém todos os outros fatores constantes.

• Escopo: A auditoria cobre seis métodos de compressão publicados (SnapKV, H2O, TOVA, ExpectedAttention, AdaKV, KeyDiff) e três baselines triviais (evicção aleatória, Key-norm e o "início + janela recente" do StreamingLLM).
• Modelos e Benchmarks: As avaliações foram realizadas em três modelos abertos de 7–9B (Llama-3.1-8B, Qwen2.5-7B, DeepSeek-R1-Distill-Qwen-7B) em dois benchmarks:
  • RULER-8192: 13 subtarefas (recuperação, agregação, multi-hop) com 650 instâncias.
  • LongBench: 16 tarefas naturais em inglês (50 instâncias cada) usadas como um teste de robustez.
• Braços do Protocolo:
  • Ciente da Consulta (Query-Aware): A pergunta é visível durante a passagem de pontuação.
  • Agnóstica à Consulta (Query-Agnostic): O contexto é comprimido primeiro; a pergunta é anexada apenas após a evicção.
• Controles:
  • Orçamento Correspondente (Matched Budget): Todos os métodos usam razões de compressão idênticas ($r \in \{0.25, 0.5, 0.75, 0.9\}$) e configurações de decodificação (greedy).
  • Estatísticas Pareadas: Cada instância é avaliada sob ambos os protocolos, permitindo o reamostragem bootstrap pareada ($B=50.000$) para medir o delta.
  • Ancoragem de Baseline: Os métodos são comparados contra um "melhor de 3" baseline trivial para garantir que os ganhos não sejam apenas sobre heurísticas triviais.
• Escala: A auditoria gerou 144.300 registros pareados no RULER e 40.800 no LongBench, com verificações rigorosas de cobertura para evitar lacunas de dados causadas por OOM (falta de memória).

3. Contribuições Principais

A. Medição Quantitativa de Dependência de Consulta

A auditoria revela que a escolha do protocolo altera fundamentalmente o ranking de desempenho.

• A Inversão (The Flip): Sob o protocolo ciente da consulta, quatro dos cinco métodos comparáveis superam os baselines triviais. Sob o protocolo agnóstico à consulta, este quadro se inverte: apenas o KeyDiff supera consistentemente o melhor dos 3 baselines triviais (vencendo 31/36 células), enquanto o amplamente implantado SnapKV na verdade tem um desempenho inferior ao baseline "manter início + janela recente" (gap médio de -0,066).
• O Delta: A queda de desempenho entre os protocolos varia conforme o método. O SnapKV sofre uma queda massiva ($\Delta = +0,198$), enquanto o desempenho do KeyDiff permanece estável ($\Delta = +0,011$).

B. Hipótese Mecanística: A Visibilidade Segue o Desempenho

Os autores propõem uma hipótese mecanística: a magnitude da queda de desempenho ($\Delta$) é ordenada consistentemente com a visibilidade da pergunta dentro do sinal de pontuação do método (conforme visto no código-fonte).

• Alta Visibilidade: SnapKV e AdaKV usam uma janela de observação (últimos 64 tokens) que é preenchida pela pergunta no protocolo ciente da consulta. Eles apresentam as maiores quedas.
• Baixa/Nenhuma Visibilidade: O KeyDiff pontua com base em outliers angulares de vetores-chave em relação à média, contendo nenhum termo da consulta em seu cálculo de pontuação. Ele apresenta a menor queda.
• Evidência: Isso é apresentado como evidência ordinal através de seis métodos, não como uma lei quantitativa ajustada. A hipótese sugere que as pontuações cientes da consulta frequentemente medem a "relevância da consulta" em vez da "importância da informação" necessária para a reutilização do cache.

C. Identificação de Perigos de Avaliação

A auditoria detectou dois perigos metodológicos reproduzíveis que podem corromper silenciosamente as avaliações:

1. Confundimento de Backend de Atenção: Trocar o backend de atenção (ex: sdpa vs. eager) em um modelo não comprimido deslocou a precisão do RULER em -0,29. Este deslocamento é maior do que a maioria dos gaps método-vs-baseline. Consequentemente, os autores retiraram todas as reivindicações de ranking referentes ao H2O, que requer o backend eager, pois seu déficit é inseparável da diferença de backend.
2. Comprimento de Benchmark Dependente de Tokenizer: O limite nominal de "8192" tokens do RULER é contado em um tokenizer de referência. Para o gemma-2, o mesmo contexto renderiza como ~10.600 tokens, extrapolando seu orçamento posicional e fazendo com que 7 de 13 subtarefas pontuassem 0,000 mesmo sem compressão. Isso desqualificou o gemma-2 da auditoria.

4. Resultados e Descobertas

• Resultos do RULER: No cenário agnóstico à consulta, o KeyDiff é o único método que supera consistentemente os baselines triviais, particularmente em tarefas de recuperação de alta compressão. Outros métodos (SnapKV, AdaKV, TOVA) dependem fortemente de ver a pergunta para alcançar seus ganhos reportados.
• Resultos do LongBench (Texto Natural): Em prosa natural, o KeyDiff permanece válido (superando baselines), mas perde sua exclusividade. Outros métodos (TOVA, ExpectedAttention) alcançam ou ultrapassam o KeyDiff em configurações específicas. Isso sugere que o "palheiro" sintético do RULER (texto repetitivo) favoreceu desproporcionalmente o mecanismo de detecção de outliers do KeyDiff, inflando sua singularidade, mas não necessariamente sua eficácia geral.
• Retratação de Inversões entre Modelos: Um snapshot anterior dos dados sugeriu que os modelos discordavam sobre se métodos reais superavam os triviais (inversões de ranking). Após preencher as lacunas de OOM e completar o elenco, essas probabilidades de inversão caíram para quase zero, indicando que o achado inicial foi um artefato de dados incompletos e efeitos de piso no modelo ajustado para raciocínio (R1-Distill).

5. Significância e Alegações

O artigo posiciona-se como uma quantificação controlada por método do efeito de visibilidade da consulta, em vez de um novo algoritmo de compressão ou um endosso ao KeyDiff.

• Realidade de Implantação: Os autores argumentam que, para o caso de uso economicamente interessante de "comprimir uma vez, consultar muitas vezes", o protocolo de avaliação ciente da consulta é enganoso. Métos que dependem de ver a pergunta para podar o cache podem falhar em cenários de reutilização em produção.
• Rigor Metodológico: O artigo demonstra que auditorias válidas de compressão de KV-cache devem manter fixos não apenas o modelo e o orçamento, mas também o backend de atenção e o alinhamento do tokenizer.
• Alegações Modestas: Os autores afirmam explicitamente que não estão alegando que o KeyDiff é o "melhor" método no geral, mas sim o único método auditado que é tanto independente de consulta quanto eficaz através das famílias testadas. Eles enfatizam que a "hipótese mecanística" em relação à visibilidade é apoiada por evidência ordinal e requer mais manipulaçãoções para ser provada como uma lei quantitativa.

Em resumo, o artigo afirma que uma parte substancial dos ganhos reportados na literatura de compressão de KV-cache é um artefato do protocolo de avaliação, e que métodos verdadeiramente prontos para implantação devem demonstrar eficácia sem acesso à consulta futura.