Resumo Técnico: QEvict

Declaração do Problema

A inferência autorregressiva em modelos de linguagem de grande escala (LLMs) é cada vez mais limitada pela pegada de memória do cache de Chave-Valor (KV), que cresce linearmente com o comprimento da sequência e o tamanho do lote (batch size). Embora as soluções existentes abordem isso através de evicção (remoção permanente de tokens considerados pouco importantes) ou quantização (armazenamento de estados em menor precisão), ambas as abordagens sofrem de limitações fundamentais:

1. Irreversibilidade da Evicção: As políticas de evicção padrão tomam decisões binárias e irreversíveis. Elas assumem que a importância do token é estática; no entanto, o artigo demonstra que a importância de tokens e janelas "oscila" (drift) durante a decodificação. Um estado descartado como pouco importante sob uma consulta atual pode tornar-se crítico posteriormente para resolver referências ou avançar trajetórias de raciocínio. Uma vez evicto, essa informação é permanentemente perdida.
2. Fragmentação do Contexto: A evicção ao nível do token pode fragmentar evidências localmente coerentes ao reter tokens isolados de alta pontuação enquanto descarta tokens vizinhos essenciais para sua interpretação.
3. Precisão Estática: Os métodos de quantização existentes geralmente não gerenciam conjuntamente a residência do cache e a precisão numérica. Eles carecem de um mecanismo para mover dinamicamente os estados históricos entre execução de precisão total, armazenamento recuperável compacto e remoção permanente.

O desafio central abordado é como comprimir agressivamente o cache KV preservando regiões históricas coerentes cuja relevância pode emergir apenas mais tarde no processo de geração.

Metodologia: QEvict

Os autores propõem o QEvict, um esquema de gerenciamento de cache KV de três níveis e recuperável que opera sobre janelas contíguas em vez de tokens individuais. O sistema roteia dinamicamente as janelas entre três estados sob um orçamento de memória fixo:

1. Nível de Precisão Total (Full-Precision Tier): Janelas de alta confiança são mantidas em precisão total.
2. Nível Quantizado Recuperável (Recoverable Quantized Tier): Janelas intermediárias são armazenadas em um formato compacto de baixa taxa de bits (especificamente INT2 nos experimentos). Essas janelas permanecem acessíveis ao mecanismo de atenção e podem ser "promovidas" de volta à precisão total se sua importância aumentar.
3. Nível de Evicção (Evicted Tier): Apenas as janelas de menor confiança são permanentemente removidas.

Mecanismos Principais

• Roteamento por Nível de Janela (Window-Level Routing): Em vez de decisões ao nível do token, o QEvict particiona o cache histórico em janelas contíguas. Isso estabiliza as decisões de seleção e preserva o contexto local.
• Pontuação Cumulativa: A importância da janela é determinada pela acumulação de pontuações de atenção ao longo do tempo. Isso permite que o sistema rastreie a "massa perdida futura" (atenção que seria atribuída a estados descartados) e identifique janelas que recuperam a relevância.
• Hierarquia Recuperável:
  • Rebaixamento (Demotion): Quando a importância de uma janela de precisão total cai, ela é movida para o nível quantizado.
  • Promoção (Promotion): Se a pontuação cumulativa de uma janela quantizada subir, ela é desquantizada e promovida de volta ao nível de precisão total.
  • Livro de Registro de Quantização de Escrita Única (Write-Once Quantization Ledger): Para evitar o acúmulo de erros durante transições repetidas de nível, o QEvict quantiza uma janela apenas uma vez em seu primeiro rebaixamento. A representação de baixa taxa resultante é armazenada em um registro persistente e reutilizada para todas as promoções e rebaixamentos subsequentes, evitando a composição de erros de aproximação.
• Implementação: O sistema suporta Atenção de Consulta Agrupada (GQA) e FlashAttention-2. Ele materializa seletivamente a atenção SDPA durante eventos de roteamento para calcular pontuações cumulativas, utilizando caminhos de decodificação padrão nos demais casos.

Principais Contribuições

1. Análise Sistemática da Dinâmica de Cache: Os autores introduzem dois novos diagnósticos para caracterizar o comportamento da decodificação:

   • Massa Perdida Futura (Future Missed Mass - FMM): Mede a fração da atenção futura atribuída a estados já descartados por uma política.
   • LIR Global (Latent Importance Reactivation): Mede a frequência com que janelas historicamente inativas reentram no conjunto ativo.
   • Churn de Seleção: Quantifica a instabilidade das atribuições de cache entre etapas de roteamento consecutivas.
   • Descobertas: Esses diagnósticos revelam que, embora a importância esteja concentrada, ela é temporalmente instável; um subconjunto não desprezível de janelas deixa o conjunto ativo e reentra posteriormente, justificando um nível recuperável.

2. Framework QEvict: Uma nova hierarquia limitada por bytes que substitui a evicção binária por um processo dinâmico de rebaixamento, recuperação e promoção. Combina a retenção seletiva de métodos de evicção com a cobertura ampla de métodos de quantização.

3. Avaliação Abrangente: O método é avaliado em três benchmarks (LongBench, RULER, GSM8K) e três famílias de LLMs ajustados para instrução (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) sob orçamentos de memória rigorosos (5% a 20% do cache KV total).

Resultados

O QEvict melhora consistentemente a relação qualidade-memória em comparação com baselines representativos de evicção e quantização:

• Compreensão de Contexto Longo (LongBench): Em 12 tarefas e múltiplos orçamentos de memória, o QEvict alcança as pontuações médias macro mais altas. Em um orçamento de memória de 20%, ele supera significativamente o baseline de evicção mais forte. Em orçamentos apertados de 5%, os ganhos são ainda mais pronunciados, destacando o valor da retenção de baixa taxa recuperável.
• Recuperação de Longo Alcance (RULER): Em tarefas de contexto de 32K, o QEvict alcança uma média macro de 87,6, superando o baseline de evição de memória correspondente mais forte (Layer-DefensiveKV) em 1,2 pontos e superando baselines de quantização comparáveis em 8,6 pontos. Ele permanece a menos de 2,4 pontos do Full-KV de referência sem compressão.
• Raciocínio (GSM8K): O QEvict preserva melhor a qualidade da geração de múltiplos passos do que os baselines conforme o orçamento de cache diminui, mantendo maior precisão em modelos Llama, Qwen e Mistral.
• Eficiência:
  • Com backends Eager/SDPA, o QEvict reduz o Tempo Por Token de Saída (TPOT) em 9,3% e melhora o throughput em 9,8% em comparação com o Full-KV, pois o tamanho reduzido do cache de precisão total compensa o overhead de gerenciamento.
  • Com FlashAttention-2, o QEvict reduz o pico de memória da GPU em 29,7% (de 29,54 GB para 20,78 GB), embora o throughput atual seja limitado pela necessidade de desquantizar e reconstruir caches antes da atenção.

Significância e Alegações

O artigo afirma que a retenção de baixa taxa recuperável é uma alternativa prática e superior à evicção permanente para a inferência de LLMs de contexto longo. Ao tratar o gerenciamento de cache como uma hierarquia dinâmica em vez de uma decisão de etapa única, o QEvict aborda a fragilidade de assumir uma importância de token estática.

Os autores enfatizam que sua abordagem:

• Preserva um contexto histórico mais amplo sem alocar memória de precisão total para todos os estados.
• Estabiliza a seleção de cache através da agregação por nível de janela, reduzindo a sensibilidade às flutuações transitórias ao nível do token.
• Suporta a "reativação" de regiões historicamente inativas, um fenômeno observado ocorrer frequentemente durante a decodificação, mas ignorado pelos métodos atuais de estado da arte.

O trabalho sugere que sistemas futuros devem ir além das políticas binárias de manter-ou-deletar em direção a hierarquias de armazenamento dinâmicas e recuperáveis para lidar com a natureza evolutiva da atenção na geração de contexto longo.