🤖 AI

SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation

O SelKV é um framework livre de treinamento que comprime caches de KV ao mesclar ou descartar tokens seletivamente com base na similaridade de vetores de valor e compensar desequilíbrios de atenção via viés de logit, alcançando uma qualidade de geração quase sem perdas e acelerações significativas enquanto retém apenas 25% do cache original.

Autores originais: Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

Publicado 2026-07-21

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando se lembrar de uma história massiva de 100.000 páginas enquanto escreve um novo capítulo. Cada vez que você pensa em um ponto da trama, precisa folhear todo o seu caderno para encontrar os detalhes corretos. Quanto mais páginas você escreve, mais pesado o seu caderno fica, até que seus braços fiquem cansados demais para segurá-lo. Isso é exatamente o que acontece dentro do "cérebro" de um Grande Modelo de Linguagem (LLM) quando ele tenta processar textos longos. Esses modelos são incrivelmente inteligentes, mas têm um problema de memória: conforme leem, eles armazenam um "cache de Chave-Valor" — um sistema de arquivamento digital de tudo o que viram até agora — para ajudar a entender o que vem a seguir. Quanto mais longo o texto, maior esse arquivo se torna, eventualmente preenchendo toda a memória do computador e tornando tudo extremamente lento.

Para corrigir isso, os cientistas tentaram dois truques principais. O primeiro é a "evicção", que é como jogar fora páginas antigas que você acha que não são importantes. O segundo é a "fusão", que é como colar páginas semelhantes para economizar espaço. Mas ambos os métodos têm uma falha. Jogar páginas fora pode fazer com que pistas cruciais sejam perdidas, e colar páginas juntas frequentemente cria uma versão "embaçada", onde o modelo esquece quanta atenção deve dar ao grupo colado. É como se você colasse dez fotos de um gato juntas; o modelo ainda poderia dar a esse único bloco colado a mesma atenção que daria a uma única foto, mesmo que agora ele represente dez. Isso faz com que o modelo se confunda e cometa erros.

Apresentamos o SelKV, um novo e inteligente método que atua como um bibliotecário esperto para esses arquivos digitais. Em vez de simplesmente colar páginas ou jogá-las no lixo, o SelKV usa um "portão de cosseno suave" (soft cosine gate) — pense nisso como um segurança de uma boate que verifica o quanto duas páginas se parecem antes de decidir o que fazer. Se duas páginas forem muito semelhantes, elas são coladas firmemente. Se forem totalmente diferentes, o segurança envia uma delas embora para manter a memória limpa. Mas a verdadeira mágica é a "compensação de atenção". Como colar páginas geralmente faz com que o modelo as ignore, o SelKV adiciona um pequeno "impulso de volume" às páginas coladas, garantindo que o modelo preste a atenção correta a elas.

Os pesquisadores testaram este sistema em três modelos de IA usando 16 tarefas diferentes, desde responder perguntas sobre múltiplos documentos até escrever código. Eles descobriram que, ao manter apenas 25% do espaço de memória original, o SelKV teve um desempenho quase tão bom quanto ter a memória total e, em alguns testes complexos de múltiplos documentos, na verdade performou melhor do que a versão completa. Parece que, ao ser seletivo, a IA na verdade focou nas partes mais importantes da história. Além disso, quando o texto ficou enorme (100.000 tokens), este método fez a IA decodificar o texto 3,3 vezes mais rápido. O artigo sugere que esta abordagem é especialmente boa para modelos de IA modernos que usam um tipo específico de atenção (chamada GQA), oferecendo uma maneira de manter esses cérebos poderosos funcionando rápido sem perder sua memória.

Resumo Técnico: SelKV - Fusão Seletiva de Cache KV com Fusão ou Descarte por Token e Compensação de Atenção

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam um gargalo crítico durante a inferência autorregressiva: o cache de Chave-Valor (KV). À medida que o comprimento do contexto ( $n$ ) aumenta, a pegada de memória do cache KV cresce linearmente ( $O(L \cdot H \cdot d \cdot n)$ ), limitando severamente os tamanhos de lote (batch sizes), o throughput e os custos de implantação para aplicações de contexto longo.

Embora os métodos de compressão existentes tentem mitigar isso, eles sofrem de duas limitações primárias:

Decisões Uniformes de Fusão ou Descarte: As abordagens atuais tipicamente aplicam uma estratégia binária: ou fundem todos os tokens evitados (ex: KVMerger, WeightedKV) ou os descartam inteiramente (ex: H2O, SnapKV). Essa falta de granularidade significa que, quando o vetor de valor de um token evitado é dissimilar ao seu alvo de fusão, a média ponderada corrompe a representação semântica retida. Inversamente, o descarte indiscriminado perde informações valiosas.
Queda de Atenção (Attention Sag): Quando múltiplos tokens são fundidos em uma única entrada de cache, essa entrada recebe a mesma massa de atenção softmax que um único token não fundido. Isso resulta em uma "queda de atenção", onde as posições fundidas são sistematicamente menos atendidas por um fator proporcional ao número de tokens fundidos ( $\sim m$ ), causando com o fato de o modelo subutilizar a informação preservada.

2. Metodologia: SelKV

Os autores propõem o SelKV (Selective KV Cache Merging), um framework de dois componentes, livre de treinamento, projetado para abordar essas limitações. O SelKV opera como um módulo plugável integrado em pipelines de fusão existentes após a fase de prefill.

Componentes Principais

1. Portão de Cosseno Suave (Soft Cosine Gate - Abordando Decisões Uniformes)
Em vez de uma decisão binária de fusão ou descarte, o SelKV introduz um mecanismo de portão contínuo por token baseado na similaridade dos vetores de valor.

Mecanismo: Para cada token evitado roteado para um alvo de fusão, o sistema calcula a similaridade de cosseno entre seus vetores de valor.
Função de Portão: Um portão suave $g = \max(\cos\_sim, 0)$ $g = max (cos_s im, 0)$ modula a intensidade da fusão:
- $g \approx 1$ : Alta similaridade $\rightarrow$ Fusão total.
- $g = 0$ : Vetores dissimilares (ortogonais) $\rightarrow$ Descarte do token.
- $0 < g < 1$ : Similaridade moderada $\rightarrow$ Fusão parcial.
Implementação: Isso não requer parâmetros aprendidos ou ajuste de limiar (threshold tuning). O valor fundido para um token mantido $i$ é calculado como uma média ponderada pela atenção e pelo portão do valor original e das contribuições dos tokens evitados, escalonada por seus respectivos portões.

2. Compensação de Atenção (Abordando a Queda de Atenção)
Para corrigir a sub-atenção sistemática das posições fundidas, o SelKV aplica um viés de logit durante a decodificação.

Mecanismo: Diferente de métodos anteriores que usam contagens de fusão brutas (que podem ser instáveis em altas taxas de compressão), o SelKV deriva uma razão de atenção ( $R_{h,i}$ ) a partir de estatísticas de prefill. Esta razão estima a massa de atenção total que uma posição fundida deveria receber em relação ao seu estado original.
Correção: Um termo de viés $\alpha \cdot \log(R_i)$ é adicionado aos logits de atenção durante a decodificação. Isso recalibra a distribuição softmax para garantir que as posições fundidas recebam a massa de atenção apropriada proporcional à informação que agora representam.

Visão Geral do Pipeline

O pipeline SelKV procede em seis estágios pós-prefill:

Pontuação de Importância: Os tokens são pontuados com base no produto do peso de atenção e da magnitude do vetor de valor (seguindo o VATP), em vez de apenas o peso de atenção.
Seleção de Tokens: Os top- $m_s$ tokens são selecionados por camada (e por cabeça para MHA, ou via união para GQA) para retenção, juntamente com uma janela recente fixa.
Roteamento de Alvo de Fusão: Os tokens evitados são roteados para tokens retidos dentro de baldes posicionais baseados em padrões de atenção de prefill.
Fusão Seletiva: O portão de cosseno suave determina a intensidade da fusão para cada token evitado.
Compensação de Atenção: O viés de logit é computado e aplicado.
Reposicionamento de RoPE: As chaves (Keys) são re-incorporadas em posições contíguas (desativado para avaliação de contexto longo para evitar distorção posicional).

3. Principais Contribuições

Granularidade por Token: A introdução de um portão de cosseno suave que permite a modulação contínua da intensidade de fusão baseada na similaridade semântica, eliminando a falha de "tudo ou nada" de métodos anteriores.
Compensação de Atenção Estável: Um viés de logit baseado em razão de atenção que corrige a queda de atenção de forma mais robusta do que métodos baseados em contagem bruta, particularmente sob compressão pesada.
Integração Livre de Treinamento: O framework não requer ajuste fino (fine-tuning) e pode ser integrado em pipelines de compressão de etapa única (one-shot) existentes.
Adaptabilidade de Arquitetura: O método suporta arquiteturas de Atenção de Múltiplas Cabeças (MHA) e Atenção de Consulta Agrupada (GQA), com tratamento específico para uniões de seleção de tokens em modelos GQA.

4. Resultados Experimentais

O framework foi avaliado no LongBench (16 conjuntos de dados em inglês) em três modelos: LongChat-7B (MHA), LLaMA-3.1-8B (GQA) e Gemma-2-9B (GQA), retendo apenas 25% do cache KV.

Desempenho vs. Baselines: O SelKV superou consistentemente os baselines de etapa única representativos (SnapKV, LOOK-M, PyramidKV).
- Em modelos GQA, o SelKV alcançou o desempenho mais próximo do baseline de cache total, com lacunas médias de $-0,67$ (Gemma-2) e $-0,73$ (LLaMA-3.1).
- Em modelos MHA (LongChat), o PyramidKV teve um desempenho ligeiramente superior no setting específico de 31,5k tokens, embora o SelKV tenha permanecido competitivo.
QA Multi-Documento: Notavelmente, o SelKV excedeu o baseline de cache total em várias tarefas de QA multi-documento (ex: HotpotQA e MuSiQue no LLaMA-3.1). Os autores interpretam isso como evidência de que a fusão seletiva atua como um filtro de atenção implícito, suprimindo o contexto de distração enquanto preserva evidências salientes.
Eficiência: Em um comprimento de contexto de 100k tokens, o cache comprimido entregou um aceleração de decodificação de 3,3x em comparação com o baseline de cache total.
Robustez: O método demonstrou robustez através de várias taxas de compressão (10%–90% de retenção) e categorias de tarefas, incluindo sumarização, aprendizado de poucos disparos (few-shot learning) e conclusão de código.

5. Significância e Alegações

O artigo posiciona o SelKV como um passo significativo para tornar a inferência de LLMs de contexto longo viável sem sacrificar a qualidade. Os autores alegam que:

A fusão seletiva é superior às estratégias uniformes: Ao modular a intensidade da fusão baseada na similaridade de representação, o SelKV evita a corrupção semântica causada pela fusão indiscriminada.
A compensação de atenção é crítica: Sem corrigir a queda de atenção, os tokens fundidos são subutilizados; a correção baseada em razão do SelKV garante que a informação preservada seja acessada de forma eficaz.
Filtragem Implícita: A capacidade do SelKV de superar os baselines de cache total em QA multi-documento complexo sugere que o processo de compressão pode, por si só, melhorar o desempenho do modelo ao filtrar ruídos, um achado que desafia a suposição de que a compressão sempre degrada a capacidade.

Os autores concluem que o SelKV oferece uma solução prática e livre de parâmetros para implantar LLMs em ambientes com restrição de memória, mantendo uma qualidade de geração quase sem perdas, particularmente para arquiteturas baseadas em GQA.