💬 NLP

DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity

O DeltaKV é um framework de compressão de cache KV baseado em resíduos que, ao codificar semelhanças semânticas em vez de descartar tokens, reduz drasticamente o uso de memória e aumenta a vazão de inferência em modelos de linguagem de contexto longo.

Autores originais: Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu

Publicado 2026-02-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jitai Hao, Qiang Huang, Yaowei Wang, Min Zhang, Jun Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ler um livro de 1.000 páginas, mas sua memória de curto prazo é muito pequena. Para não esquecer o que leu, você tenta anotar tudo em um caderninho. O problema? Em pouco tempo, seu caderninho fica lotado e você não tem mais espaço para continuar lendo.

Esse é o problema que os modelos de Inteligência Artificial (como o ChatGPT) enfrentam hoje: para entender textos gigantescos, eles precisam guardar uma quantidade enorme de informações (chamada de KV Cache) na memória do computador. Se o texto é muito longo, a memória acaba e o sistema trava ou fica extremamente lento.

O artigo apresenta o DeltaKV, uma solução inteligente para esse "problema do caderninho".

Aqui está a explicação de como ele funciona, usando três analogias simples:

1. A Analogia do "Resumo Comparativo" (O que é o DeltaKV)

Imagine que você está assistindo a uma série de TV muito longa. Em vez de anotar cada detalhe de cada cena (o que ocuparia páginas e páginas), você decide fazer algo diferente: você escolhe alguns "momentos de referência" (cenas icônicas) e guarda apenas o que mudou em relação a elas.

Como era antes: A IA tentava anotar cada palavra e cada detalhe de cada segundo, como se estivesse copiando o livro inteiro para o caderninho.
Com o DeltaKV: A IA identifica que muitas partes do texto são parecidas. Ela guarda uma "cena de referência" e, para o resto, ela anota apenas o "delta" (a diferença). É como dizer: "O personagem continua com a mesma roupa da cena anterior, mas agora ele está sorrindo". Você não precisa descrever a roupa de novo, apenas o sorriso. Isso economiza um espaço gigantesco!

2. A Analogia do "Eco Global" (A descoberta científica)

Os pesquisadores descobriram algo curioso: a semelhança nas informações não acontece apenas entre palavras vizinhas (o que chamamos de localidade), mas sim de forma "global".

Imagine que você está em uma festa barulhenta. Você não ouve apenas o que a pessoa ao seu lado diz; de vez em quando, você ouve um eco de uma conversa que aconteceu lá no outro lado da sala há dez minutos. O DeltaKV aprendeu a usar esses "ecos" (informações que se repetem em partes distantes do texto) para não precisar anotar tudo de novo.

3. A Analogia da "Biblioteca Organizada" (O Sparse-vLLM)

Não adianta ter um método de anotação incrível se você não tiver uma estante rápida para buscar essas notas. O DeltaKV vem acompanhado de um motor chamado Sparse-vLLM.

Imagine que o método antigo era como um bibliotecário que precisava revirar todas as prateleiras para achar uma informação. O Sparse-vLLM é como um bibliotecário supertreinado que tem um índice digital ultraveloz. Ele sabe exatamente em qual "gaveta" está a nota compactada e consegue reconstruí-la instantaneamente, sem perder tempo procurando em lugares desnecessários.

Em resumo: O que isso muda na vida real?

Graças ao DeltaKV, as IAs podem:

Ler muito mais: Elas conseguem processar livros inteiros, códigos de programação gigantescos ou documentos jurídicos complexos sem "perder o fio da meada".
Ser muito mais rápidas: O sistema consegue entregar as respostas até 2 vezes mais rápido do que os métodos atuais.
Gastar menos memória: Eles conseguem reduzir o tamanho do "caderninho de notas" para apenas 29% do tamanho original, mantendo a mesma inteligência.

É como se tivéssemos dado à IA uma memória de elefante, mas com a capacidade de anotar apenas o que realmente importa!

Resumo Técnico: DeltaKV

1. O Problema: O Gargalo do KV Cache

O uso de Modelos de Linguagem de Grande Escala (LLMs) em contextos extremamente longos (como agentes autônomos e raciocínio complexo) enfrenta um obstáculo fundamental: o crescimento linear do consumo de memória do KV Cache (cache de Chave-Valor).

Custo de Memória: Para modelos como o Llama-3.1-8B, um contexto de 128k tokens com batch size 8 pode exigir mais de 130 GB de memória, excedendo a capacidade de uma única GPU.
Limitações de Métodos Atuais:
- Evicção Estática (ex: SnapKV): Descarta tokens permanentemente, o que pode causar perda de informações críticas em diálogos de múltiplos turnos.
- Seleção Dinâmica (ex: OmniKV, Quest): Mantém o cache completo e usa atenção esparsa, o que não reduz o uso de memória de GPU sem técnicas de offloading (que introduzem latência via PCIe).
- Compressão Local: Métodos existentes focam em tokens vizinhos, ignorando a similaridade semântica global.

2. Metodologia: A Abordagem DeltaKV

O DeltaKV baseia-se em duas observações empíricas fundamentais:

Similaridade de Longo Alcance: Tokens semanticamente similares não estão apenas próximos, mas distribuídos globalmente pelo contexto.
Componentes Latentes Compartilhados: Os caches KV possuem uma forte anisotropia, onde uma pequena fração de componentes de alta norma captura padrões linguísticos comuns, deixando o restante como um "resíduo" de baixa magnitude.

O Framework DeltaKV funciona da seguinte forma:

Seleção de Referência por Salto (Strided Reference Selection): Em vez de buscar em todo o histórico, o modelo mantém um conjunto de tokens de referência selecionados em intervalos fixos (stride $s$ ).
Codificação de Resíduos: Para cada novo token, o DeltaKV identifica os $k$ tokens de referência mais próximos via distância L2. Ele subtrai a média desses referências do token atual, extraindo apenas o resíduo semântico.
Compressão via MLP: Esse resíduo (que possui baixa magnitude e é mais fácil de comprimir) é projetado para uma dimensão muito menor usando um compressor MLP leve.
Reconstrução On-Demand: Durante a inferência, o cache é reconstruído apenas para os tokens selecionados pela atenção esparsa, minimizando o I/O de memória.
Treinamento Híbrido: O modelo é treinado com uma função de perda combinada de Erro Quadrático Médio (MSE) para reconstrução do KV e Next Token Prediction (NTP) para garantir a integridade da geração de texto.

3. Contribuições Principais

Descoberta de Redundância Global: Demonstração de que a similaridade no KV Cache é global e que a remoção de componentes compartilhados resulta em resíduos de baixa energia.
Framework DeltaKV: Um método de compressão baseado em resíduos que é amigável para GPUs e reduz a memória do KV Cache para apenas 29% do original com perda de precisão quase nula.
Sparse-vLLM: Um novo motor de inferência de alto desempenho projetado especificamente para layouts de memória irregulares e esparsos, permitindo que a compressão se traduza em velocidade real de processamento.

4. Resultados Experimentais

Acurácia: O DeltaKV manteve um desempenho próximo ao original em benchmarks de contexto longo como LongBench, SCBench (diálogos multi-turno) e AIME (raciocínio matemático complexo).
Eficiência de Memória: Redução drástica no KV Cache Keep Ratio (KR). Em testes com Llama-3.1-8B, o uso de memória foi reduzido significativamente sem degradar a performance em tarefas de codificação ou síntese.
Throughput (Vazão): Integrado ao Sparse-vLLM, o método alcançou até 2x mais throughput que o vLLM padrão em cenários de contexto longo (ex: em 512k de contexto, o ganho de velocidade foi de 2x).
Compatibilidade com Quantização: Como os resíduos produzidos pelo DeltaKV têm uma distribuição concentrada em torno de zero, eles são altamente compatíveis com técnicas de quantização (ex: 4-bit), permitindo compressões ainda mais agressivas.

5. Significância

O trabalho do DeltaKV é significativo porque propõe uma mudança de paradigma: em vez de tentar decidir quais tokens "jogar fora" (evicção), ele propõe como representar o que resta de forma eficiente (compressão de resíduos). Isso oferece um caminho prático e escalável para implantar LLMs de contexto massivo em hardware de consumo ou em servidores de produção, equilibrando a necessidade de memória com a exigência de baixa latência e alta precisão.