💬 NLP

Practical Online KV Cache Compaction for LLM Agents: An Empirical Study

Este estudo empírico demonstra que a compactação prática de cache KV online para agentes de LLM pode alcançar reduções significativas de memória e ganhos de throughput ao adiar a compactação até que consultas futuras do agente estejam disponíveis e ao utilizar a evasão de tokens com fontes proxy robustas, em vez de depender de suposições de contexto imediatas ou estáticas.

Autores originais: Yujian Liu, Jiabao Ji, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yujian Liu, Jiabao Ji, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um mistério enorme e de múltiplas etapas. Você tem um detetive brilhante (uma IA) que pode fazer perguntas, verificar pistas e conversar com testemunhas. Mas há um porém: o cérebro do detetive tem um limite de memória rigoroso. Cada vez que ele dá um passo, escreve uma nota ou ouve a história de uma testemunha, essa informação se acumula. Se o caso durar tempo demais, o cérebro do detetive fica tão cheio de notas antigas que ele não consegue mais pensar com clareza ou simplesmente fica sem espaço para escrever novas notas. Este é o mundo dos "Agentes de LLM" — programas de computador inteligentes que resolvem tarefas complexas conversando com ferramentas e com a internet. O "cache KV" é apenas o nome técnico para esse crescente acúmulo de notas no cérebro do detetive. Manter esse monte pequeno o suficiente para caber na memória, sem perder as pistas necessárias para resolver o caso, é o grande desafio que este artigo aborda.

Os pesquisadores da UC Santa Barbara e da LinkedIn decidiram testar um truque inteligente chamado "compactação de cache KV". Pense nisso como um detetive resumindo um longo e entediante relatório policial em um único post-it. Em vez de manter cada palavra de uma conversa passada, a IA tenta comprimi-la em uma versão mais curta que ainda contenha o significado mais importante. Mas aqui está a reviravolta: em uma história normal, você sabe o final antes de começar a resumir. Na vida de um agente de IA, a história está sendo escrita enquanto ela acontece. A IA não sabe qual pergunta fará a seguir, então ela tem que resumir o passado antes de saber o que o futuro precisará. O artigo pergunta: Como você resume um capítulo de uma história quando ainda não leu o próximo capítulo?

A equipe testou duas formas principais de fazer esse resumo. O primeiro método, chamado Evicção de Tokens (TE), é como um editor rigoroso que lê a página atual e decide: "Estes 80% das palavras são entediantes; vamos jogá-las fora e manter apenas os 20% principais". O segundo método, Correspondência de Atenção (AM), é mais como um artista sofisticado que não apenas escolhe as melhores palavras, mas também tenta pintar uma versão mais curta que pareça exatamente com a versão longa original quando lida posteriormente.

Para descobrir a melhor forma de resumir, os pesquisadores tiveram que decidir quando fazê-lo e o que usar como guia. Eles testaram três estratégias de "guia" diferentes:

O Guia "Agora Mesmo": Resumir imediatamente usando apenas as palavras que acabaram de ser ditas.
O Guia "Repetição": Pedir à IA para fingir que está relendo a parte anterior e usar isso para decidir o que é importante.
O Guia "Futuro": Esperar um pouco. Deixar a IA escrever os próximos passos da história e, então, usar essas novas perguntas para decidir o que manter dos passos antigos.

Os resultados foram surpreendentes e práticos. Primeiro, eles descobriram que resumir imediatamente (usando o guia "Agora Mesmo") muitas vezes tornava a IA menos inteligente. Era como resumir o primeiro capítulo de um romance de mistério antes de saber quem é o vilão; você poderia descartar uma pista que acabaria sendo vital mais tarde. No entanto, se eles esperassem apenas um turno — deixando a IA fazer sua próxima pergunta primeiro — o resumo tornava-se muito mais inteligente. Ao usar o guia "Futuro", a IA conseguia ver quais informações eram realmente necessárias e manter apenas isso.

Eles também descobriram que o método mais simples, a Evicção de Tokens (TE), era frequentemente mais confiável do que o sofisticado e complexo Correspondência de Atenção (AM). Mesmo quando o "guia" não era perfeito, a abordagem simples de "manter os melhores 20%" resistia melhor. Acontece que tentar ser inteligente demais com a matemática (como o AM faz) nem sempre ajuda quando você está adivinhando o futuro.

A parte mais emocionante é o que isso significa para velocidade e custo. Quando testaram isso em modelos de IA maiores e mais poderosos, os resultados foram transformadores. Ao comprimir a memória para apenas 20% do seu tamanho original (mantendo 1 de cada 5 tokens), eles não apenas economizaram espaço, mas fizeram a IA rodar 4,2 vezes mais rápido em um modelo e 1,7 vez mais rápido em outro. Como? Porque o "cérebro" da IA estava muito menor, o computador podia rodar quatro vezes mais casos de detetive ao mesmo tempo sem travar.

Curiosamente, o artigo também notou que, quando a memória da IA era comprimida, o detetive às vezes ficava um pouco "ansioso". Ele tendia a fazer mais perguntas e dar mais passos para resolver o mesmo enigma, talvez tentando checar fatos que sentia ter perdido. Isso sugere que, embora a IA ainda chegasse às respostas corretas, seu comportamento mudava ligeiramente para compensar essa memória mais apertada.

Em resumo, este artigo sugere que, se você quiser executar agentes de IA inteligentes e de longa duração sem quebrar o banco ou a memória do computador, você não deve apressar o resumo. Em vez disso, deixe a IA dar alguns passos a mais, dê uma espiada no que ela vai fazer a seguir e, então, comprima o passado. E, surpreendentemente, você não precisa de um algoritmo supercomplexo para fazer isso; uma seleção simples e inteligente das palavras mais importantes funciona tão bem quanto, se não melhor. Essa abordagem pode tornar a execução desses agentes de IA avançados muito mais barata e rápida para todos.

Resumo Técnico: Compactação de Cache KV Online Prática para Agentes de LLM

Declaração do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) acumulam longas trajetórias de passos de raciocínio, chamadas de ferramentas e feedback do ambiente. Esse contexto crescente cria um gargalo significativo de inferência, pois o cache de Chave-Valor (KV) necessário para reter esse histórico domina o uso de memória e aumenta os custos de decodificação. Embora a compactação de cache KV seja uma solução conhecida, os métodos existentes assumem primordialmente um cenário estático: o contexto completo está disponível antes da geração, permitindo a compactação offline usando consultas futuras conhecidas ou dados sintéticos.

No entanto, os agentes de LLM operam em um regime online. O contexto é construído incrementalmente por meio da interação com um ambiente (ex: resultados de busca, diffs de arquivos). Consequentemente, a relevância futura não é observável no momento em que um turno é concluído, e o procedimento de compactação deve se ajustar a um orçamento rigoroso de tempo de execução sem adicionar etapas de otimização ou rollouts dispendiosos. Isso cria um espaço de design onde os sinais de compactação devem ser derivados de proxies baratos e disponíveis, e o equilíbrio entre a qualidade do sinal e a latência é crítico.

Metodologia
Os autores realizam uma avaliação empírica sistemática da adaptação de duas famílias estabelecidas de compactação ao nível de sequência para o cenário de agente online:

Evicção de Tokens (TE - Token Eviction): Utiliza consultas proxy para pontuar posições em cache pelo aumento da massa de atenção induzida, retendo apenas as Chaves e Valores (KVs) originais nas posições de maior pontuação.
Correspondência de Atenção (AM - Attention Matching): Utiliza a mesma seleção de chaves baseada em proxy e, adicionalmente, ajusta um viés de atenção aditivo e valores reconstruídos para melhor corresponder às saídas de atenção do cache completo.

O estudo foca em como esses métodos performam quando adaptados a trajetórias de agentes online, investigando especificamente a seleção de consultas proxy (sinais usados para guiar a compactação). Os autores comparam três categorias de fontes de proxy:

Proxies do turno atual: Disponíveis imediatamente após a conclusão do turno.
- Consultas de fronteira (Boundary queries): Extraídas de tokens estruturais de fechamento/transição (ex: tokens de fim de pensamento).
- Consultas de repetição de preenchimento (Repeat-prefill queries): Geradas ao forçar o professor (teacher-forcing) para que o modelo repita o conteúdo do turno anterior.
Proxies de turnos futuros: Derivados das próprias gerações subsequentes do agente, exigindo um atraso na compactação.
- Consultas de geração do assistente: Vetores de consulta dos próximos $k$ turnos.
- Consultas de resposta de ferramenta: Vetores de consulta dos tokens de preenchimento da resposta da ferramenta.

Os experimentos foram conduzidos em dois benchmarks: BROWSECOMP-PLUS (busca profunda exigindo recuperação iterativa de evidências) e WIDESEARCH (busca ampla de informações exigindo conclusão de tabelas). Os modelos testados incluem Qwen3.5 e Gemma-4 em múltiplas escalas (4B, 27B e 31B).

Principais Resultados

A Necessidade de Atraso: A compactação imediata usando proxies do turno atual frequentemente degrada o desempenho da tarefa. Atrasar a compactação para utilizar as próprias consultas futuras do agente (mesmo que por apenas um turno) recupera consistentemente a maior parte da lacuna de desempenho em comparação com a ausência de compactação.
Robustez da Evicção de Tokens: Apesar de seu design mais simples de "apenas seleção", a TE prova ser surpreendentemente robusta a sinais de proxy imperfeitos. Ela frequentemente supera ou iguala o método AM mais complexo, particularmente quando as fontes de proxy são subótimas. A otimização adicional da AM (ajuste de viés e valores) fornece benefícios limitados quando as consultas proxy não representam perfeitamente o uso futuro.
Seleção de Proxy:
- Para TE, consultas de fronteira servem como sinais imediatos fortes em benchmarks específicos (ex: BROWSECOMP-PLUS), mas consultas de turnos futuros são geralmente superiores.
- Combinar múltiplas fontes de proxy (ex: adicionar consultas de resposta de ferramenta às consultas de turnos futuros) não melhora o desempenho de forma confiável e pode, às vezes, prejudicá-lo.
Escalabilidade e Eficiência:
- Em modelos maiores (Qwen3.5-27B e Gemma-4-31B), a compactação atrasada com uma razão de 0,2 preserva a maior parte da precisão sem compactação.
- A compactação reduz significativamente a pegada de pico do KV (redução de até 3,5× para Qwen3.5-27B e 2,24× para Gemma-4-31B com TE), permitindo lotes de serviço (serving batches) maiores.
- Isso leva a melhorias substanciais de throughput (até 4,2× para Qwen3.5-27B e 1,49× para Gemma-4-31B com TE), compensando o aumento no número de turnos do agente exigido pelo processo de compactação.
Adaptação Comportamental: A compactação altera o comportamento do agente. Modelos como o Qwen3.5-4B tendem a alongar suas trajetórias e emitir mais consultas de busca repetidas para recuperar informações enfraquecidas pela compactação. Isso sugere que o agente se adapta ao contexto comprimido interagindo mais com o ambiente.

Significância e Alegações
O artigo posiciona a seleção de consulta proxy como uma escolha central de design para a compactação de KV online prática. Os autores alegam que:

A compactação online é distinta da compactação estática devido à não observabilidade da relevância futura e às restrições rigorosas de latência.
Atrasar a compactação para alavancar as próprias consultas futuras do agente é uma estratégia crítica para manter o desempenho.
A Evicção de Tokens (TE) é um baseline altamente eficaz e robusto que frequentemente supera métodos de otimização complexos (AM) no cenário online devido à sua resiliência a proxies imperfeitos.
Sistemas de memória prática para agentes devem avaliar não apenas as razões de compressão e a precisão final, mas também o comportamento descendente do agente, pois a compactação pode induzir o uso redundante de ferramentas e trajetórias mais longas que são necessárias para manter o sucesso da tarefa.

Limitações
Os autores observam que seu estudo é limitado a cargas de trabalho de busca e leitura de documentos, excluindo edição de código ou controle de GUI. Eles também restringem seu escopo a fontes de proxy baratas e online, reconhecendo que otimizações offline ou compressores aprendidos mais caros poderiam gerar melhores resultados se os orçamentos de latência fossem relaxados. Por fim, eles utilizaram razões e atrasos de compactação fixos em vez de políticas adaptativas, o que permanece como uma direção para trabalhos futuros.

Mais como este