🤖 machine learning

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

Este artigo apresenta o "Back from the Future", uma estratégia de expulsão de cache Key-Value livre de treinamento que identifica e remove tokens redundantes ao aproveitar a atenção contra-causal para medir quão bem os tokens passados podem ser previstos a partir do contexto futuro, reduzindo assim o uso de memória e a latência de inferência enquanto mantém um desempenho competitivo em vários grandes modelos de linguagem.

Autores originais: Stephen Gould, Anton van den Hengel

Publicado 2026-07-31

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Stephen Gould, Anton van den Hengel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando lembrar de uma história longa e complicada para poder contar a próxima parte dela. Seu cérebro é incrível, mas tem um limite de quanto consegue conter de uma só vez. Se a história ficar longa demais, você tem que esquecer algumas partes para abrir espaço para novas. Isso é exatamente o problema enfrentado pelos "Large Language Models" (os chatbots de IA superinteligentes que usamos hoje). Esses modelos trabalham olhando para tudo o que leram até agora para adivinhar a próxima palavra. Para fazer isso rápido, eles mantêm um "bloco de notas" em sua memória de computador chamado cache Key-Value (KV). Pense neste cache como um bloco de notas mental onde o modelo escreve as pistas mais importantes da história até o momento.

O problema é que, conforme a história fica mais longa, esse bloco de notas fica cada vez maior. Eventualmente, ele preenche a memória do computador, fazendo com que a IA trave ou fique lenta como uma tartaruga. Cientistas têm tentado resolver isso descobrindo quais notas no bloco de notas são as mais importantes para manter e quais podem ser jogadas fora. Alguns métodos simplesmente jogam fora as notas mais antigas (como uma janela deslizante), enquanto outros tentam manter as notas que o modelo parece "olhar" mais. Mas essas formas antigas têm uma falha: se o modelo olha para uma nota demais, ele continua olhando para ela cada vez mais, criando um ciclo onde fatos importantes, porém silenciosos, são deletados porque não foram "barulhentos" o suficiente para atrair a atenção.

Este artigo introduz uma nova maneira inteligente de decidir o que manter, chamada Surpresa Contra-Causal (Counter-Causal Surprise). Em vez de perguntar: "No que o modelo olhou mais?", ela pergunta: "Se eu tirasse essa nota, o modelo ainda conseguiria adivinhar o que era com base nas notas do futuro?". Se o modelo consegue adivinhar facilmente uma palavra do passado apenas lendo as palavras que vêm depois dela, essa palavra não é muito especial — ela é redundante. Mas se o modelo ficar totalmente surpreso e não conseguir adivinhar a palavra do passado através das palavras do futuro, essa palavra contém uma informação única e vital e deve ser salva. Os autores testaram isso em vários modelos de IA e descobriram que este método de "surpresa" mantém a IA mais inteligente e precisa, mesmo quando a memória está apertada. Eles também encontraram um "modo rápido" que faz os cálculos muito mais rápido, tornando-o prático para uso no mundo real sem deixá-lo lento demais.

A Magia do Olhar "Para Trás"

Então, como funciona essa "Surpresa Contra-Causal"? Vamos imaginar que a IA está lendo um romance de mistério. Normalmente, o modelo lê da esquerda para a direita, como uma pessoa normal. Ele vê "O mordomo", depois "pegou", depois "o candelabro". Para prever a próxima palavra, ele usa tudo o que viu até agora. Esta é a forma padrão de funcionamento da IA.

Mas para decidir o que jogar fora de sua memória, este novo método faz algo estranho: ele olha para trás. Ele pega um pedaço da história que já leu e pergunta: "Se eu esconder a palavra 'candelabro' da minha memória, ainda consigo adivinhá-la apenas olhando para 'O mordom pegou o...'?".

Baixa Surpresa (Jogue fora): Se a frase fosse "O mordomo pegou o [candelabro]", e as próximas palavras fossem "e caminhou para a cozinha", o modelo pode ser capaz de adivinhar "candelabro" apenas pelo contexto de um mordomo em uma cozinha. Se o modelo consegue adivinhar facilmente, aquela palavra não estava adicionando muita informação nova. É como lembrar a palavra "o" em uma frase; você não precisa manter uma nota especial para "o" porque ela está em todo lugar. O artigo sugere deletar essas palavras fáceis de adivinhar do cache para economizar espaço.
Alta Surpresa (Mantenha!): Agora, imagine que a frase seja "O mordomo pegou o [bule]". Se as próximas palavras forem "e caminhou para a cozinha", o modelo pode ficar totalmente confuso. "Bule?" Por quê? Isso é uma surpresa! O fato de o mordomo ter pego um bule é um detalor único que as palavras futuras não previram. Essa "surpresa" significa que a palavra contém um segredo que o resto da história ainda não conhece. O artigo argumenta que essas palavras "surpreendentes" são as mais valiosas e devem ser as mantidas no cache de memória.

O Atalho do "Modo Rápido"

Fazer esse "olhar para trás" para cada única palavra em uma história longa é um trabalho árduo. É como ler um livro inteiro e depois lê-lo de trás para frente apenas para conferir suas notas. Os autores perceberam que isso exige muito poder computacional. Por isso, eles criaram uma Aproximação de Camada Única Rápida (Fast Single-Layer Approximation).

Pense em uma rede neural profunda (o cérebro da IA) como um edifício de vários andares. A informação viaja através de muitos andares (camadas) antes que a resposta final apareça. O método completo verifica cada andar para ver o que é surpreendente. O "Modo Rápido" diz: "Ei, vamos apenas verificar o último andar". Eles descobriram que olhar apenas para a última camada do cére da IA dá quase o mesmo resultado que verificar o prédio inteiro, mas é 7 a 9 vezes mais rápido.

Em seus testes, esta versão rápida levou apenas 7,9 milissegundos para atualizar a memória para um cache de 512 tokens (um pequeno pedaço de texto), comparado aos 54 milissegundos do check completo. Mesmo para um cache enorme de 4.096 tokens, a versão rápida levou apenas 52,6 milissegundos, enquanto a versão completa levou 496 milissegundos. Esse é um aumento de velocidade enorme que torna o método utilizável em tempo real sem deixar a IA lenta.

Isso Realmente Funciona?

Os autores não apenas sonharam com isso; eles testaram em alguns dos modelos de IA de código aberto mais inteligentes disponíveis, como Qwen2.5 e LLaMA 3.1, usando tarefas complexas como resolver problemas matemáticos, ler registros médicos longos e seguir conversas extensas.

Problemas Matemáticos: Em um benchmark chamado MATH500, onde a IA tem que resolver problemas matemáticos complexos, o novo método foi o melhor em manter a IA no caminho certo. Para o modelo Qwen2.5-7B, o novo método obteve 74,4% de precisão, superando o método antigo "Heavy-Hitter" que obteve 76,2% (na verdade, o H2O foi ligeiramente superior aqui, mas o novo método foi muito próximo e melhor em outras versões de 3B e 14B). No modelo Llama-3.1-8B, o novo método obteve 48,2%, que foi o melhor de todos os métodos de "descarte" e muito próximo da linha de base perfeita de "sem limites" de 48,8%.
Conversas Longas: É aqui que os métodos antigos realmente tiveram dificuldades. Em um conjunto de dados chamado LoCoMo, que envolve conversas muito longas, os métodos antigos baseados em "atenção" (como o H2O) começaram a falhar. Eles ficavam confusos e começavam a repetir a pergunta ou falar sobre imagens irrelevantes porque tinham descartado os fatos únicos que ocorreram no início do chat. O novo método "Contra-Causal" não cometeu esse erro. Ele manteu os fatos únicos e surpreendentes, permitindo que a IA respondesse corretamente mesmo após muito tempo.
Modo de Pensamento: Eles também testaram em problemas matemáticos AIME, onde a IA tem que "pensar" por muito tempo antes de responder. Os métodos antigos frequentemente ficavam tão confusos ao descartar muita informação que a IA não conseguia terminar seu processo de raciocínio. O novo método manteve a cadeia de raciocínio intacta muito melhor, alcançando 36,7% de precisão em comparação com os outros que foram menores.

Por Que Isso Importa

A grande conclusão é que a antiga maneira de decidir o que esquecer era falha. Ela dependia de quanto a IA "olhava" para uma informação, o que criava um viés onde palavras populares ficavam mais populares, e fatos silenciosos, porém importantes, eram deletados. Este novo método inverte o jogo. Ele pergunta: "Esta peça de informação é previsível?". Se for, ela não é necessária. Se for uma surpresa, é ouro.

Os autores sugerem que esta abordagem é uma maneira sólida e fundamentada de gerenciar a memória sem precisar retreinar os modelos de IA. Ela funciona com os modelos que já temos. Embora a versão completa leve um pouco de tempo extra para calcular a "surpresa", a versão rápida é tão veloz que mal atrasa o processo. É como ter um bibliotecário que não guarda apenas os livros que todos pedem, mas guarda os livros que contêm segredos que ninguém mais consegue adivinhar, garantindo que a história nunca perca seus reviravoltas mais importantes.

Resumo Técnico: De Volta ao Futuro: Gerenciamento de Cache Chave-Valor por Surpresa Contra-Causal

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) dependem de caches de Chave-Valor (KV) para armazenar chaves e valores previamente computados, permitindo o produto escalar de atenção escalonado eficiente durante a geração auto-regressiva. No entanto, o tamanho do cache KV cresce linearmente com o comprimento do contexto, esgotando rapidamente a memória GPU disponível para prompts longos ou geração estendida. Embora estratégias como janelas deslizantes (evicção de tokens mais antigos) ou compressão existam, elas frequentemente falham em reter informações críticas.

Uma limitação significativa dos métodos de evicção dinâmica existentes (ex: H2O, TOVA) é sua dependência de pontuações baseadas em atenção. Esses métodos sofrem de um viés de auto-reforço: tokens retidos no cache continuam a receber atenção nas etapas de decodificação subsequentes, inflando seus scores cumulativos e tornando-os ainda mais propensos a serem retidos. Por outro lado, tokens criticamente importantes do ponto de vista factual, mas de baixa frequência, mencionados apenas uma vez, podem atrair atenção insuficiente para sobreviver à evicção, levando à degradação da precisão em tarefas que exigem raciocínio de múltiplos saltos (multi-hop) ou recuperação precisa de informações.

Metodologia

Os autores propõem uma estratégia de evicção inovadora e livre de treinamento baseada em Surpresa Contra-Causal. O insight central é que, se um token passado pode ser bem previsto pelos tokens que o seguem, a informação que ele carrega é redundante e pode ser removida. Inversamente, tokens que são difíceis de prever a partir do contexto futuro contêm informações únicas e essenciais e devem ser retidos.

O Mecanismo Contra-Causal

Para operacionalizar isso, o método introduz uma passagem de pontuação que roda na ordem original dos tokens, mas aplica uma máscara de atenção contra-causal (triangular superior).

Processo: O modelo processa os tokens $x_1, \dots, x_t$ usando a ordem padrão de passagem direta (forward pass).
Mascaramento: Em vez da máscara causal padrão (atentar para o passado), uma máscara contra-causal é aplicada, permitindo que a posição $i$ atente apenas para posições futuras $j > i$ .
Reuso: O método reutiliza as representações de chave ( $K$ ) e valor ( $V$ ) já armazenadas no cache KV da passagem direta inicial. Ele gera novas queries ( $Q$ ) usando os IDs de posição originais para calcular corretamente os offsets relativos.
Pontuação: O score de surpresa $s_i$ para o token $x_i$ é definido como $1 - P(x_i | x_{i+1:t})$ . Na prática, o logit de $x_i$ é usado como um proxy monótono para essa probabilidade.
Evicção: Durante um ciclo de atualização de memória, tokens com os menores scores de surpresa (mais previsíveis) são evitados, enquanto aqueles com alta surpresa são mantidos. O último token é sempre retido, pois não possui contexto futuro.

Aproximação Rápida de Camada Única

Para abordar o custo computacional de uma passagem contra-causal completa (que é $O(Ln^2)$ , onde $L$ é o número de camadas e $n$ é o tamanho do cache), os autores propõem uma aproximação rápida. Esta restringe a passagem contra-causal apenas à última camada do transformer.

Ela registra as ativações ocultas $H^{(L-1)}$ da penúltima camada durante a passagem direta padrão.
Durante a atualização, ela computa as queries a partir dessas ativações armazenadas e aplica a máscara contra-causal apenas na camada final.
Isso reduz a complexidade para $O(n^2)$ , alcançando um aumento de velocidade de 7 a 9 vezes por ciclo de atualização com perda marginal de precisão.
O sistema opera em ciclos fragmentados (chunked cycles), alternando entre uma fase de inferência (processando $h$ tokens) e uma fase de atualização de memória (avaliando e podando o cache para o tamanho $J$ ).

Principais Contribuições

Métrica de Surpresa Contra-Causal: Um método principiado e livre de treinamento para estimar a utilidade do token baseada na previsibilidade do contexto futuro, evitando o viço de auto-reforço inerente às pontuações baseadas em atenção.
Pontuação In-Distribution: O mecanismo de pontuação reutiliza representações já em cache e roda na ordem original dos tokens, garantindo que a avaliação esteja diretamente ligada ao conteúdo real do cache sem exigir treinamento adicional ou suposições fora da distribuição (out-of-distribution).
Aproximação Eficiente: Uma aproximação de camada única que reduz drasticamente a latência de atualização (de centenas de milissegundos para menos de 10ms para caches de 512 tokens) enquanto mantém um desempenho competitivo.
Avaliação Abrangente: Benchmarks extensos através de múltiplas famílias de modelos (Qwen2.5, LLaMA 3.1) e diversas tarefas (raciocínio matemático, QA de contexto longo, diálogo multi-hop).

Resultados Experimentais

O método foi avaliado nos benchmarks MATH500, AIME (modo de pensamento/thinking mode), LongHealth, Qasper e LoCoMo.

Precisão: No MATH500, o método contra-causal superou a janela deslizante, amostragem de importância e H2O em três de quatro modelos (Qwen2.5-3B, 7B, 14B). No Llama-3.1-8B, alcançou 48,2% de precisão, o melhor entre todas as estratégias de evicção e quase igualando o baseline de cache total (48,8%).
Coerência de Raciocínio: No benchmark AIME "thinking mode" (que exige cadeias longas de pensamento), o método contra-causal alcançou a maior precisão (36,7%) entre as estratégias de evicção, superando significativamente o H2O (33,3%) e a Importância (26,7%). Também apresentou a menor taxa de "pred=None" (falha ao completar o raciocínio), indicando melhor preservação da coerência do raciocínio.
Tarefas de Contexto Longo: No LoCoMo (diálogo multi-hop), o H2O falhou em tamanhos de cache pequenos, frequentemente repetindo a pergunta ou injetando legendas de imagens irrelevantes devido ao seu viés para tokens de alta atenção. A evicção contra-causal reteve com sucesso fatos únicos mencionados uma única vez, evitando esses modos de falha.
Eficiência: A aproximação rápida de camada única reduziu a latência de atualização de 496ms para 52,6ms (em $n=4096$ ) e de 54ms para 7,9ms (em $n=512$ ). Apesar do overhead de atualização, o tempo de geração end-to-end permaneceu comparável ao baseline de cache total porque o tamanho reduzido do cache diminuiu os custos de atenção durante a fase de decodificação.

Significância e Alegações

O artigo afirma que a surpresa contra-causal fornece uma medida principiada do conteúdo de informação do token que é robusta aos vieses de auto-reforço inerentes às estratégias de evicção baseadas em atenção. Ao identificar tokens que são redundantes dado o contexto futuro, o método gerencia efetivamente a memória sem exigir o retreinamento do modelo ou redes auxiliares complexas.

Os autores observam que, embora a passagem contra-causal completa adicione overhead computacional, a aproximação rápida de camada única oferece um compromisso prático, alcançando aumentos significativos de velocidade com mínima degradação de precisão. O método é apresentado como uma solução geral aplicável a qualquer modelo auto-regressivo que utilize um cache KV, sendo particularmente benéfico para tarefas de geração de contexto longo onde manter a precisão factual e a coerência do raciocínio é crítico. O artigo conclui que, embora a pontuação ao nível de token seja natural, trabalhos futuros poderiam explorar estratégias de granularidade mais grosseira (nível de frase ou sentença) para abordar casos onde o token individual é facilmente previsível, mas a frase como um todo é crítica.