🤖 machine learning

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

CONF-KV é uma estratégia inovadora de evicção de cache KV que ajusta dinamicamente os orçamentos de cache com base na confiança de previsão por etapa do modelo e emprega armazenamento de precisão mista para reduzir significativamente o uso de memória, mantendo alta precisão de recuperação e desempenho de tarefas para inferência de LLM de longo horizonte.

Autores originais: Yubo Li, Yidi Miao

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yubo Li, Yidi Miao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ler um livro muito longo, mas seu cérebro (a memória do computador) só consegue segurar algumas páginas de cada vez. À medida que você lê, precisa lembrar do que aconteceu antes para entender a frase atual. Se você esquecer demais, fica confuso. Se tentar lembrar de tudo, seu cérebro fica tão cheio que fica extremamente lento.

Esse é exatamente o problema que o CONF-KV resolve para modelos de IA (Modelos de Linguagem de Grande Escala) quando estão escrevendo histórias longas ou tendo conversas prolongadas.

Veja como o artigo explica isso, usando analogias simples:

O Problema: A "Mochila Cheia Demais"

Quando uma IA gera texto, ela mantém uma "mochila" de informações chamada Cache KV. Essa mochila guarda o contexto de tudo o que a IA disse até agora.

O Problema: À medida que a conversa fica mais longa, a mochila fica mais pesada. Eventualmente, ela fica tão pesada que a IA fica sem memória (a mochila rasga) ou fica tão lenta que leva uma eternidade para pensar.
O Jeito Antigo: A maioria dos sistemas de IA usa uma "Janela Deslizante". Imagine uma janela em um trem. À medida que o trem se move, a vista lá fora muda. A IA lembra apenas das últimas 512 palavras (a vista logo fora da janela) e esquece tudo antes disso.
- A Falha: Se a resposta a uma pergunta foi mencionada há 1.000 palavras, a janela deslizante a esquece completamente, e a IA falha.
O Outro Jeito Antigo: Alguns sistemas tentam lembrar palavras "importantes" com base na frequência com que foram consultadas no passado. Mas isso é como olhar para um mapa de onde você estava ontem, sem saber como você se sente agora.

A Solução: O "Medidor de Confiança"

Os autores deste artigo, o CONF-KV, introduziram uma nova maneira de gerenciar a mochila. Em vez de usar uma regra fixa, eles dão à IA um Medidor de Confiança.

Pense na IA como um estudante fazendo uma prova:

Quando o estudante está confiante: Ele sabe a resposta facilmente. Não precisa olhar para suas anotações. Então, o sistema diz: "Ótimo! Você tem certeza. Vamos jogar fora algumas anotações antigas para economizar espaço."
Quando o estudante está confuso: O estudante está hesitando. Precisa verificar seu histórico para descobrir. O sistema diz: "Espere, você parece inseguro. Mantenha todas as anotações! Não jogue nada fora ainda."

Como funciona na prática:

O Sinal: Antes de a IA escolher a próxima palavra, ela verifica o quanto está certa. Se a próxima palavra for óbvia (alta confiança), ela reduz a memória. Se a próxima palavra for complicada (baixa confiança), ela expande a memória.
A Ordenação: Mesmo quando precisa reduzir, não apaga coisas aleatórias. Mantém as palavras mais recentes (porque geralmente são importantes) e as palavras que a IA consultou mais no passado. Apaga as coisas antigas "chatas" que ninguém se importa.

O Truque da "Precisão Mista"

O artigo também menciona um truque inteligente de armazenamento.

Imagine que suas anotações estão escritas em papel.
Anotações recentes estão escritas em papel de alta qualidade e grosso (FP16) para que fiquem cristalinas.
Anotações mais antigas estão escritas em papel fino e reciclado (INT8). Ocupam muito menos espaço, mas você ainda consegue lê-las bem o suficiente para pegar a ideia geral.
Isso permite que a IA caiba muito mais histórico no mesmo espaço de mochila sem perder muita qualidade.

O Que os Resultados Mostram

Os autores testaram isso em quatro modelos de IA diferentes e descobriram:

Economia de Memória: Usa aproximadamente a mesma quantidade de memória que uma simples "janela deslizante" (esquecendo tudo o que é antigo), mas lembra de muito mais detalhes importantes.
Melhor Precisão: Em um teste de "Agulha no Palheiro" (encontrar um fato específico escondido em um texto enorme), o CONF-KV encontrou a agulha 91,4% das vezes. A antiga janela deslizante a encontrou apenas 53,8% das vezes.
Tarefas do Mundo Real: Quando usado como um agente de navegação na web (tentando comprar coisas ou preencher formulários online), teve sucesso 95,3% das vezes em comparação com a versão de memória completa, mas usou 2,8 vezes menos memória.
Velocidade: Como a mochila é mais leve, a IA pensa mais rápido (menor latência) e pode lidar com mais usuários ao mesmo tempo (maior vazão).

A Conclusão

O CONF-KV é como um bibliotecário inteligente que não joga fora livros antigos apenas porque são "velhos". Em vez disso, o bibliotecário observa o leitor. Se o leitor está com dificuldade, o bibliotecário mantém toda a biblioteca aberta. Se o leitor está indo bem, o bibliotecário limpa a bagunça para deixar o ambiente mais rápido.

Isso permite que a IA tenha conversas mais longas e inteligentes sem ficar sem memória ou ficar lenta, simplesmente ouvindo o quão "certa" a IA se sente a cada passo.

Resumo Técnico: CONF-KV

Declaração do Problema
A inferência de Modelos de Linguagem de Grande Escala (LLM) de longo horizonte enfrenta um gargalo crítico onde o cache de Chave-Valor (KV) torna-se o consumidor dominante de memória da GPU, fazendo com que a latência de atenção por token escale linearmente com o comprimento da sequência. Políticas de descarte existentes, como janelas deslizantes ou métodos baseados em atenção histórica (por exemplo, H2O, SCISSORHANDS), dependem de recência estática ou sinais passados para determinar quais tokens reter. Essas abordagens frequentemente falham em utilizar um sinal disponível a cada etapa de decodificação: a incerteza atual do modelo. Consequentemente, políticas estáticas podem descartar contexto prematuramente durante fases de geração difíceis ou reter tokens desnecessários quando o modelo está confiante, levando a um compromisso subótimo entre uso de memória e qualidade de geração.

Metodologia: CONF-KV
Os autores propõem o CONF-KV, um gerenciador de cache KV consciente da confiança que ajusta dinamicamente o orçamento do cache com base na distribuição do próximo token atual do modelo. O sistema opera através dos seguintes mecanismos:

Estimativa de Confiança: Em cada etapa de decodificação, o método converte os logits em uma pontuação de confiança escalar ( $c$ ). Essa pontuação é uma combinação ponderada da entropia normalizada, da margem de log-probabilidade entre os dois tokens principais e da probabilidade do token principal.
$c = w_H(1 - \hat{H}) + w_m\sigma(m) + w_p p_{(1)}$
onde $\hat{H}$ é a entropia normalizada, $m$ é a margem de log, e os pesos são definidos como $(0,4, 0,3, 0,3)$ .
Seleção Adaptativa de Orçamento: Um limiar $\tau$ determina o orçamento do cache ( $N$ ) para a etapa atual.
- Se $c \ge \tau$ (alta confiança), um orçamento apertado ( $N_{alta}$ ) é selecionado, permitindo um descarte agressivo.
- Se $c < \tau$ (baixa confiança/incerteza), um orçamento mais frouxo ( $N_{baixa}$ ) é selecionado para reter mais contexto.
  Isso cria um perfil de memória em "serra" onde o cache se expande durante fases incertas e se contrai durante fases confiantes.
Classificação e Descarte de Tokens: Dentro do orçamento selecionado, os tokens são classificados por uma pontuação composta que combina a massa de atenção com Média Móvel Exponencial (EMA) e a recência. Uma janela protegida rígida ( $P$ ) garante que os tokens mais recentes nunca sejam descartados para preservar a coerência local.
Integração de Sistema:
- Armazenamento de Precisão Mista: Os $W$ tokens mais recentes são armazenados em FP16, enquanto os tokens retidos mais antigos são quantizados para INT8 por cabeça e canal. Isso reduz a pegada de memória enquanto minimiza a degradação da perplexidade em comparação com quantização de bits mais baixos.
- Orçamentos Piramidais (CONF-KV-L): Uma variante opcional aloca orçamentos de forma não uniforme entre as camadas, atribuindo orçamentos menores às camadas mais profundas com base na observação de que camadas mais profundas frequentemente concentram informações em menos tokens.
- Implementação: O gerenciador usa compactação contígua para manter um layout denso para kernels de atenção, evitando tabelas de indireção, e funde a dequantização nas leituras de atenção em blocos.

Principais Contribuições

Política Consciente da Confiança: Uma estratégia de descarte inovadora que usa a distribuição de saída atual para impulsionar decisões de orçamento de cache por etapa, em vez de depender exclusivamente de sinais históricos.
Design de Sistemas: Uma implementação completa que combina descarte adaptativo com atenção online de softmax em blocos, armazenamento misto FP16/INT8 e orçamentos de camadas piramidais opcionais.
Validação Mecanística: Um teste demonstrando que a pontuação de confiança se anticorrelaciona fortemente (Pearson $r = -0,77$ ) com a mudança de KL induzida pela ablação do contexto recente, validando a suposição de que baixa confiança indica a necessidade de mais contexto retido.
Avaliação Abrangente: Benchmarks extensos em quatro famílias de modelos (GPT-2, Qwen-14B/32B, gpt-oss-20b) e cargas de trabalho diversas, incluindo perplexidade, recuperação de contexto longo e tarefas de agente web.

Resultados Experimentais

Compromisso Memória-Qualidade: No GPT-2 com um comprimento de geração de 2048 tokens, o CONF-KV+INT8 iguala a pegada de memória de uma janela deslizante fixa de 512 tokens (~38,7 MB), mas reduz a perplexidade em 3,11 pontos em comparação com a janela deslizante. O CONF-KV-L (variante piramidal) reduz ainda mais a memória para 34,2 MB enquanto melhora a perplexidade em 3,89 pontos, fechando 74% da lacuna de qualidade entre uma janela deslizante e o KV completo.
Recuperação de Contexto Longo: Em testes de "Agulha no Palheiro" (NIAH) de até 32K tokens, o CONF-KV alcança 91,4% de precisão de recuperação, superando significativamente as janelas deslizantes (53,8%) e o H2O (80,6%).
Tarefas de Agente: Em 75 tarefas do VisualWebArena, o CONF-KV retém 95,3% da taxa de sucesso do KV completo enquanto reduz a memória de pico em 2,8×.
Vazão e Latência: O CONF-KV reduz a latência por etapa em 1,8× em comparação com o KV completo no GPT-2 e Qwen-32B. A vazão escala com o tamanho do lote; no tamanho de lote 8, o CONF-KV alcança 2,06× a vazão do KV completo.
Ablação: Isolar o sinal de confiança mostra que o descarte aleatório na mesma taxa degrada o desempenho para 36,54 PPL, enquanto o CONF-KV completo alcança 30,92 PPL, confirmando que tanto o controle de confiança quanto o mecanismo de classificação são essenciais.

Significado e Alegações
O artigo afirma que o CONF-KV demonstra que a incerteza atual é um metadado de sistemas útil para melhorar a fronteira de Pareto memória-qualidade. O método é distinto porque é prospectivo: não pode recuperar tokens descartados, mas previne o descarte prematuro durante fases difíceis. A abordagem é projetada para ser livre de treinamento, não altera os pesos do modelo e é ortogonal a técnicas existentes como alocação por cabeça, alocação por camada e seleção de precisão, permitindo que se componha com elas.

Os autores notam limitações, incluindo que o método é uma "operação nula" em contextos curtos que nunca excedem o limiar de descarte e que a compactação contígua incorre em um custo de coleta (embora isso seja superado pelas economias de atenção). Eles também reconhecem que o sinal de confiança torna-se menos informativo sob amostragem de alta temperatura. Finalmente, o artigo destaca uma consideração de duplo uso: enquanto custos de inferência mais baixos melhoram a eficiência, eles também podem reduzir barreiras para automação indesejada de longo horizonte, sugerindo que controles de segurança para os modelos subjacentes permanecem necessários.