🤖 machine learning

PolyKV: Heterogeneous Retention and Allocation for KV Cache Compression

O PolyKV é um framework de otimização de cache KV camada a camada que melhora a inferência de LLMs de contexto longo ao rotear dinamicamente cada camada do transformer para a política de compressão mais adequada e alocar orçamentos de cache não uniformes, superando significavelmente as bases existentes de política única uniforme.

Autores originais: Chao Fei, Panos Kalnis

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chao Fei, Panos Kalnis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando se lembrar de uma história muito longa para poder responder perguntas sobre ela mais tarde. No mundo da Inteligência Artificial (IA), essa "memória" é chamada de KV Cache. À medida que a história fica mais longa, essa memória ocupa um espaço enorme no disco rígido do computador, tornando tudo mais lento.

Para resolver isso, os cientistas geralmente usam uma estratégia de "lata de lixo": eles jogam fora partes da história que consideram não serem importantes para economizar espaço. No entanto, a maioria dos modelos de IA usa a mesma regra de lata de lixo para cada parte do seu cérebro. Eles assumem que a parte do cérebra que lida com o início da história precisa ser tratada exatamente da mesma forma que a parte que lida com o meio ou o fim.

O artigo "PolyKV" argumenta que isso é como tentar arrumar uma mala jogando fora o mesmo tipo de item (por exemplo, todas as meias) de cada compartimento, independentemente do que realmente há dentro de cada compartimento. É rígido demais.

Veja como o PolyKV muda o jogo, usando analogias simples:

1. O Problema: Tamanho Único Não Serve para Todos

Pense em um modelo de IA como uma equipe de 30 especialistas diferentes trabalhando juntos para entender uma história.

Especialista A (Camada 1) pode ser ótimo em lembrar os nomes dos personagens.
Especialista B (Camada 15) pode ser ótimo em entender o tom emocional.
Especialista C (Camada 30) pode ser ótimo em prever a próxima palavra.

Atualmente, a maioria dos modelos de IA diz a todos os 30 especialistas: "Vocês só podem guardar 5 notas em seus cadernos". Este é o "Orçamento Uniforme".

O Especialista A pode precisar de 20 notas para fazer seu trabalho bem.
O Especialista C pode precisar de apenas 2 notas.
Ao forçar todos a terem 5, o Especialista A fica sobrecarregado (e comete erros), enquanto o Especialista C tem um espaço vazio que não está usando.

2. A Solução: PolyKV (O Gerente Inteligente)

O PolyKV introduz um gerente inteligente que olha para cada especialista individualmente antes do trabalho começar. Ele toma duas decisões específicas para cada especialista:

Decisão A: O Que Jogar Fora? (O Padrão de Expulsão)
- O Especialista A pode precisar manter as primeiras frases (o início) e as últimas (o fim).
- O Especialista B pode precisar manter as frases mais populares (os "pesos pesados").
- O PolyKV pergunta a cada especialista: "De que tipo de notas você depende mais?" e dá a eles uma regra personalizada para o que manter.
Decisão B: Quanto Espaço Dar? (O Orçamento)
- Se o Especialista A é muito sensível à perda de informação, o PolyKV dá a ele um caderno grande.
- Se o Especialista C é robusto e não precisa de muito, o PolyKV dá a ele um bloco de notas pequeno.
- O tamanho de todos os cadernos combinados permanece o mesmo, mas a distribuição é justa com base na necessidade.

3. Como Funciona: O "Ensaio" (Calibração Offline)

Você pode perguntar: "Como o gerente sabe o que cada especialista precisa sem atrasar o trabalho real?"

O PolyKV faz um ensaio rápido (chamado de "calibração offline") em uma pequena amostra de texto antes do trabalho real começar.

Ele observa como cada especialista reage quando a informação é removida.
Ele aprende: "Ah, o Especialista A fica confuso se removermos o início, mas o Especialista B não se importa."
Ele escreve um plano fixo baseado nesse ensaio.
Quando o trabalho real começa, o gerente apenas segue o plano. Nenhuma reflexão é necessária durante a conversa real, então o processo continua rápido.

4. Os Resultados: Melhor Memória, Mesmo Espaço

Os pesquisadores testaram isso em dois modelos de IA populares (LLaMA e Qwen) usando um limite de memória padrão.

O Jeito Antigo: Usando uma única regra para todos, a IA obteve uma pontuação de aproximadamente 36,35 em um teste de história longa.
O Jeito PolyKV: Ao personalizar as regras e os tamanhos dos cadernos para cada especialista, a pontuação saltou para 37,79.

Isso pode parecer pouco, mas no mundo da IA, é uma grande vitória. Significa que o PolyKV recuperou 54,5% da lacuna de desempenho entre o método da "lata de lixo" e o método da "memória perfeita" (que usa espaço demais para ser prático).

5. Onde Ele Brilha e Onde Ele Tem Dificuldades

A Vitória: O PolyKV é incrível em tarefas que exigem a compreensão do panorama geral ou do contexto, como responder perguntas sobre um documento longo ou resumir uma história. Ele sabe como manter as partes "importantes" para cada parte do cérebro.
O Limite: Ele às vezes tem dificuldades com tarefas de "Agulha no Palheiro" (encontrar um fato específico e minúsculo em um texto enorme) ou tarefas de programação. Isso sugere que, embora o PolyKV seja ótimo para a compreensão geral, às vezes ele joga fora uma "agulha" específica que um especialista achou sem importância durante o ensaio, mas que acabou sendo crítica mais tarde.

Resumo

PolyKV é como atualizar de uma linha de montagem de fábrica onde cada trabalhador recebe exatamente as mesmas ferramentas e espaço de trabalho, para uma oficina customizada onde cada trabalhador recebe as ferramentas e o tamanho de mesa específicos para realizar seu trabalho específico. Ao fazer isso, toda a equipe trabalha melhor, lembra mais e cabe dentro do mesmo tamanho de sala.

Resumo Técnico: PolyKV: Retenção e Alocação Heterogênea para Compressão de Cache KV

Declaração do Problema

A inferência de contexto longo em Grandes Modelos de Linguagem (LLMs) enfrenta um gargalo de memória significativo devido ao crescimento do cache de Chave-Valor (KV). Embora os métodos existentes de evasão de cache KV reduzam efetivamente o uso de memória retendo subconjuntos específicos de tokens, eles tipicamente aplicam uma política de compressão uniforme e um orçamento de cache uniforme em todas as camadas do transformer.

Este design uniforme negligencia a heterogeneidade inerente das camadas do transformer. Pesquisas anteriores indicam que diferentes camadas variam em seus padrões de atenção, abstrações representacionais, papéis contextuais e sensibilidade à poda. Consequentemente, uma regra de evasão global única é uma abstração grosseira que falha em considerar que:

Diferentes camadas podem preferir diferentes padrões de evasão (ex: heavy hitters vs. attention sinks).
Diferentes camadas exibem sensibilidades variadas à redução do cache KV, implicando que requerem diferentes capacidades de cache.

Métodos adaptativos atuais começaram a explorar orçamentos não uniformes, mas frequentemente falham em tratar o padrão de evasão e o orçamento de cache como escolhas de design acopladas e por camada.

Metodologia: PolyKV

Os autores propõem o PolyKV, um framework que reformula a evasão de cache KV como um espaço de design por camada. O PolyKV acopla explicitamente duas decisões para cada camada e fase de inferência (preenchimento/prefill e decodificação/decoding):

O que evadir: Selecionar um padrão de evasão específico (ex: H2O, TOVA, PyramidKV) adequado para aquela camada.
Quanto reter: Atribuir um orçamento de cache específico para aquela camada.

Componentes Principais

Formulação do Espaço de Design: O PolyKV define uma estratégia $\Pi$ onde cada camada $l$ recebe um padrão de evasão $r_{l,\phi}$ e um orçamento $b_{l,\phi}$ para cada fase $\phi$ . O orçamento total é restringido por um limite global fixo $B$ .
Calibração Offline: Para evitar uma busca exaustiva online, o PolyKV utiliza um pequeno conjunto de calibração para gerar uma estratégia estática fixa. Ele coleta duas categorias de sinais específicos por camada:
- Sinais de Preferência de Evasão: Mede qual padrão de evasão melhor preserva a computação FullKV de uma camada. As métricas incluem similaridade de cosseno entre as ativações perturbadas e a FullKV, e sensibilidade de Perplexidade (PPL) (degradação causada por um padrão específico).
- Sinais de Sensibilidade de Orçamento de Cache: Estima o quão fortemente uma camada é afetada pela redução do KV. As métricas incluem entropia de atenção (atenção difusa requer orçamentos maiores) e sensibilidade de PPL (degradação agregada do pior caso).
Construção da Estratégia:
- Seleção de Padrão: Para cada par camada-fase, o padrão de evasão com a maior pontuação de preferência (ex: maior similaridade de cosseno ou menor degradação de PPL) é selecionado.
- Alocação de Orçamento: Os orçamentos são alocados proporcionalmente com base nos sinais de sensibilidade. Camadas com maior sensibilidade (ou entropia) recebem orçamentos maiores, sujeitas a uma restrição de orçamento mínimo ( $b_{min}$ ).
Implementação: O PolyKV é implementado como um framework baseado em hooks. Ele injeta lógica em pontos comuns do pipeline de geração (pré-kernel, pós-kernel, atualização de cache) para suportar a integração modular de vários métodos de evasão sem modificar o código subjacente do modelo.

Contribuições Principais

Reformulação da Evasão de KV: O artigo reformula a evasão de cache KV como um espaço de design por camada que acopla a escolha do padrão de evasão com a alocação de capacidade de cache sob um orçamento de memória compartilhado.
O Framework PolyKV: Um sistema que operacionaliza este espaço de design combinando padrões de evasão e orçamentos por granularidade de camada. Ele integra múltiplos primitivos de evasão através de uma interface unificada e utiliza sinais de calibração offline para guiar a construção da estratégia.
Validação Empírica: Os autores demonstram que estratégias heterogêneas e por camada superam as linhas de base de política única uniforme sob orçamentos de memória fixos.

Resultados Experimentais

Experimentos foram conduzidos no LLaMA-3.1-8B e Qwen3-8B utilizando os benchmarks LongBench e RULER.

Desempenho no LongBench (orçamento médio de 512 tokens):
- LLaMA-3.1-8B: O PolyKV recuperou 54,5% da lacuna de desempenho entre a linha de base de política única mais forte e a FullKV.
- Qwen3-8B: O PolyKV recuperou 25,7% da lacuna.
- O PolyKV superou consistentemente a linha de base mais forte em uma varredura de orçamento (128–1024 tokens), com melhorias variando de 1,7% a 6,4%.
Desempenho no RULER:
- Os resultados foram mistos. O PolyKV excedeu ligeiramente a linha de base no LLaMA, mas teve desempenho inferior no Qwen (por 3,98 pontos). Os autores atribuem isso à natureza das tarefas do RULER, que dependem de tokens de evidência esparsos que podem ser descartados por políticas heterogêneas se os sinais de calibração não os identificarem perfeitamente.
Estudos de Ablação:
- Padrão de Evasão vs. Orçamento: O principal ganho de desempenho provém da atribuição de diferentes padrões de evasão para diferentes camadas, particularmente durante a fase de preenchimento (prefill).
- Alocação de Orçamento: A alocação de orçamento não uniforme fornece ganhos adicionais, mas é mais dependente do modelo e menos robusta do que a seleção de padrão. É mais eficaz quando o orçamento total é suficiente para evitar a inanição de camadas sensíveis.
Análise de Tarefas: Os ganhos foram mais pronunciados em tarefas que exigem compreensão contextual ampla (ex: QA, aprendizado de poucos disparos/few-shot). O desempenho degradou em tarefas que exigem recuperação exata de tokens esparsos (ex: NIAH no RULER) ou adesão estrita a formas locais (ex: geração de código).

Significância e Alegações

O artigo afirma que tratar a evasão de cache KV como um problema de otimização composicional e consciente da camada, em vez de uma política de retenção global única, produz resultados superiores.

Heterogeneidade é a Chave: O estudo valida que as camadas do transformer não são homogêneas; uma estratégia de evasão "tamanho único" é subótima.
Eficiência Estática: Ao utilizar calibração offline, o PolyKV alcança esses benefícios heterogêneos sem o overhead de tempo de execução de uma busca de política online, tornando-o prático para implantação.
Limitações: Os autores observam modestamente que os sinais de calibração atuais nem sempre preservam tokens de evidência "esparsos mas decisivos" necessários para tarefas de recuperação exata, indicando uma direção para refinamento futuro no design de sinais.

Em resumo, o PolyKV demonstra que, ao alinhar as estratégias de evasão e as capacidades de cache com as características específicas de cada camada do transformer, é possível reduzir significativamente o compromisso entre memória e qualidade na inferência de LLMs de contexto longo.