💬 NLP

Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

O artigo propõe os "Knowledge Packs", uma técnica que injeta caches KV pré-computados em modelos de transformadores para entregar conhecimento com custo zero de tokens e permitir direcionamento comportamental, alcançando economia de até 95% de tokens e precisão perfeita quando o formato do chat é correto, sem necessidade de treinamento ou modificação de pesos.

Autores originais: Andrey Pustovit

Publicado 2026-04-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Andrey Pustovit

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de IA muito inteligente, mas que tem uma memória de curto prazo limitada e cobra por cada palavra que você escreve para ele.

Até hoje, para dar informações novas a esse assistente, você tinha que "colar" o texto inteiro na conversa (como se fosse um RAG - Retrieval-Augmented Generation). O problema? Isso gasta muitas "moedas" (tokens) e enche a memória dele rapidamente.

Os autores deste artigo propuseram uma solução genial chamada "Pacotes de Conhecimento" (Knowledge Packs). Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Fatura de Telefone

Pense no modelo de IA como um funcionário de um escritório.

O jeito antigo (RAG): Toda vez que você precisa de um fato, você imprime uma folha de papel com a informação, corre até a mesa dele e entrega. Se você precisar de 5 fatos, você entrega 5 folhas. O funcionário lê tudo, mas você pagou pelo papel e pela tinta de todas as 5 folhas.
O custo: Em conversas longas, você gasta uma fortuna em "tinta" (tokens) só para entregar o contexto.

2. A Solução: O "Cartão de Memória" (KV Cache)

Os autores descobriram que, em vez de entregar o papel escrito, você pode entregar um cartão de memória pré-carregado (chamado KV Cache).

A Mágica: Eles calcularam a "resposta interna" do cérebro do modelo para aquele texto antes de você fazer a pergunta.
A Analogia: Imagine que, em vez de entregar a folha de papel, você conecta um "pen drive" que já contém o conhecimento processado na mente do funcionário.
O Resultado: O funcionário recebe a informação instantaneamente, sem você ter que escrever uma única palavra extra. É como se o conhecimento fosse grátis (custo zero de tokens) e instantâneo.

3. O Segredo: A "Formatação do Convite"

Aqui está o grande "pulo do gato" que o artigo revela.
Muitos pesquisadores tentaram fazer isso antes e falharam, achando que a técnica era ruim. O artigo diz: Não é a técnica, é o convite!

A Analogia: Imagine que o modelo de IA é um convidado muito exigente em uma festa. Ele só aceita entrar se você usar o código de vestimenta correto (o "Chat Template").
Se você entregar o "pen drive" (o cache) sem o código de vestimenta (sem os tokens especiais de sistema), o modelo fica confuso e responde mal (perde 6-7% de precisão).
Se você usar o código correto, o resultado é idêntico ao de entregar o papel escrito, mas sem o custo. É como se o modelo dissesse: "Ah, você seguiu as regras? Perfeito, vou usar essa informação exatamente como se tivesse lido o papel."

4. O Superpoder Extra: "Ajuste de Estilo" (Steering)

Além de entregar conhecimento de graça, os autores descobriram que podem usar esse "pen drive" para mudar a personalidade do modelo sem escrever nada.

A Analogia: Imagine que o modelo tem um botão de volume para "seriedade" ou "defesa".
Eles pegaram dois exemplos de código (um "bom" e um "ruim"), calcularam a diferença entre eles e injetaram essa diferença no "pen drive".
O Resultado: O modelo começa a responder de forma mais segura e detalhada, mesmo que você não tenha escrito nada pedindo isso. É como se você pudesse "sintonizar" a personalidade do robô apenas conectando um adaptador específico, sem gastar uma única palavra de conversa.

5. O Que Eles Descobriram na Prática?

Economia Extrema: Em testes com 5 passos de busca, eles economizaram 95% dos tokens. É como fazer uma viagem de 100km gastando apenas 5 litros de gasolina.
Precisão: Se feito corretamente (com a formatação certa), a IA erra exatamente o mesmo número de vezes que faria lendo o texto. Nada é perdido.
Limitação: O "pen drive" é feito sob medida. O cartão de memória feito para o modelo "Llama" não funciona no modelo "Qwen". Cada modelo precisa do seu próprio cartão.

Resumo em Uma Frase

Os autores criaram um método para "carregar" conhecimento e mudar o comportamento de uma IA usando um arquivo pré-calculado, economizando quase todo o custo de comunicação, desde que você siga rigorosamente as regras de formatação do modelo. É como trocar uma conversa longa e cara por um simples "plug-and-play" de inteligência.

Resumo Técnico: Knowledge Packs

1. O Problema

O atual paradigma de RAG (Retrieval-Augmented Generation) enfrenta um custo linear de tokens. Para cada consulta, o sistema busca textos relevantes e os insere no prompt do modelo. Em fluxos de trabalho de agentes que realizam múltiplas buscas sequenciais, isso consome rapidamente o orçamento de contexto (ex: 5 buscas podem consumir mais de 700 tokens apenas em fatos). Além disso, a inserção repetida de texto no prompt é ineficiente para modelos de transformer decodificador-only, que já possuem mecanismos de cache (KV Cache) para reutilizar estados de atenção.

2. Metodologia Proposta: Knowledge Packs

Os autores propõem os Knowledge Packs: caches de Chave-Valor (KV) pré-computados que entregam conhecimento ao modelo sem custo de tokens durante a inferência.

Equivalência KV–Prefixo (KV–Prefix Equivalence):
- Em transformers com máscara causal, o KV Cache gerado por uma passagem forward isolada em um texto de fatos ( $F$ ) é bit-idêntico às entradas de KV que seriam geradas se $F$ fosse concatenado com uma consulta ( $q$ ) em uma passagem conjunta ( $F \circ q$ ).
- Isso permite pré-computar o estado de atenção para os fatos e injetá-lo diretamente no cache do modelo durante a geração da resposta, eliminando a necessidade de enviar o texto de fatos no prompt.
Requisito Crítico: Template de Chat:
- A descoberta mais importante do trabalho é que a equivalência é frágil quanto ao formato. O texto dos fatos deve ser formatado exatamente como o modelo espera (usando o chat template oficial, incluindo tokens especiais como system).
- O uso de texto "raw" (sem tokens especiais) causa uma degradação de precisão de 6–7 pontos percentuais (pp), explicando por que trabalhos anteriores que relataram superioridade do KV sobre o RAG podem ter falhado ao controlar o formato.
Escalabilidade (Banked Routing):
- Para lidar com grandes volumes de fatos (>5.000), os autores propõem particionar os fatos em "bancos" usando clustering (k-means) em embeddings.
- Na consulta, o banco mais próximo é selecionado e o KV Cache é injetado. Isso permite armazenamento eficiente (<1 KB/fato) e escalabilidade sem atingir o limite de janela de contexto.
Composição de Caches:
- Caches independentes podem ser compostos sequencialmente (processar o pacote A, depois o B usando o cache de A como prefixo) para preservar o posicionamento RoPE (Rotary Positional Embedding). A concatenação simples falha porque reinicia a posição para 0.

3. Contribuições Principais

Prova e Validação da Equivalência: Demonstração teórica e empírica (0 divergências em 700 perguntas em Qwen3-8B e Llama-3.1-8B) de que a injeção de KV produz saídas idênticas ao RAG tradicional, mas com custo de tokens $O(1)$ em vez de $O(n)$ .
Identificação de Armadilhas de Formatação: Evidência de que a falta de tokens especiais do chat template é a causa principal de degradação de performance em métodos de injeção de KV, corrigindo interpretações errôneas da literatura anterior.
Steering (Direcionamento) no Espaço de Valores: Demonstração de que é possível alterar o comportamento do modelo (estilo de resposta) aplicando deltas contrastivos apenas nos valores (V) do KV Cache, sem tocar nas chaves (K).
- As chaves são sensíveis à rotação RoPE e não suportam aritmética; os valores não são rotacionados e suportam aritmética.
- O efeito de steering localiza-se nas camadas intermediárias (33–66%) e direções independentes são quase ortogonais, permitindo composição.
Arquitetura de Canal Duplo: Capacidade de entregar conhecimento (via KV completo) e direcionar comportamento (via deltas de valores) simultaneamente sem interferência significativa, desde que o coeficiente de ponderação ( $\alpha$ ) seja mantido baixo ( $\leq 0.7$ ).

4. Resultados Experimentais

Precisão (HotpotQA):
- KV-chat vs. RAG: Precisão idêntica (ex: 65.2% em Qwen3-8B) com 0 divergências nas saídas.
- KV-raw (sem template): Queda de 6.0pp em Qwen e 5.5pp em Llama.
Economia de Tokens:
- Em cenários de 5 passos de busca, o método KV economiza até 95% dos tokens (ex: 704 tokens economizados por consulta em comparação ao RAG).
- O custo de tokens permanece constante (apenas a pergunta), enquanto o RAG cresce linearmente.
Steering de Comportamento:
- Em tarefas de codificação, o steering via valores aumentou a qualidade de código defensivo em até 222% (Llama) e 68% (Qwen) em relação à linha de base, mantendo 100% de coerência sintética.
- O efeito é concentrado nas camadas médias; aplicar apenas nas camadas médias (33-66%) recupera quase todo o efeito de aplicar em todas as camadas.
Canal Duplo:
- Com $\alpha \leq 0.7$ , é possível manter a precisão factual (72-73% EM) enquanto se aumenta a formalidade da resposta, sem penalidade de acurácia.

5. Significado e Implicações

Otimização Lossless: O método oferece uma substituição perfeita para a inserção de prompts no RAG, reduzindo drasticamente custos em APIs pagas por token e permitindo fluxos de trabalho de agentes mais longos.
Novo Vetor de Controle: A assimetria entre Chaves (K) e Valores (V) devido ao RoPE abre uma nova fronteira para o controle de comportamento de modelos sem treinamento e sem modificação de pesos.
Limitações:
- Os caches KV são específicos da arquitetura e não são transferíveis entre modelos diferentes (ex: Llama não carrega cache do Qwen).
- O efeito de steering via KV é cerca de metade do efeito obtido inserindo texto de exemplo no prompt.
- A escalabilidade em bases de conhecimento reais (não sintéticas) ainda precisa de validação.

Em suma, o trabalho estabelece que o KV Cache pode ser usado como um vetor de conhecimento de "custo zero", desde que respeitadas as regras de formatação do modelo, e revela propriedades estruturais dos transformers que permitem o direcionamento de comportamento via manipulação de valores no cache.