Resumo Técnico: Modelos Tomam Notas no Prefill: O Cache KV Pode Ser Editável e Componível

1. Declaração do Problema

Agentes modernos de Grandes Modelos de Linguagem (LLMs) frequentemente releem instruções longas e majoritariamente estáticas (políticas de sistema, especificações de ferramentas, documentos recuperados) ao longo de múltiplas turnos. Embora o cache de Chave/Valor (KV) permita o reuso de computações de prefill, os sistemas de produção atuais (ex: vLLM, SGLang) dependem de correspondência de prefixo exata.

O problema central surge quando um campo mutável dentro de um prefixo reutilizado muda (ex: um ID de usuário, status de pedido ou timestamp). Como cada token subsequente no contexto atende aos tokens alterados, as chaves e valores de toda a região a jusante tornam-se inválidos. A solução de contorno de fato — elevar todo o conteúdo mutável para o final do prompt — impõe restrições à camada de aplicação, impedindo o reuso limpo de prompts de sub-agentes aninhados ou contextos montados dinamicamente.

Uma tentativa ingênua de atualizar cirurgicamente apenas os vetores KV do campo alterado enquanto reutiliza o restante do cache falha completamente: o modelo retorna à decisão antiga, ignorando a edição. Este artigo investiga por que essa falha ocorre e propõe um mecanismo para tornar o cache KV tanto editável quanto componível.

2. Descoberta Central: Inferência Memoizada

O artigo estabelece um mecanismo causal explicando por que a edição de KV ingênua falha. Através de quatro sondagens causais (patching de localidade, concentração de sufixo, sondagem linear e interrupção de circuito) em quatro famílias de modelos (Qwen3, Llama-3.1, Gemma-2, Mistral), os autores demonstram que:

1. Memoização no Tempo de Prefill: Durante a fase de prefill, o modelo não apenas armazena representações brutas de tokens. Em vez disso, ele computa a conclusão condicionada ao campo (ex: "status é enviado $\to$ ação é negar") e escreve esta conclusão nos vetores KV de tokens agregadores a jusante específicos (como pontuação, quebras de linha ou divisões de seção).
2. Leitura de Decisão: No tempo de decodificação, o token de decisão não re-deriva a resposta a partir do próprio campo. Em vez disso, ele atende de volta a essas posições de "notas" a jusante.
3. Contribuição Causal: Os próprios vetores KV do campo impulsionam menos de 1% da decisão final. A decisão é impulsionada quase inteiramente pelas "notas" escritas a jusante.

Consequentemente, atualizar apenas o KV do campo (a edição "apenas do campo") é ignorado porque a decisão depende das notas obsoletas a jusante. O cache KV é reestruturado não como um subproduto congelado, mas como um caderno de conclusões memoizadas.

3. Metodologia e Capacidades

Baseado no mecanismo de "caderno", o artigo propõe duas capacidades: caches KV Editáveis e Componíveis.

A. Cache KV Editável

Para atualizar uma decisão quando um campo muda, deve-se emendar as "notas" em vez de apenas o campo. O artigo avalia várias estratégias:

• Edição Ingênua Apenas do Campo: Falha (recuperação $\approx$ 0), a menos que o modelo use Cadeia de Pensamento (CoT). Com CoT, o modelo relê o campo, tornando a edição apenas do campo suficiente (recuperação $\approx$ 1.0). Sem CoT, ela é ignorada.
• Recomputação Seletiva (Campo + Top-K): Recomputar o campo mais os top-$K$ tokens a jusante com maior efeito causal na decisão. Isso é confiável, mas requer o ajuste do modelo para $K$ e é menos robusto.
• O Erratum (Apenas Acréscimo): A solução mais robusta e barata. Anexar uma linha de correção saliente (ex: [ATUALIZAÇÃO DE ESTADO] campo $\to$ novo; substitui qualquer valor anterior) atua como uma nova nota autoritativa. Isso iguala o desempenho de uma recomputação total (Oracle) sem reescrever o prompt. Ele se compõe com sistemas de cache de prefixo existentes porque não invalida o prefixo estático.

B. Cache KV Componível

Se as notas são localizadas e portáteis por posição, "habilidades" pré-compiladas (blocos de política longos ou especificações de ferramentas) podem ser reutilizadas em diferentes contextos sem a necessidade de novo prefill.

• Mecanismo: Pré-computar o cache KV de uma habilidade isoladamente. Ao inseri-la em um novo contexto, realiza-se o reposicionamento RoPE das chaves (rotacionando-as para as novas posições absolutas) e faz-se o transplante dos valores (que são livres de posição) no contexto alvo.
• Reparo de Costura (Seam Repair): Um pequeno número de tokens de fronteira no início do bloco transplantado pode precisar de recomputação para compensar a falta de atenção do prefixo, mas este é um custo constante.
• Complexidade: Isso reduz o Tempo para o Primeiro Token (TTFT) de $O(L^2)$ (prefill total) para $O(L)$ (re-rotação + transplante).

4. Resultados Principais

Desempenho de Edição

• Acurácia: O método "Erratum" alcança 1.00 de recuperação de decisão (igualando a recomputação total) entre os modelos, enquanto edições ingênuas apenas do campo alcançam 0.00 sem CoT.
• Eficiência: A abordagem Erratum exige anexar apenas uma linha de texto, incorrendo em computação desprezível comparada à recomputação total.
• Comparação com Edição de Pesos: Diferente dos métodos de edição de pesos (ROME, LoRA), que são globais, lentos (segundos) e causam contaminação entre requisições, a edição de KV é local, rápida (~100ms) e específica por requisição.

Desempenho de Composição

• Fidelidade: Habilidades transplantadas igualam a recomputação total com similaridade de cosseno de logits de 0.90–0.999 em 12 modelos (variando de 1.7B a 70B parâmetros, incluindo MoE e variantes quantizadas).
• Velocidade: Os ganhos de TTFT escalam com o comprimento da habilidade, atingindo 13.9× em 32k tokens em um modelo de 8B.
• Generalidade: O método funciona para regras, passagens de RAG e chamadas de ferramentas de agentes. Aplica-se também a entradas multimodais (imagens), onde o KV da imagem pode ser transplantado com re-rotação de M-RoPE.

Benchmarks de Sistemas (vLLM)

• Alinhamento de Cache de Prefixo: Em um benchmark vLLM online com carga de Poisson, o erratum de apenas acréscimo mantém o alinhamento do cache de prefixo, alcançando uma taxa de hit de cache de prefixo de 98.5% (vs. 1% para edições dentro do prefixo).
• Latência e Throughput: O p90 TTFT é reduzido em 53–398×. Os ganhos de throughput crescem com a carga, atingindo 14.5× na saturação em comparação com uma linha de base que realiza novo prefill a cada mudança.

Aplicação de Memória do Usuário

O artigo aplica esses conceitos à memória do usuário (perfis grandes e mutáveis).

• Posicionamento: Colocar a memória ao final do prompt (após a trajetória) permite edição e transplante de $O(L)$.
• Compromisso (Trade-off): Embora o posicionamento tardio incorra em um pequeno custo de acurácia devido à falta de "pré-digestão" (integração no tempo de prefill), isso é compensado pelos enormes ganhos de eficiência.
• Validação: No benchmark LoCoMo (QA de conversas longas reais), transplantar a memória é estatisticamente equivalente à recomputação total em acurácia de QA.

5. Significância e Alegações

O artigo afirma fornecer o primeiro relato causal de por que a edição de campos de KV no local falha e oferece um framework unificado para caches KV programáveis.

• Mecanismo: Identifica que os transformers escrevem conclusões para tokens a jusante durante o prefill, tornando o cache um registro estruturado de raciocínio intermediário, em vez de apenas dados brutos.
• Programabilidade: Demonstra que sistemas podem ler, escrever e rearranjar este "caderno" sem treinar o modelo novamente.
• Impacto Prático: A abordagem permite o cache editável e componível que é compatível com a infraestrutura de produção existente (vLLM, SGLang) e mecanismos de atenção (FlashAttention, GQA, MLA, M-RoPE).
• Visão Futina: Os autores postulam que, embora os modelos atuais explorem este mecanismo "gratuitamente", modelos futuros poderiam ser treinados para expor estas notas explicitamente, transformando o cache KV de um log linear em uma memória programável para agentes.

O trabalho é validado em diversas escalas (0.6B a 70B), quantizações (FP8, 4-bit), famílias de arquitetura (MoE, padrão) e modalidades (texto, visão), estabelecendo uma base robusta para agentes de LLM eficientes e com estado (stateful).