Resumo Técnico: Leyline: Diretivas de Cache KV para Inferência Agêntica

1. Definição do Problema

Os sistemas de serviço de Grandes Modelos de Linguagem (LLM) modernos evoluíram em torno de uma suposição específica de carga de trabalho: os prompts chegam uma vez e o cache KV cresce monotonicamente (apenas adição). Essa suposição fundamenta otimizações como o cache de prefixo e a evasão apenas para frente. Os LLMs Agênticos (Yao et al., 2023; Yang et al., 2024) quebram essa monotonicidade através de edição orientada por política. Agentes frequentemente modificam o histórico de conversação ao tentar novamente chamadas de ferramentas falhas, descartando saídas obsoletas ou mudando trajetórias.

Este comportamento cria dois problemas distintos de gerenciamento de cache:

1. Reuso Invariante de Posição: Conteúdo idêntico muda para novas posições absolutas entre turnos (ex: devido à inserção de saídas de ferramentas). O cache de prefixo exato falha em reutilizar esses blocos porque suas posições mudaram, embora os dados de Chave-Valor (KV) subjacentes permaneçam válidos. Trabalhos recentes (Ma et al., 2026) abordam isso via correspondência baseada em conteúdo.
2. Mutação Orientada por Política (O Foco deste Artigo): Um agente ou política pode precisar remover ou substituir ativamente um intervalo de conteúdo em cache (ex: truncar saídas antigas de ferramentas para liberar memória) e continuar a geração sem re-preencher todo o contexto subsequente.
   • Estado Atual: Sistemas de produção (ex: Anthropic, 2025) lidam com isso editando a lista de mensagens e disparando um re-prefill completo, incorrendo no custo total de recomputar o prefixo que a edição pretendia economizar.
   • Limitações de Kernel: Métodos de evasão existentes em nível de kernel (Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024) tomam decisões autônomas e não podem aceitar diretivas explícitas de uma política externa para realizar edições específicas in-place.

Não existe um primitivo existente que permita a uma política direcionar o sistema de serviço a realizar o cisalhamento (splice) ativo do cache KV preservando a correção da matemática de atenção subsequente sem o re-prefill.

2. Metodologia: O Primitivo Leyline

Os autores introduzem o Leyline, um primitivo de lado de serviço projetado para fechar a lacuna entre a intenção da política e a execução do kernel.

2.1 A Abstração de Diretiva

O Leyline desacopla o quê editar do como editar através de uma quádrupla diretiva declarativa:
$$D = (s_{start}, s_{end}, R, m)$$

• $(s_{start}, s_{end})$: O intervalo de índice de tokens do intervalo a ser substituído.
• $R$: A sequência de tokens de substituição (frequentmente um stub curto, ex: [evicted: 3 older tool turns]).
• $m$: O modo semântico, escolhido entre:
  • AMORTIZE: O modo padrão. O sistema realiza um cisalhamento (splice) in-place. A substituição é inserida e as posições subsequentes são reindexadas. Crucialmente, os valores KV subjacentes ($K_{nope}$ e $V$) para os tokens subsequentes são preservados, mantendo a atenção do modelo ao conteúdo original que foi evadido, em vez do novo stub.
  • FORGET: O sistema direciona a edição para um re-prefill padrão com prefixo aparado. Isso é usado quando o esquecimento real de conteúdo é necessário (ex: redação), garantindo que o modelo não retenha influência do conteúdo evadido.

2.2 O Mecanismo: $\delta$-Rotação

A principal inovação técnica que permite o modo AMORTIZE é uma correção de forma fechada para deslocamentos de codificação de posição, especificamente para arquiteturas de Atenção Latente Multi-Cabeça (MLA) (ex: DeepSeek-V2).

• Insight Estrutural: No MLA, o tensor Key é dividido em $K_{nope}$ (independente de posição) e $K_{pe}$ (dependente de posição, rotacionado por RoPE).
• A Operação: Quando um intervalo de comprimento $|S|$ é substituído por um intervalo de comprimento $|R|$, todos os tokens subsequentes deslocam-se por $\Delta = |R| - |S|$.
• A Correção: Em vez de recomputar a atenção para os tokens subsequentes, o Leyline aplica uma $\delta$-rotação aos valores $K_{pe}$ armazenados em cache de todos os slots subsequentes:
  $$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$$
  Devido ao fechamento de rotação unitária do RoPE ($R(a)R(b) = R(a+b)$), aplicar $R(\Delta)$ ao $R(i)$ existente é algebricamente equivalente a ter computado $R(i+\Delta)$ do zero.
• Resultado: O sistema atualiza a codificação de posição em uma única multiplicação de matriz por slot, preservando os tensores $K_{nope}$ e $V$. Isso permite que o modelo continue a geração com a matemática de atenção do contexto original completo, apesar de o cache físico ter sido cisalhado.

2.3 Integração na Pilha de Serviço

O Leyline integra-se na pilha de serviço (especificamente demonstrado com SGLang) através de três etapas:

1. Radix Match: O prefixo inalterado ($[0, s_{start})$) é correspondido contra o cache radix como de costume.
2. Prefill: Os tokens de substituição $R$ são pré-preenchidos em novos slots.
3. Rotação: O kernel aplica a $\delta$-rotação à banda $K_{pe}$ de todos os slots subsequentes e os reindexa.

A interface é agnóstica ao sinal: qualquer política que possa emitir uma tupla de substituição de intervalo (ex: uma regra de truncamento, um detector de chamadas de ferramentas obsoletas) pode comandar o cache sem que o kernel precise inspecionar a razão.

3. Principais Contribuições

1. Distinção de Problema: O artigo distingue formalmente entre reuso (deslocamentos de posição de conteúdo idêntico) e mutação (edição ativa orientada por política), identificando a mutação como o subproblema aberto no gerenciamento de cache agêntico.
2. Abstração de Diretiva: Uma interface de quádrupla que desacopla a política (o que editar) do mecanismo (como cisalhar), permitindo a edição in-place explícita do cache sem re-prefill.
3. Canal de Edição Semântica: Uma nova fronteira de interface para pilhas de serviço pós-agênticas, situada acima do armazenamento de nível de bloco para decompor edições de agentes em operações de nível de bloco enquanto preserva a correção da codificação de posição.
4. Validação de Duas Pernas:
   • Perna de Mecanismo: Demonstra que o kernel de cisalhamento preserva as taxas de acerto de cache de replay e reduz a latência ao evitar o re-prefill.
   • Perna de Política: Demonstra que uma política de truncamento simples roteada através desta interface melhora as taxas de resolução de agentes ao reduzir o ruído do contexto.

4. Resultados

4.1 Desempenho de Mecanismo (Microbenchmark SGLang)

• Taxa de Acerto de Cache: O braço de cisalhamento elevou a taxa de acerto de cache de replay em +11,2 pontos percentuais (pp) sobre uma linha de base radix padrão através das concordâncias $C \in \{1, 4, 8, 16\}$.
• Latência: A latência end-to-end foi reduzida em até 241 ms (em $C=8$) ao economizar o custo de re-prefill no caminho crítico.
• Corretude: O caminho de cisalhamento manteve 100% de concordância no argmax do primeiro token com o caminho de prefixo quente (contexto completo), confirmando que a $\delta$-rotação preserva a matemática de atenção do contexto original.

4.2 Desempenho de Política (Debug-Gym)

• Tarefa: 8 tarefas debug-gym mini_nightmare usando o modelo JoyAI-LLM Flash.
• Política: Uma regra de truncamento de 10 linhas que descarta saídas de ferramentas mais antigas que $n=2$ turnos.
• Resultado: A política de truncamento roteada através do Leyline melhorou a taxa de resolução agêntica de 31,2% (baseline, sem truncamento) para 45,5% (+14,3 pp).
• Análise: O ganho foi impulsionado por tarefas com trajetórias longas (ex: shopping_cart, sum_tree). Ao descartar turnos de ferramentas obsoletos, o modelo pôde atender de forma mais eficaz aos poucos turnos que realmente importavam. Sem o Leyline, exercitar esta política forçaria um re-prefill completo a cada truncamento, anulando os ganhos de eficiência.

4.3 Verificação de Corretude

• Microbenchmark de Prompt Único: Construídos cenários onde os caminhos de contexto completo e re-prefill devem discordar. O Leyline consistentemente coincidiu com a previsão de contexto completo (rastreando a influência do chunk original) em vez da previsão de re-prefill (que perdeu a influência do chunk).
• Cross-Architecture: Validado em quatro modelos MLA (DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B).
• Estabilidade Numérica: A $\delta$-rotação introduz um pequeno desvio (limitado a $\sim 4,7 \times 10^{-3}$ rel-L2 em bf16), que se acumula de forma sublinear. Os autores observam que executar a rotação em fp32 (enquanto armazena o KV em bf16) mitiga esse desvio efetivamente.

5. Significância e Alegações

O artigo afirma que o Leyline fornece a interface que faltava para o gerenciamento de cache orientado por política em sistemas agênticos.

• Mudança de Interface: Ele move a fronteira da interface da pilha de serviço. Sistemas pré-agênticos expunham apenas o prompt; sistemas pós-agênticos requerem um canal de edição de cache. O Leyline define este canal concretamente.
• Desacoplamento: Permite que as políticas declarem sua intenção (ex: "esquecer este intervalo" ou "amortizar esta edição") sem que a política precise entender a mecânica subjacente do kernel (RoPE, MLA, árvores radix).
• Memória Programável: Os autores argumentam que isso transforma o gerenciamento de cache KV de um jogo de adivinhação reativo do lado do sistema (evasão) em um problema de escalonamento cooperativo onde o agente declara o destino do contexto e a camada de armazenamento o executa.
• Escopo: O artigo valida o verbo cisalhar (splice). Reconhece que o kernel de rotação é atualmente específico para MLA, mas observa que a abstração de diretiva é agnóstica à arquitetura e que extensões para GQA/MHA são viáveis via passagens de recomputação de fronteira.

O artigo conclui que, embora o mecanismo (cisalhamento) habilite a classe de política sem custos de re-prefill, a própria classe de política entrega o ganho de nível de implantação (maiores taxas de resolução). O vocabulário da interface de diretiva (incluindo futuros verbos como PIN, DECAY, SCRATCH) representa a agenda para o gerenciamento de memória agêntica futura.