Sintesi Tecnica: Leyline: Direttive per la Cache KV nell'Inferenza Agentica

1. Definizione del Problema

I moderni sistemi di serving per i Large Language Model (LLM) si sono evoluti attorno a un'assunzione specifica sul carico di lavoro: i prompt arrivano una sola volta e la cache KV cresce in modo monotono (append-only). Questa assunzione sostiene ottimizzazioni come il prefix caching e l'evizione forward-only. Tuttavia, gli LLM Agentici (Yao et al., 2023; Yang et al., 2024) rompono questa monotonicità attraverso l'editing guidato da policy. Gli agenti modificano frequentemente la cronologia della conversazione tramite tentativi di retry di chiamate a strumenti fallite, eliminazione di output obsoleti o pivot nelle traiettorie.

Questo comportamento crea due distinti problemi di gestione della cache:

1. Riutilizzo Invariante dalla Posizione: Contenuti identici si spostano tra nuove posizioni assolute tra un turno e l'altro (ad esempio, a causa dell'inserimento di output di strumenti). Il caching esatto del prefisso fallisce nel riutilizzare questi chunk perché le loro posizioni sono cambiate, anche se i dati Key-Value (KV) sottostanti rimangono validi. Il lavoro recente (Ma et al., 2026) affronta questo problema tramite il matching basato sul contenuto.
2. Mutazione Guidata dalla Policy (Il focus di questo articolo): Un agente o una policy può dover attivamente rimuovere o sostituire un intervallo di contenuto memorizzato (ad esempio, troncando vecchi output di strumenti per liberare memoria) e continuare la generazione senza dover ricalcolare l'intero prefill del contesto successivo.
   • Stato Attuale: I sistemi di produzione (es. Anthropic, 2025) gestiscono questo aspetto modificando la lista dei messaggi e innescando un re-prefill completo, incorrendo nell'intero costo di ricalcolo del prefisso che l'editing intendeva risparmiare.
   • Limitazioni dei Kernel: Gli esistenti metodi di evizione a livello di kernel (Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024) prendono decisioni autonome e non possono accettare direttive esplicite da una policy esterna per eseguire specifici edit in loco.

Non esiste una primitiva esistente che permetta a una policy di dirigere il sistema di serving affinché esegua attivamente un "splice" (unione/taglio) della cache KV preservando la correttezza della matematica dell'attenzione a valle senza ricorrere al re-prefill.

2. Metodologia: La Primitiva Leyline

Gli autori introducono Leyline, una primitiva lato serving progettata per colmare il divario tra l'intento della policy e l'esecuzione del kernel.

2.1 L'Astrazione della Direttiva

Leyline decoppia il cosa editare dal come editarlo tramite una direttiva a 4-tupla dichiarativa:
$$D = (s_{start}, s_{end}, R, m)$$

• $(s_{start}, s_{end})$: L'intervallo di indici dei token dello span da sostituire.
• $R$: La sequenza di token di sostituzione (spesso uno stub breve, ad esempio [evicted: 3 older tool turns]).
• $m$: La modalità semantica, scelta tra:
  • AMORTIZE: La modalità predefinita. Il sistema esegue uno splice in loco. La sostituzione viene inserita e le posizioni a valle vengono ri-indicizzate. Fondamentalmente, i valori KV sottostanti ($K_{nope}$ e $V$) per i token a valle vengono preservati, mantenendo l'attenzione del modello verso il contenuto originale che è stato evinto, anziché verso il nuovo stub.
  • FORGET: Il sistema instrada l'edit verso un re-prefill standard con trimming del prefisso. Questo viene utilizzato quando è richiesto un vero oblio del contenuto (ad esempio, per la redazione), garantendo che il modello non mantenga l'influenza del contenuto evinto.

2.2 Il Meccanismo: $\delta$-Rotazione

L'innovazione tecnica centrale che abilita la modalità AMORTIZE è una correzione a forma chiusa per gli shift della codifica della posizione, specificamente per le architetture Multi-Head Latent Attention (MLA) (ad esempio, DeepSeek-V2).

• Insight Strutturale: In MLA, il tensore Key è diviso in $K_{nope}$ (indipendente dalla posizione) e $K_{pe}$ (dipendente dalla posizione, ruotato da RoPE).
• L'Operazione: Quando uno span di lunghezza $|S|$ è sostituito da uno span di lunghezza $|R|$, tutti i token a valle si spostano di $\Delta = |R| - |S|$.
• La Correzione: Inveve di ricalcolare l'attenzione per i token a valle, Leyline applica una $\delta$-rotazione ai valori $K_{pe}$ memorizzati di tutti gli slot a valle:
  $$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$$
  Grazie alla chiusura della rotazione unitaria di RoPE ($R(a)R(b) = R(a+b)$), applicare $R(\Delta)$ al valore $R(i)$ esistente è algebricamente equivalente ad aver calcolato $R(i+\Delta)$ da zero.
• Risultato: Il sistema aggiorna la codifica della posizione in una singola moltiplicazione matriciale per slot, preservando i tensori $K_{nope}$ e $V$. Ciò consente al modello di continuare la generazione con la matematica dell'attenzione del contesto originale completo, nonostante la cache fisica sia stata modificata tramite splice.

2.3 Integrazione nello Stack di Serving

Leyline si integra nello stack di serving (specificamente dimostrato con SGLang) tramite tre passaggi:

1. Radix Match: Il prefisso invariato ($[0, s_{start})$) viene confrontato con la radix cache come di consueto.
2. Prefill: I token di sostituzione $R$ vengono prefillati in nuovi slot.
3. Rotazione: Il kernel applica la $\delta$-rotazione alla banda $K_{pe}$ di tutti gli slot a valle e li ri-indicizza.

L'interfaccia è agnostica rispetto al segnale: qualsiasi policy in grado di emettere una tupla di sostituzione di span (ad esempio, una regola di troncamento, un detector per chiamate a strumenti obsoleti) può pilotare la cache senza che il kernel debba ispezionare la motivazione.

3. Contributi Chiave

1. Distinzione del Problema: Il paper distingue formalmente tra riutilizzo (shift di posizione di contenuti identici) e mutazione (editing attivo guidato dalla policy), identificando la mutazione come il sottoproblema aperto nella gestione della cache agentica.
2. Astrazione della Direttiva: Un'interfaccia a 4-tupla che decoppia la policy (cosa editare) dal meccanismo (come effettuare lo splice), consentendo un editing esplicito e in loco della cache senza re-prefill.
3. Canale di Edit Semantico: Un nuovo confine di interfaccia per i serving stack post-agentici, situato sopra lo storage a livello di blocco per scomporre gli edit degli agenti in operazioni a livello di blocco preservando la correttezza della codifica della posizione.
4. Validazione a Due Bracci:
   • Braccio Meccanico: Dimostra che il kernel di splice preserva i tassi di cache-hit del replay e riduce la latenza evitando il costo del re-prefill.
   • Braccio della Policy: Dimostra che una semplice policy di troncamento instradata attraverso questa interfaccia migliora i tassi di risoluzione degli agenti riducendo il rumore del contesto.

4. Risultati

4.1 Performance del Meccanismo (Microbenchmark SGLang)

• Tasso di Cache Hit: Il braccio di splice ha aumentato il tasso di cache-hit del replay di +11.2 punti percentuali (pp) rispetto a una baseline radix standard attraverso le concorrenze $C \in \{1, 4, 8, 16\}$.
• Latenza: La latenza end-to-end è stata ridotta fino a 241 ms (a $C=8$) risparmiando il costo del re-prefill sul percorso critico.
• Correttezza: Il percorso di splice ha mantenuto il 100% di accordo sull'argmax del primo token con il percorso warm-prefix (full-context), confermando che la $\delta$-rotazione preserva la matematica dell'attenzione del contesto originale.

4.2 Performance della Policy (Debug-Gym)

• Task: 8 compiti debug-gym mini_nightmare utilizzando il modello JoyAI-LLM Flash.
• Policy: Una regola di troncamento di 10 righe che scarta gli output degli strumenti più vecchi di $n=2$ turni.
• Esito: La policy di troncamento instradata attraverso Leyline ha migliorato il tasso di risoluzione agentica dal 31.2% (baseline, senza troncamento) al 45.5% (+14.3 pp).
• Analisi: Il guadagno è stato guidato da task con traiettorie lunghe (es. shopping_cart, sum_tree). Scartando i turni degli strumenti obsoleti, il modello può prestare attenzione in modo più efficace ai pochi turni che contano davvero. Senza Leyline, esercitare questa policy avrebbe forzato un re-prefill completo su ogni troncamento, annullando i vantaggi di efficienza.

4.3 Verifica della Correttezza

• Microbenchmark a Singolo Prompt: Sono stati costruiti scenari in cui i percorsi full-context e re-prefill devono essere in disaccordo. Leyline ha costantemente matchato la predizione full-context (tracciando l'influenza del chunk originale) piuttosto che la predizione re-prefill (che aveva perso l'influenza del chunk).
• Cross-Architettura: Validato su quattro modelli MLA (DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B).
• Stabilità Numerica: La $\delta$-rotazione introduce un piccolo drift (limitato a $\sim 4.7 \times 10^{-3}$ rel-L2 in bf16), che si accumula in modo sub-lineare. Gli autori osservano che eseguire la rotazione in fp32 (mentre si memorizza la KV in bf16) mitiga efficacementamente questo drift.

5. Significato e Rivendicazioni

Il paper sostiene che Leyline fornisce l'interfaccia mancante per l'editing della cache guidato dalla policy nei sistemi agentici.

• Cambio di Interfaccia: Sposta il confine dell'interfaccia del serving stack. I sistemi pre-agentici esponevano solo il prompt; i sistemi post-agentici richiedono un canale di edit della cache. Leyline definisce concretamente questo canale.
• Decoppiamento: Permette alle policy di dichiarare l'intento (es. "dimentica questo span" o "ammortizza questo edit") senza che la policy debba comprendere le meccaniche sottostanti del kernel (RoPE, MLA, alberi radix).
• Memoria Programmabile: Gli autori sostengono che ciò trasformi la gestione della cache KV da un gioco di indovinare reattivo lato sistema (evizione) a un problema di scheduling cooperativo dove l'agente dichiara il destino del contesto e lo strato di storage lo esegue.
• Ambito: Il paper valida il verbo splice. Riconosce che il kernel di rotazione è attualmente specifico per MLA ma nota che l'astrazione della direttiva è agnostica rispetto all'architettura e che le estensioni a GQA/MHA sono fattibili tramite passaggi di ricalcolo dei confini.

Il paper conclude che, mentre il meccanismo (splice) abilita la classe di policy senza costi di re-prefill, è la classe di policy stessa a fornire il vantaggio a livello di deployment (tassi di risoluzione più elevati). Il vocabolario dell'interfaccia delle direttive (inclusi futuri verbi come PIN, DECAY, SCRATCH) rappresenta l'agenda per la futura gestione della memoria agentica.