Riepilogo Tecnico: I Modelli Prendono Appunti durante il Prefill: La KV Cache Può Essere Modificabile e Componibile

1. Definizione del Problema

I moderni agenti basati su Large Language Model (LLM) rileggono frequentemente istruzioni lunghe e prevalentemente statiche (policy di sistema, specifiche degli strumenti, documenti recuperati) attraverso molteplici turni. Sebbene il caching delle chiavi/valori (KV cache) permetta il riutilizzo dei calcoli di prefill, i sistemi di produzione attuali (es. vLLM, SGLang) si affidano al matching esatto del prefisso.

Il problema centrale sorge quando un campo mutabile all'interno di un prefisso riutilizzato cambia (es. un ID utente, lo stato di un ordine o un timestamp). Poiché ogni token successivo nel contesto presta attenzione al token modificato, le chiavi e i valori dell'intera regione a valle diventano invalidi. Il workaround de facto — spostare tutto il contenuto mutabile alla fine del prompt — impone vincoli allo strato applicativo, impedendo il riutilizzo pulito di sottoproмпt di sub-agenti nidificati o di contesti assemblati dinamicamente.

Un tentativo ingenuo di aggiornare chirurgicamente solo i vettori KV del campo modificato pur riutilizzando il resto della cache fallisce completamente: il modello ritorna alla vecchia decisione, ignorando l'editing. Questo articolo investiga perché tale fallimento avvenga e propone un meccanismo per rendere la KV cache sia modificabile che componibile.

2. Scoperta Centrale: Inferenza Memoizzata

L'articolo stabilisce un meccanismo causale che spiega perché l'editing ingenuo della KV cache fallisca. Attraverso quattro indagini causali (locality patching, suffix concentration, linear probing e circuit knockout) su quattro famiglie di modelli (Qwen3, Llama-3.1, Gemma-2, Mistral), gli autori dimostrano che:

1. Memoizzazione durante il Prefill: Durante la fase di prefill, il modello non si limita a memorizzare le rappresentazioni grezze dei token. Invece, calcola la conclusione condizionata dal campo (es. "lo stato è spedito $\to$ l'azione è nega") e scrive questa conclusione sui vettori KV di specifici token aggregatori a valle (come punteggiatura, interruzioni di riga o interruzioni di sezione).
2. Lettura della Decisione: Durante la fase di decode, il token decisionale non rideriva la risposta dal campo stesso. Invece, presta attenzione a queste posizioni di "appunti" a valle.
3. Contributo Causale: I vettori KV del campo stesso guidano meno dell'1% della decisione finale. La decisione è guidata quasi interamente dagli "appunti" scritti a valle.

Di conseguenza, aggiornare solo il KV del campo (l'edit "field-only") viene ignorato perché la decisione dipende dagli appunti obsoleti a valle. La KV cache viene riformulata non come un sottoprodotto congelato, ma come un quaderno di conclusioni memoizzate.

3. Metodologia e Capacità

Sulla base del meccanismo a "quaderno", l'articolo propone due capacità: KV cache Modificabile e Componibile.

A. KV Cache Modificabile

Per aggiornare una decisione quando un campo cambia, è necessario emendare gli "appunti" piuttosto che solo il campo. L'articolo valuta diverse strategie:

• Edit Naive Field-Only: Fallisce (recupero $\approx$ 0) a meno che il modello non utilizzi il Chain-of-Thought (CoT). Con il CoT, il modello rilegge il campo, rendendo sufficiente l'edit del solo campo (recupero $\approx$ 1.0). Senza CoT, l'edit viene ignorato.
• Selective Recompute (Field + Top-K): Ricalcolare il campo più i primi $K$ token a valle con il più alto effetto causale sulla decisione. È affidabile ma richiede la calibrazione di $K$ specifica per il modello ed è meno robusto.
• L'Erratum (Append-Only): La soluzione più robusta ed economica. Aggiungere una riga di correzione saliente (es. [STATE UPDATE] campo $\to$ nuovo; sovrascrive qualsiasi valore precedente) agisce come un nuovo appunto autorevole. Questo eguaglia le prestazioni di un ricalcolo completo (Oracle) senza riscrivere il prompt. Si compone con i sistemi esistenti di prefix caching perché non invalida il prefisso statico.

B. KV Cache Componibile

Se gli appunti sono localizzati e portabili per posizione, le "competenze" precompilate (lunghi blocchi di policy o specifiche di strumenti) possono essere riutilizzate tra diversi contesti senza un nuovo prefill.

• Meccanismo: Precomputare la KV cache di una competenza in isolamento. Quando viene inserita in un nuovo contesto, si effettua la riposizione RoPE delle chiavi (ruotandole nelle nuove posizioni assolute) e si inseriscono i valori (che sono privi di posizione) nel contesto target.
• Riparazione della Cucitura (Seam Repair): Un piccolo numero di token di confine all'inizio del blocco inserito potrebbe richiedere il ricalcolo per tenere conto della mancanza di attenzione verso il prefisso mancante, ma si tratta di un costo costante.
• Complessità: Questo riduce il Time-to-First-Token (TTFT) da $O(L^2)$ (prefill completo) a $O(L)$ (ri-rotazione + inserimento).

4. Risultati Chiave

Prestazioni di Editing

• Accuratezza: Il metodo "Erratum" raggiunge un recupero della decisione di 1.00 (eguagliando il ricalcolo completo) tra i vari modelli, mentre gli edit ingenuamente limitati al campo raggiungono lo 0.00 senza CoT.
• Efficienza: L'approccio Erratum richiede l'aggiunta di una sola riga di testo, comportando un calcolo trascurabile rispetto al ricalcolo completo.
• Confronto con l'Editing dei Pesi: A differenza dei metodi di editing dei pesi (ROME, LoRA) che sono globali, lenti (secondi) e causano contaminazione tra le richieste, l'editing della KV cache è locale, veloce (~100ms) e specifico per la richiesta.

Prestazioni di Composizione

• Fedeltà: Le competenze trapiantate corrispondono al ricalcolo completo con una similarità del coseno dei logit tra 0.90 e 0.999 su 12 modelli (che variano da 1.7B a 70B di parametri, inclusi modelli MoE e varianti quantizzate).
• Velocità: Gli acceleri del TTFT scalano con la lunghezza della competenza, raggiungendo 13.9× a 32k token su un modello da 8B.
• Generalità: Il metodo funziona per regole, passaggi RAG e chiamate a strumenti agentici. Vale anche per input multimodali (immagini), dove la KV dell'immagine può essere inserita con la ri-rotazione di M-RoPE.

Benchmark di Sistema (vLLM)

• Allineamento Prefix Cache: In un benchmark vLLM online con carico di Poisson, l'approccio append-only Erratum mantiene l'allineamento con la prefix cache, raggiungendo un tasso di hit della prefix cache del 98.5% (rispetto all'1% per gli edit in-prefix).
• Latenza e Throughput: Il p90 TTFT è ridotto di 53–398×. I guadagni di throughput crescono con il carico, raggiungendo 14.5× alla saturazione rispetto a un baseline che esegue il prefill a ogni modifica.

Applicazione della Memoria Utente

L'articolo applica questi concetti alla memoria utente (profili ampi e mutabili).

• Posizionamento: Posizionare la memoria alla fine del prompt (dopo la traiettoria) permette l'editing e il trapianto in $O(L)$.
• Compromesso: Sebbene il posizionamento tardivo comporti un piccolo costo di accuratezza dovuto alla mancanza di "pre-digestione" (integrazione durante il prefill), questo è compensato dai massicci guadagni di efficienza.
• Validazione: Sul benchmark LoCoMo (QA a lungo termine in conversazione reale), il trapianto della memoria è statisticamente equivalente al ricalcolo completo in termini di accuratezza della QA.

5. Significato e Rivendicazioni

L'articolo sostiene di fornire il primo resoconto causale del perché l'editing in-place dei campi della KV cache fallisca e offre un framework unificato per KV cache programmabili.

• Meccanismo: Identifica che i transformer scrivono conclusioni sugli appunti a valle durante il prefill, rendendo la cache un registro strutturato di ragionamenti intermedi piuttosto che semplici dati grezzi.
• Programmabilità: Dimostra che i sistemi possono leggere, scrivere e riorganizzare questo "quaderno" senza riaddestrare il modello.
• Impatto Pratico: L'approccio abilita il caching modificabile e componibile che è compatibile con l'attuale infrastruttura di produzione (vLLM, SGLang) e i meccanismi di attenzione (FlashAttention, GQA, MLA, M-RoPE).
• Visione Futura: Gli autori postulano che, sebbene i modelli attuali sfruttino questo meccanismo "gratuitamente", i modelli futuri potrebbero essere addestrati per esporre esplicitamente questi appunti, trasformando la KV cache da un log lineare a una memoria programmabile per gli agenti.

Il lavoro è validato su diverse scale (da 0.6B a 70B), quantizzazioni (FP8, 4-bit), famiglie di architetture (MoE, standard) e modalità (testo, visione), stabilendo una solida base per agenti LLM efficienti e dotati di stato.