Sintesi Tecnica: IntentKV

Problematica

I moderni agenti basati su Large Language Model (LLM) eseguono sempre più workflow multi-turno che coinvolgono navigazione, ricerca approfondita e utilizzo di strumenti (tool). In questi scenari, una breve query iniziale dell'utente si espande in una lunga traiettoria di documenti recuperati, output di tool, decisioni intermedie e argomentazioni generate. Ciò crea un profilo di serving asimmetrico in cui lo stato dell'agente cresce fino a decine di migliaia di token, mentre la query originale rimane breve. Di conseguenza, la capacità della memoria Key-Value (KV) e la larghezza di banda di lettura KV diventano i colli di bottiglia dominanti per le sessioni di agenti a lungo orizzonte, piuttosto che il calcolo dei parametri.

I metodi esistenti di pruning del KV-cache (ad esempio, StreamingLLM, SnapKV, H2O) sono progettati principalmente per la compressione di un singolo prompt. Quando applicati ad agenti multi-turno, affrontano due modalità critiche di fallimento:

1. Segnali di Ritenzione Obsoleti: L'importanza dei token cambia tra i turni. Un'evidenza utile per un turno successivo (ad esempio, un risultato di ricerca specifico) può essere scartata da uno scorer addestrato solo sul prompt iniziale, poiché l' "importanza" dei token non è statica ma evolve con i nuovi intenti.
2. Perdita di Identità del Prefisso: Il pruning standard spesso compatta la cache spostando le righe KV superstiti in slot contigui. Ciò cambia le posizioni logiche e le fasi RoPE dei token, invalidando l'identità del prefisso necessaria a sistemi come SGLang e vLLM per riutilizzare gli stati in cache tramite alberi radix attraverso i turni.

Metodologia: IntentKV

IntentKV affronta questi problemi separando la politica di ritenzione (quali token mantenere) dalla politica di layout (come viene rappresentata la cache). Il metodo mantiene il modello LLM base congelato e introduce un meccanismo di pruning apprendibile e consapevole della sessione.

1. Ritenzione Consapevole dell'Intento Cross-Turn

Invece di valutare i token rispetto a un singolo prompt, IntentKV mantiene una QueryMemory ($M_t$) che aggrega segnali simili a query attraverso l'intera sessione.

• Aggiornamento della QueryMemory: $M_t$ viene aggiornata tramite una ricorrenza geometrica: $M_t = e^{-\lambda} M_{t-1} + \text{Enc}(q_t)$, dove $\text{Enc}(q_t)$ rappresenta lo span di query azionabile del turno corrente. Ciò consente al sistema di tracciare intenti evolutivi (ad esempio, passare da "cerca voli" a "trova l'opzione più economica").
• Scoring per Regole: I token vengono valutati in base all'allineamento dell'attenzione con l'accumulata $M_t$, sostituendo l'attenzione tail basata su finestra tipica di metodi come SnapKV.
• Residuo Appreso: Per gestire i casi in cui lo scorer basato su regole perde evidenze di utilità futura, viene aggiunto un modulo residuo inizializzato a zero. Questo modulo utilizza l'attenzione incrociata (cross-attention) sui vettori K della query corrente e sulle caratteristiche per-token (inclusi il punteggio della regola e lo stato della QueryMemory) per predire una correzione. Il punteggio finale è una combinazione del punteggio della regola e del residuo appreso.

2. Evizione Preservante il Layout

Per mantenere la compatibilità con il caching dei prefissi, IntentKV impiega una strategia di ridirezione della slot-map invece della compattazione.

• Sentinel Dead Slot: Quando un token viene evinto, la sua posizione nella slot map viene reindirizzata a un "sentinel dead slot" pre-allocato. I valori K/V per questo slot sono impostati su costanti specifiche (ad esempio, $K=-10^4$, $V=0$) che annullano efficacemente il loro contributo all'attenzione senza alterare il layout fisico dei token superstiti.
• Identità Preservata: Le righe K/V superstiti, le loro fasi RoPE e le loro identità di slot logiche rimangono invariate. Ciò consente all'albero radix di continuare a corrispondere ai prefissi attraverso i turni, consentendo il riutilizzo efficiente degli stati in cache anche dopo il pruning.

Contributi Chiave

1. Formulazione della Ritenzione Multi-Query: Il paper formula il pruning KV degli agenti come un problema di ritenzione multi-query, istanziato con QueryMemory, uno stato per sessione che aggrega query, chiamate di tool e intenti di ricerca attraverso i turni.
2. Pruner Residuo a Modello Congelato: Un pruner residuo apprendibile che mantiene l'euristica consapevole della sessione come segnale primario e aggiunge una correzione basata sulle azioni future, il tutto senza aggiornare i pesi del modello base.
3. Ricetta di Evizione Componibile: Una strategia di evizione per le cache KV paginate (SGLang/vLLM) che reindirizza le posizioni rimosse a uno slot sentinel. Questo preserva il riutilizzo del prefisso radix, raggiungendo un tasso di hit del prefisso del 20,7% con un budget di 8k, dove i baseline di compattazione scendono allo 0–3%.
4. Guadagni di Performance: Sul benchmark BrowseComp-Plus (BCP), IntentKV eguaglia il baseline della cache completa con una perdita minima di accuratezza pur riducendo significativamente l'uso delle risorse.

Risultati Sperimentali

Il metodo è stato valutato su Qwen3-8B e Qwen2.5-14B utilizzando il benchmark BrowseComp-Plus (830 query di ricerca approfondita).

• Accuratezza: Con un budget KV di 8k, IntentKV-Phase-2 raggiunge una True Accuracy di 14,10 su Qwen3-8B (superando il più forte euristico, StreamingLLM, di 2,29 punti) e 18,55 su Qwen2.5-14B (superando StreamingLLM di 10,36 punti). A un budget di 16k, eguaglia il soffitto della cache completa entro 0,96 punti su Qwen3-8B.
• Efficienza: IntentKV riduce i token massimi di richiesta nel caso peggiore del 77,8%–81,7% e le letture KV grezze massime del 36,9%–92,6% rispetto al soffitto non compresso sulle 100 query più impegnative.
• Overhead di Sistema: Raggiunge fino al 43% di riduzione della latenza wall-clock e al 59% di riduzione delle letture KV grezze rispetto ai baseline di compattazione, principalmente grazie al riutilizzo del prefisso preservato.
• Ablazione: Il componente della memoria cross-turn è identificato come il segnale dominante; rimuoverlo causa un calo significativo dell'accuratezza. Il residuo appreso fornisce guadagni marginali con budget ristretti, ma migliora le prestazioni quando la capacità lo consente.

Significato e Asserzioni

Il paper afferma che IntentKV risolve con successo la tensione tra compressione KV e serving di agenti multi-turno separando la logica di ritenzione dal layout della cache. Mantenendo una memoria di intento a livello di sessione e utilizzando una strategia di evizione non compattante, consente agli agenti di operare sotto budget di memoria ristretti senza sacrificare la capacità di riutilizzare i prefissi in cache.

Gli autori notano che la loro valutazione è limitata ai modelli Qwen perché altri backbone open-source (ad esempio, Llama-3.1, Mistral) non hanno mostrato un comportamento affidabile di chiamata di tool multi-step autonomo sul benchmark BCP sotto il loro harness di serving, impedendo un confronto equo degli effetti di compressione. Il metodo è progettato per essere componibile con gli stack di serving esistenti (SGLang, vLLM) e futuri scorer locali del prompt, sebbene la selezione dinamica del budget per singola query rimanga una direzione per il lavoro futuro.