🤖 machine learning

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

MemDecay è una politica di espulsione della cache KV training-free e consapevole delle regioni che sfrutta la struttura semantica dei contesti degli agenti LLM per assegnare priorità di ritenzione e tassi di decadimento distinti a diverse regioni di token, superando significativamente i baseline esistenti basati sulla recenza o sull'attenzione nel preservare le informazioni critiche e nel mantenere l'accuratezza dell'inferenza sotto vincoli di memoria.

Autori originali: Venkatesha Matam, Keon Kim

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Venkatesha Matam, Keon Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un assistente robotico super-intelligente (un agente LLM) che sta cercando di risolvere un mistero enorme e multi-fase. Deve ricordare le regole del gioco, gli indizi che trova, gli strumenti che usa e i suoi stessi disordinati appunti sul taccuino. Man mano che il mistero si allunga, il suo "cervello" (la sua cache di memoria) inizia a traboccare. Se non fa spazio, il robot va in crash o rallenta.

Il grande problema? La maggior parte dei robot tratta ogni pezzo di memoria allo stesso modo. Potrebbero dire: "Oh, non guardavo questo indizio da un po', quindi lo butto via", oppure "Questo è l'ultimo che ho letto, quindi lo tengo". Ma questo è come buttare via la mappa perché l'hai guardata ieri, mantenendo invece uno scarabocchio casuale che hai appena fatto.

Entra in gioco MemDecay, una nuova strategia che agisce come un bibliotecario intelligente ed organizzato per il cervello del robot. Ecco come funziona, cosa ha scoperto e cosa non ha assolutamente trovato.

La strategia del Bibliotecario Intelligente

Invece di trattare tutte le memorie allo stesso modo, MemDecay chiede al manager del robot: "Che tipo di memoria è questa?"

È un'Istruzione di Sistema? (Le regole fondamentali del robot, come "Sii sempre educato.")
È un Piano? (I passaggi per risolvere il mistero.)
È uno Scratchpad? (Calcoli temporanei o note su cui il robot sta lavorando proprio ora.)
È l'Output di uno Strumento? (Dati provenienti da una calcolatrice o da un motore di ricerca.)

MemDecay assegna a ogni tipo di memoria una "data di scadenza" diversa e un diverso "punteggio di importanza".

Le Istruzioni di Sistema ricevono un distintivo "Pinned" (Fissato). Sono incollate allo scaffale e non vengono mai buttate via, indipendentemente da quanto si riempia la biblioteca.
Gli appunti dello Scratchpad ricevono una durata di scaffale molto breve. Se il robot smette di usarli per pochi secondi, svaniscono.
Piani e Strumenti ricevono una durata media, ma se il robot li consulta di nuovo, il loro "orologio di scadenza" si resetta, mantenendoli al sicuro.

Il sistema calcola un punteggio per ogni token di memoria in base al suo tipo e a quanto recentemente è stato usato. Quando la biblioteca è piena, espelle prima le pagine con i punteggi più bassi.

Cosa hanno effettivamente mostrato gli esperimenti

I ricercatori hanno testato il sistema su due dimensioni di robot (1,5 miliardi e 3 miliardi di parametri) e due dimensioni di memoria (circa 450 token e 1.700 token). Hanno piantato fatti specifici in diverse parti della memoria del robot e poi hanno chiesto al robot di ricordare tali fatti dopo aver forzato la cancellazione di metà della sua memoria.

1. La vittoria del "Pinned"
Il successo più grande è stato per le istruzioni di "Sistema". Quando la memoria è stata compressa al 25% o al 50% della sua dimensione, MemDecay ha mantenuto le regole di sistema al sicuro ogni singola volta (24 su 24 prove nel test breve, 21 su 24 nel test lungo).

Il Contrasto: Altri metodi che mantengono solo le memorie "più recenti" (come un robot che ricorda solo le ultime frasi) sono falliti completamente. Nei test lunghi, hanno ricordato quasi zero istruzioni di sistema. L'approccio basato sulla "solo la recentezza" crolla man mano che la storia si allunga.

2. Il controllo della realtà dello "Scratchpad"
Gli esperimenti hanno misurato esattamente quanto tempo diverse memorie siano rimaste utili.

Le istruzioni di sistema sono durate a lungo: circa 148-189 passi di decodifica (il tempo necessario al robot per generare quella quantità di parole).
Gli appunti dello Scratchpad sono svaniti incredibilmente velocemente: solo 14-16 passi.
I documenti recuperati (come i risultati di una ricerca) sono stati sorprendentemente longevi, durando più degli output degli strumenti o dei messaggi dell'utente, anche se i ricercatori avevano inizialmente pensato che sarebbero svaniti rapidamente.

3. Il problema del "Vecchio Fatto" (La perdita)
Ecco dove MemDecay ha inciampato. Quando il robot doveva ricordare un vecchio messaggio dell'utente o un fatto dell'inizio della conversazione che non era "pinned", MemDecay spesso falliva.

Nel test breve, ha ricordato 0 su 24 di questi vecchi fatti dell'utente.
Nel test lungo, ne ha ricordati solo 5 o 7 su 24.
Nel frattempo, un metodo concorrente che mantiene semplicemente i token "più attentamente seguiti" (chiamato stile H2O) è andato molto meglio, ricordandone 11-20.

Perché è fallito? Il documento spiega che il punteggio di "importanza" derivante dall'attenzione del robot (quanto guardava una parola) era troppo debole per salvare i vecchi fatti. Il "decadimento" (l'orologio di scadenza) scorreva così velocemente per quegli elementi vecchi e non fissati che il segnale di attenzione non riusciva a fermare l'orologio. I ricercatori suggeriscono che semplicemente alzare il volume del segnale di attenzione non è sufficiente; la matematica deve essere aggiustata affinché il segnale di attenzione sia abbastanza forte da competere con il decadimento.

Cosa MemDecay NON è

È importante sapere cosa questo articolo non sostiene:

Non è una soluzione magica per tutto. Ha esplicitamente escluso l'idea che la "recenza" (mantenere le cose più nuove) funzioni per i compiti lunghi degli agenti. I dati mostrano che affidarsi a "ciò che è stato appena detto" fallisce miseramente man mano che la conversazione cresce.
Non è una "svolta" che risolve il problema del richiamo dei vecchi fatti. Il documento ammette che, per i fatti vecchi e non fissati, MemDecay è stato in realtà meno performante dei metodi esistenti basati sull'attenzione in questi test specifici.
Non "impara" nuovi pesi. È "training-free", il che significa che non riaddestra il cervello del robot. Utilizza solo un insieme intelligente di regole e una piccola misurazione per regolare gli orologi di scadenza.

In sintesi

MemDecay è un sistema intelligente basato su regole che organizza la memoria di un robot in base al tipo piuttosto che solo all'età.

Vince in grande nel proteggere le regole e le istruzioni fondamentali del robot, assicurando che non vadano mai perse anche quando la memoria è limitata.
Perde nel ricordare vecchi fatti non fissati, dove viene superato dai metodi che seguono semplicemente l'attenzione del robot.

I ricercatori hanno misurato questi risultati attraverso migliaia di casi di test e hanno scoperto che, sebbene l'approccio "basato sul tipo" sia ottimo per la struttura, necessita di un aggiustamento matematico per evitare di dimenticare le cose vecchie ma utili. È un passo avanti solido per rendere gli agenti robotici a lungo termine più affidabili, ma il lavoro non è ancora finito.

Riepilogo Tecnico: MemDecay

Problematica

I Large Language Models (LLM) sono sempre più impiegati come agenti che eseguono workflow a lungo termine che coinvolgono interazioni multi-turno, uso di strumenti e pianificazione iterativa. A differenza dei compiti statici a lungo contesto, le tracce degli agenti accumulano componenti eterogenee: istruzioni di sistema, vincoli di sicurezza, piani in evoluzione, turni dell'utente, documenti recuperati, output di strumenti e stati di ragionamento intermedi.

La Key-Value (KV) cache necessaria per la decodifica autoregressiva cresce linearmente con questa traccia, creando un carico significativo sulla memoria, sulla banda e sulla latenza. Le attuali politiche di espulsione della cache KV si affidano tipicamente a segnali centrati sul modello (ad esempio, attenzione accumulata, finestre di recenza o attention sink) e applicano regole di ritenzione uniformi su l'intero sequenza. Questo approccio non riesce a sfruttare la struttura semantica dei prompt orchestrati degli agenti. Nei carichi di lavoro degli agenti, diverse componenti hanno ruoli funzionali e durate attese vastamente differenti; ad esempio, le istruzioni di sistema devono persistere durante tutto un episodio, mentre lo scratchpad di ragionamento o gli output obsoleti degli strumenti possono essere rilevanti solo per brevi intervalli. Trattare tutti i token con la stessa durata attesa ignora questa struttura, portando a una gestione della memoria subottimale.

Metodologia: MemDecay

Gli autori propongono MemDecay, un framework di espulsione della cache KV consapevole delle regioni (region-aware) e privo di addestramento, progettato per agenti LLM a lungo termine. Il metodo opera sotto un budget di cache fisso e integra priorità strutturali provenienti dallo strato di orchestrazione con l'importanza derivata dall'attenzione.

Componenti Core

Etichette di Regione (Region Labels): Lo strato di orchestrazione fornisce etichette di regione per segmenti contigui di prompt (es. system, plan, user, tool_in, tool_out, retrieval, scratchpad).
Punteggio di Ritenzione (Retention Score): A ogni token $i$ $i$ viene assegnato un punteggio di ritenzione $s_i(t)$ $s_{i} (t)$ al tempo $t$ $t$ , calcolato come:
$s_i(t) = b_{r(i)} \exp(-\lambda_{r(i)} \Delta t_i(t)) + \alpha a_i(t)$
- Priorità Strutturale: $b_{r(i)}$ è una priorità di base specifica per la regione del token.
- Decadimento Temporale: $\lambda_{r(i)}$ è un tasso di decadimento specifico per regione. Il termine $\Delta t_i(t)$ rappresenta il tempo trascorso dall'ultimo "aggiornamento" del token.
- Importanza dell'Attenzione: $a_i(t)$ è una media mobile esponenzialmente ponderata (EWMA) della massa di attenzione ricevuta dal token.
- Meccanismo di Refresh: Se l'attenzione verso un token supera una soglia $\tau$ , il suo orologio di decadimento viene resettato ( $\Delta t_i$ diventa 0), estendendo efficacemente la sua vita in base al continuo utilizzo.
Pinning (Bloccaggio): Le regioni di sistema (e opzionalmente i segmenti di piano) possono essere "bloccate" (pinned), il che significa che non vengono mai espulse indipendentemente dal punteggio.
Politica di Espulsione: La cache è gestita a granularità di pagina (ad esempio, 16 token per pagina). Quando il budget viene superato, le pagine vengono punteggiate in base al punteggio medio di ritenzione dei loro token costituenti. Le pagine con i punteggi più bassi vengono espulse per prime.

Calibrazione

MemDecay è privo di addestramento rispetto ai pesi del modello, ma impiega una calibrazione statistica leggera per adattare i tassi di decadimento ( $\lambda_r$ ) per ogni regione. Questo processo stima le durate dell'attenzione condizionate dalla regione dai trace degli agenti, permettendo al sistema di adattarsi alle caratteristiche specifiche del carico di lavoro senza riaddestrare l'LLM.

Contributi Chiave

Formulazione: Il paper formula l'oblio selettivo consapevole delle regioni come un problema di gestione della memoria per gli agenti LLM, fondando la soluzione nella struttura semantica dei prompt orchestrati.
Algoritmo: Introduce MemDecay, una policy che combina priorità di base specifiche per regione, decadimento temporale e refresh attivato dall'attenzione in un unico punteggio di ritenzione interpretabile. Opera su layout a granularità di pagina compatibili con gli stack di serving esistenti (es. PagedAttention).
Protocollo di Misurazione: Gli autori specificano un protocollo per stimare le durate dell'attenzione condizionate dalla regione e calibrare i tassi di decadimento. Lo eseguono attraverso due lunghezze di contesto (~450 e ~1.700 token) e due dimensioni del modello (Qwen2.5-1.5B e 3B), per un totale di 4.320 probe di espulsione punteggiati.

Risultati Sperimentali

Lo studio valuta MemDecay rispetto a baseline che includono l'espulsione casuale, la ritenzione basata sulla recenza (streaming) e la ritenzione basata sull'attenzione accumulata (stile H2O).

Risultati Chiave

Gerarchia della Durata delle Regioni: Le durate dell'attenzione misurate differiscono di un ordine di grandezza tra le regioni. In tutti i setting, i token system hanno tempi di dimezzamento di 148–189 step di decodifica, mentre i token scratchpad decadono rapidamente (14–16 step). I token Retrieval sono risultati essere la regione mobile più longeva, contraddicendo le assunzioni predefinite che li vedevano decadere rapidamente.
Efficacia del Pinning: Il pinning delle regioni di sistema garantisce la sopravvivenza delle istruzioni. MemDecay ha preservato 21–24 su 24 probe di sistema in tutti i setting al limite massimo della cache, mentre le baseline basate sulla recenza ne hanno preservati 0–2.
Recenza vs Struttura: La ritenzione basata sulla recenza (streaming) collassa all'aumentare della lunghezza del contesto, performando quasi a zero sui tier lunghi. Al contrario, la priorità strutturale di MemDecay rimane efficace.
Attenzione Accumulata: Sul contenuto non bloccato (unpinned), l'attenzione accumulata (stile H2O) si rafforza con la scala del modello, superando MemDecay nel richiamo (recall) di contenuti unpinned nel setting del modello 3B.
Limitazione di MemDecay: MemDecay ha mostrato una specifica perdita nel richiamo di fatti vecchi (ad esempio, fatti della regione utente nel turno iniziale) rispetto alle baseline basate sull'attenzione. Uno studio di ablazione ha rivelato che il termine di attenzione ( $\alpha a_i$ ) era troppo piccolo in magnitudo per contrastare il decadimento strutturale per questi token. Gli autori identificano che il termine di attenzione richiede una normalizzazione della magnitudo (ad esempio, rispetto ai livelli di attenzione uniforme) per essere efficace, piuttosto che un semplice tuning dei pesi.

Significato e Claim

Il paper posiziona MemDecay come una soluzione pratica e priva di addestramento che allinea la ritenzione della cache con la struttura semantica dei workflow degli agenti. La sua importanza risiede in:

Interpretabilità: La policy è guidata da esplicite etichette di regione e tassi di decadimento, rendendo trasparenti le decisioni di ritenzione.
Compatibilità: Opera su cache a granularità di pagina senza richiedere il riaddestramento del modello o moduli ausiliari, integrandosi negli stack di serving esistenti.
Stabilità Garantita: Bloccando le regioni critiche, assicura che le istruzioni di sistema e i vincoli di sicurezza non vadano mai persi a causa della pressione sulla memoria, una garanzia che i metodi basati su attenzione o recenza non forniscono.
Adattabilità: Il protocollo di calibrazione dimostra che le durate delle regioni dipendono dal carico di lavoro e possono essere misurate per ottimizzare i tassi di decadimento, sfidando l'uso di politiche di espulsione statiche e universali.

Gli autori concludono che, sebbene MemDecay riesca a preservare le priorità strutturali e le istruzioni bloccate, il lavoro futuro deve affrontare la normalizzazione della magnitudo del termine di attenzione per migliorare il richiamo dei contenuti non bloccati ed esplorare estensioni a livelli (es. offloading alla memoria host) per gestire l'espulsione irreversibile.