🤖 AI

SAM: State-Adaptive Memory for Long-Horizon Reasoning Agent

Il documento propone la Memoria Adattiva allo Stato (SAM), un framework autonomo che potenzia il ragionamento agenziale a lungo termine consolidando le storie di interazione in prompt di memoria compatti e orientati all'intento, permettendo agli agenti di ricostruire dinamicamente informazioni distanti senza riaddestrare il modello sottostante, ottenendo prestazioni superiori su una vasta gamma di benchmark.

Autori originali: Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Il Quaderno "Troppo Lungo per Leggere"

Immagina di essere un detective che cerca di risolvere un mistero molto complesso che richiede giorni per essere svelato. Ogni volta che trovi un indizio, parli con un testimone o controlli un documento, lo scrivi in un quaderno gigante.

Con il passare dei giorni, il tuo quaderno diventa enorme—centinaia di pagine. Quando devi prendere una decisione oggi, devi sfogliare tutte quelle pagine per trovare quel minuscolo indizio che hai trovato tre giorni fa.

Il problema attuale: La maggior parte degli agenti AI (programmi informatici che agiscono come esseri umani) cerca di risolvere questo problema in uno dei due modi seguenti:

Buttare via le pagine vecchie: Cancellano l'inizio del quaderno per fare spazio a quelli nuovi. Ma a volte, la risposta era proprio nella parte che hanno buttato via!
Scrivere un riassunto: Cercano di condensare l'intera storia in un breve paragrafo. Ma i riassunti spesso tralasciano i dettagli minuscoli e specifici necessari per risolvere il puzzle in seguito.

La Soluzione: SAM (Memoria Adattiva allo Stato)

Gli autori propongono un nuovo sistema chiamato SAM. Immagina SAM non come un quaderno, ma come un archivio intelligente con un sistema magico di schede indicizzate.

Ecco come funziona, scomposto in tre semplici passaggi:

1. L'"Archiviazione" (Consolidamento)

Invece di mantenere le pagine grezze e disordinate della tua conversazione nel tuo spazio di lavoro immediato, SAM prende un blocco della tua storia recente (diciamo le ultime 50 pagine) e lo archivia in un armadio di stoccaggio.

Le Pagine Grezze: I dettagli effettivi sono mantenuti al sicuro nell'armadio, intatti.
La Scheda Indicizzata: SAM scrive una minuscola, alta qualità "scheda indicizzata" (chiamata segnale di memoria) che riassume cosa è accaduto in quelle 50 pagine. Evidenzia le cose importanti: "Abbiamo trovato un sospetto", "Abbiamo escluso il maggiordomo" o "Siamo bloccati su questo indizio".
Il Risultato: Il tuo spazio di lavoro immediato rimane pulito e leggero, ma hai ancora un elenco di schede indicizzate che ti dicono cosa c'è nell'armadio.

2. La "Ricerca" (Recupero Guidato dall'Intenzione)

Questa è la parte magica. Nei vecchi sistemi, se avevi bisogno di informazioni, potevi semplicemente prendere le pagine più recenti o leggere l'intero riassunto.
Con SAM, l'agente si chiede: "Di cosa ho bisogno ora per risolvere questo problema specifico?"

Se l'agente è bloccato su un indizio riguardante una "macchina rossa", guarda le sue schede indicizzate.
Sceglie la scheda specifica che menziona la macchina rossa.
Chiede all'archivio: "Portami le pagine esatte relative a quella macchina rossa."
Il sistema recupera solo quelle pagine specifiche, le rilegge e fornisce all'agente un riassunto fresco e focalizzato solo su quelle informazioni.

L'Analogia: Immagina di cucinare un pasto complesso. Invece di leggere l'intero libro di cucina di 500 pagine ogni volta che devi sapere come tagliare una cipolla, hai un set di schede indicizzate. Quando devi tagliare una cipolla, estrai la scheda "Cipolla", che ti dice esattamente quali pagine sfogliare nel grande libro per ottenere la ricetta. Non leggi l'intero libro; leggi solo ciò di cui hai bisogno.

3. L'"Addestramento" (Imparare a essere un Bibliotecario Migliore)

Il documento spiega anche come hanno insegnato a questo sistema a essere intelligente. Non hanno semplicemente detto all'AI di "riassumere". L'hanno addestrata in due modi:

Il Maestro Esperto: Hanno utilizzato modelli AI super-intelligenti per mostrare al sistema come scrivere le migliori schede indicizzate possibili e come trovare le pagine giuste.
Il Gioco "Prova e Impara": Hanno lasciato che il sistema giocasse al gioco del detective migliaia di volte. Se il sistema sceglieva la scheda sbagliata o perdeva un indizio, otteneva un "punteggio basso". Se sceglieva la scheda giusta e risolveva il mistero, otteneva un "punteggio alto". Col tempo, ha imparato esattamente come gestire la sua memoria per vincere il gioco.

Perché Questo È Importante (I Risultati)

Gli autori hanno testato SAM su quattro difficili compiti a "lungo orizzonte" (come cercare fatti complessi sul web o risolvere enigmi scientifici).

L'Esito: SAM ha costantemente battuto altri metodi.
La Ragione: Non ha semplicemente buttato via le vecchie informazioni, né le ha semplicemente riassunte. Ha mantenuto i dati grezzi al sicuro e ha creato un modo intelligente per recuperare esattamente ciò che era necessario in base alla situazione attuale.
L'Analogia: È come la differenza tra uno studente che memorizza un libro di testo (e dimentica i dettagli) e uno studente che ha un sistema di biblioteca perfetto dove può trovare istantaneamente il paragrafo esatto di cui ha bisogno per rispondere a una domanda specifica.

Riepilogo

SAM è un nuovo modo per l'AI di gestire conversazioni lunghe. Invece di cercare di ricordare tutto contemporaneamente o di dimenticare il passato, organizza la storia in un sistema di archiviazione. Mantiene i dettagli grezzi al sicuro e utilizza schede indicizzate intelligenti per richiamare solo le informazioni specifiche necessarie per la decisione corrente. Questo permette all'AI di risolvere problemi molto più difficili e lunghi senza confondersi o perdere di vista gli indizi.

Riepilogo Tecnico: Memoria Adattiva allo Stato (SAM) per Agenti di Ragionamento a Lungo Orizzonte

Enunciato del Problema

Il ragionamento agenziale a lungo orizzonte richiede che i Modelli Linguistici di Grande Dimensione (LLM) operino su storie di interazione estese contenenti pensieri, chiamate agli strumenti, osservazioni e conclusioni parziali intercalati. La sfida principale non risiede meramente nell'aumento della lunghezza di queste storie, ma nel fatto che le informazioni critiche per una decisione corrente possono essere disperse su passaggi distanti e diventare rilevanti solo più tardi nella traiettoria.

Le strategie esistenti di gestione del contesto — come l'accorciamento della storia, la sua compressione in riassunti o il recupero di parti selezionate — spesso falliscono in questi scenari. Questi metodi si basano tipicamente sulla recenza o su finestre a dimensione fissa, che sono insufficienti quando le informazioni utili sono distribuite su passaggi non adiacenti e la loro importanza diventa evidente solo mentre il compito si svolge. L'articolo sostiene che la difficoltà fondamentale risiede nell'organizzare le traiettorie passate in modo che le informazioni giuste rimangano accessibili allo stato decisionale corrente dell'agente, piuttosto che semplicemente mantenere l'intero passato in vista o scartarlo in base a un budget statico.

Metodologia: Memoria Adattiva allo Stato (SAM)

Gli autori propongono la Memoria Adattiva allo Stato (SAM), un framework autonomo progettato per trattare il ragionamento a lungo orizzonte come un problema di memoria adattiva allo stato. SAM disaccoppia il motore di ragionamento dell'agente dalla sua gestione della memoria, consentendo al modulo di memoria di essere ottimizzato indipendentemente senza riaddestrare l'agente sottostante.

Architettura Principale

SAM mantiene due visualizzazioni accoppiate della storia di interazione:

Segnali di Memoria Compatti: Riepiloghi leggeri che rimangono visibili nel contesto attivo dell'agente. Questi fungono da maniglie persistenti o punti di ingresso per i progressi passati.
Pagine della Traiettoria Grezza: Registrazioni dettagliate delle interazioni archiviate esternamente, che preservano la piena fedeltà della traiettoria originale.

Il framework opera attraverso un processo di Consolidamento Episodico basato su Pagine e Richiamo Episodico guidato dall'Intenzione:

Consolidamento (Percorso di Scrittura): Man mano che il contesto live dell'agente raggiunge un budget di token predefinito, la traiettoria recente viene partizionata in "pagine" contigue. Un modello di memoria genera un segnale compatto ( $m_k$ ) per ogni pagina, catturando contributi rilevanti per la continuazione (ad esempio, cosa è stato stabilito, cosa è stato escluso, cosa rimane irrisolto). La pagina grezza viene quindi rimossa dal contesto attivo e archiviata esternamente, mentre il segnale viene mantenuto in un archivio di memoria.
Richiamo (Percorso di Lettura): Quando l'agente deve rivisitare il passato, emette una richiesta di richiamo con un'intenzione specifica ( $q_t$ ). L'agente seleziona un sottoinsieme di segnali pertinenti basato sul suo stato corrente. Il modello di memoria ricostruisce quindi le informazioni rilevanti per la decisione dalle pagine grezze corrispondenti, condizionato all'intenzione di richiamo. Ciò consente all'agente di accedere su richiesta a informazioni temporalmente distanti senza riprodurre l'intera storia alla lettera.

Strategia di Ottimizzazione

SAM è ottimizzato come capacità indipendente attraverso un processo in due fasi, mantenendo il motore dell'agente congelato:

Fine-Tuning Supervisionato Guidato da Esperti (SFT): Il modello di memoria (inizializzato come Qwen3.5-9B) viene addestrato su tracce di LLM leader (ad esempio, Claude-4.5-Opus, GPT-5.4) che hanno risolto con successo i compiti. Ciò fornisce target accoppiati sia per il consolidamento (generazione di segnali) sia per il richiamo guidato dall'intenzione (ricostruzione di informazioni).
OAT-GRPO (Tree GRPO Ancorato all'Oracolo): Per allineare il modello di memoria all'utilità a livello di traiettoria, gli autori introducono un obiettivo di apprendimento per rinforzo specializzato.
- Ricompensa per Risultato a Struttura ad Albero: A differenza del GRPO standard che assegna un'unica ricompensa a un'intera esecuzione, OAT-GRPO struttura le esecuzioni come un albero di chiamate di memoria. Dirama ad ogni azione di memoria, consentendo l'assegnazione del credito di essere localizzata a specifiche uscite di memoria basate sul risultato finale del compito.
- Ricompensa di Recuperabilità Ancorata all'Oracolo: Per affrontare la sparsità dei segnali di risultato, viene calcolata una ricompensa "oracolo" utilizzando un comitato di modelli all'avanguardia. Questa ricompensa valuta quanto bene un riepilogo richiamato copre lo spazio target delle informazioni utili (rilevanza, copertura, coerenza) rispetto ai riferimenti degli esperti, densificando il segnale di apprendimento.

Contributi Chiave

L'articolo delinea tre contributi principali:

Formulazione: Riformula la gestione del contesto a lungo orizzonte come un problema di memoria adattiva allo stato, dando priorità all'accesso guidato dalla domanda di informazioni temporalmente distanti rispetto alla semplice compressione basata sulla recenza.
Architettura: Introduce un'architettura di memoria segnale-pagina che disaccoppia il consolidamento leggero in fase di scrittura dalla ricostruzione condizionata all'intenzione in fase di lettura su pagine di traiettoria grezza preservate.
Ricetta di Ottimizzazione: Sviluppa una pipeline di addestramento per modelli di memoria autonomi che combina supervisione guidata da esperti con OAT-GRPO, un obiettivo di RL a livello di azione di memoria che assegna il credito attraverso alberi di chiamate di memoria e ricompense di recuperabilità ancorate all'oracolo.

Risultati Sperimentali

SAM è stato valutato su quattro benchmark di agenti a lungo orizzonte: BrowseComp, BrowseComp-ZH, WideSearch e HLE. Gli esperimenti hanno utilizzato motori di agenti diversificati, inclusi modelli proprietari (GLM-4.7) e open-source (Qwen3.5-35B-A3B).

Prestazioni: SAM ha costantemente superato basi solide, incluse strategie di gestione del contesto euristico (scartare strumenti, mantenere gli ultimi $k$ passaggi, riepiloghi rotanti) e sistemi di agenti open-source esistenti (WebThinker, WebSailor, ReSum, ecc.).
Generalizzazione: Un singolo modello di memoria Qwen3.5-9B, addestrato una volta, ha ottenuto i punteggi migliori su tutte le combinazioni motore-benchmark, dimostrando che il meccanismo di memoria è robusto e generalizzabile piuttosto che dipendente da accoppiamenti specifici motore-benchmark.
Studi di Ablazione:
- Sia la fase SFT che quella OAT-GRPO sono state trovate complementari; la rimozione di una delle due ha comportato cali di prestazioni.
- I guadagni sono stati attribuiti principalmente al richiamo guidato dall'intenzione piuttosto che al solo consolidamento. Le varianti che utilizzavano solo riepiloghi o recupero basato sulla recenza hanno ottenuto risultati significativamente peggiori.
- SAM ha mantenuto il proprio vantaggio anche all'aumentare dei round di interazione (ad esempio, oltre 80 round), dove i metodi basati su riepiloghi hanno iniziato a perdere lo stato utile.

Significato e Affermazioni

L'articolo afferma che la modellazione esplicita della memoria fornisce una base semplice ed efficace per il ragionamento agenziale a lungo orizzonte. Trattando la memoria come una capacità esterna e riutilizzabile che consolida le interazioni in voci navigabili preservando al contempo i dati grezzi per la ricostruzione, SAM consente agli agenti di recuperare informazioni da stadi arbitrari della loro traiettoria senza riaddestrare il motore sottostante.

Gli autori posizionano SAM non come un sostituto della politica di ragionamento dell'agente, ma come un componente modulare che trasforma la storia a lungo orizzonte da un onere passivo in uno spazio di memoria navigabile. I risultati suggeriscono che la capacità di accedere alle informazioni passate giuste per lo stato decisionale corrente è un fattore critico, ma spesso trascurato, nel scalare il ragionamento agenziale. Il lavoro è presentato come un passo verso sistemi di memoria modulari per agenti sempre più capaci, con il codice reso disponibile per ulteriori ricerche.