Riepilogo Tecnico: MESA – Selezione di Evidenze Multi-Struttura Adattiva al Task per la Memoria di Agenti a Lungo Orizzonte

1. Formulazione del Problema

Gli agenti a lungo orizzonte accumulano traiettorie composte da centinaia di passaggi intercalati di ragionamento, azione, osservazione e output di strumenti. Rispondere a un quesito spesso richiede il recupero di evidenze sepolte profondamente in questa cronologia. Sebbene i sistemi di memoria esterna trasformino queste cronologie in rappresentazioni strutturate (ad esempio, riassunti, grafi, vector store), gli approcci esistenti affrontano un dilemma fondamentale:

• Fusione a Struttura Fissa: I sistemi che interrogano un set statico ed esaustivo di viste della memoria per ogni query massimizzano il richiamo (recall), ma gonfiano le finestre di contesto con rumore ridondante o distraente, aumentando i costi senza garantire le prestazioni.
• Routing a Struttura Singola: I sistemi che indirizzano ogni query a una singola "migliore" struttura limitano l'espressività, impedendo la composizione di evidenze complementari (ad esempio, combinare riassunti di alto livello con esatti passaggi episodici) necessari per compiti complessi.

Gli autori sostengono che la configurazione di memoria ottimale non sia né una singola struttura né l'unione totale, ma una composizione su misura di più strutture di memoria che varia dinamicamente con lo specifico quesito e le richieste del task. Tuttavia, apprendere una tale politica di selezione è difficile a causa della natura combinatoria dei sottoinsiemi di strutture e della mancanza di etichette di ground-truth per l'utilità per singola struttura (supervisione debole), dove il feedback è disponibile solo a livello della risposta finale.

2. Metodologia: Il Framework MESA

Il paper propone MESA (Multi-structure Evidence Selection for long-horizon Agent), un framework che apprende una politica adattiva alla query per selezionare e fondere un sottoinsieme di strutture di memoria specializzate.

2.1 Costruzione della Memoria Strutturale Multi-Vista

MESA mantiene cinque strutture di memoria indipendenti e complementari per ogni traiettoria $\tau_i$, costruite offline:

1. Riassunto (S): Una memoria di stato compressa che preserva i cambiamenti di stato salienti e le transizioni di sub-goal.
2. Store Temporale (T): Uno store indicizzato per turni che preserva la sequenza cronologica esatta di azioni e osservazioni.
3. Grafo di Conoscenza (G): Un grafo relazionale che cattura le connessioni tra entità e i legami causali attraverso i passaggi.
4. Vector Database (V): Un indice denso a livello di step per il recupero per somiglianza semantica.
5. Episodica Grezza (R): Finestre sovrapposte e non compresse della traiettoria originale per l'evidenza esatta della forma superficiale.

2.2 Selezione Dinamica a Livello di Struttura

Per una data query $q_i$ e un contesto $c_i$, un selettore $S_\rho$ produce un vettore binario non vuoto $z_i \in \{0,1\}^5$, indicando quali strutture accedere. L'evidenza recuperata dalle strutture selezionate viene composta e fornita a un modello di risposta congelato $F$ per generare una risposta. L'obiettivo è apprendere la politica $\rho$ che massimizza l'accuratezza della risposta minimizzando il costo dei token di evidenza.

2.3 Ottimizzazione Harness Guidata da Priorità

Per apprendere $\rho$ sotto supervisione debole (feedback sparso a livello di risposta), MESA impiega una strategia di Ottimizzazione Harness Guidata da Priorità (Prior-Guided Harness Optimization):

• Spazio di Ricerca Restretto: Invece di cercare l'intero spazio delle possibili politiche, l'ottimizzazione è vincolata a un set di direzioni prioritarie ($A$). Queste direzioni definiscono classi di meccanismi per il routing, come l'inferenza della domanda dal tipo di query, la stima del valore del backend o il controllo della costruzione del sottoinsieme (ad esempio, selezione basata sulla cardinalità o sulla complementarità).
• Scheduling Guidato da UCB: Il sistema bilancia esplorazione e sfruttamento utilizzando uno scheduler UCB (Upper Confidence Bound). Ogni direzione prioritaria agisce come un "braccio" di un bandit. Lo scheduler seleziona le direzioni che storicamente hanno prodotto politiche forti (sfruttamento) o quelle che sono state valutate meno frequentemente (esplorazione).
• Raffinamento Iterativo: Un proponente LLM genera candidati di policy eseguibili basati sulla direzione selezionata e sull'analisi dell'errore corrente. Questi candidati vengono testati sulle tracce di addestramento, valutati su un set di validazione, e la migliore policy viene selezionata in base a un obiettivo regolarizzato: $J_{val}(\rho) - \lambda C_{val}(\rho)$, dove $C$ è il costo dei token.

3. Contributi Chiave

1. Formulazione del Problema e Analisi Empirica: Gli autori formalizzano la "selezione dinamica a livello di struttura" e dimostrano, attraverso un'analisi controllata di tutti i sottoinsiemi non vuoti di strutture su AMA-Bench, che:
   • I sottoinsiemi intermedi (combinazioni di 2–4 strutture) tipicamente superano le singole strutture o l'unione totale.
   • Nessuna composizione fissa è universalmente ottimale; il miglior sottoinsieme varia per dominio e capacità.
2. Il Framework MESA: Un framework innovativo che apprende una politica di selezione adattiva alla query partendo da un feedback debole a livello di risposta tramite ottimizzazione harness guidata da priorità e scheduling UCB, senza modificare i costruttori di memoria sottostanti o il modello di risposta.
3. Validazione Empirica: Esperimenti estesi che mostrano la superiorità di MESA rispetto ai migliori baselines sia nei compiti di agenti a lungo orizzonte che nella memoria conversazionale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su AMA-Bench (2.496 domande attraverso 6 domini agentici) e LoCoMo (memoria conversazionale a lungo termine).

• Prestazioni su AMA-Bench: Utilizzando un backbone Qwen3-32B, MESA ha raggiunto un'accuratezza complessiva del 65,1%, superando il baseline più forte (AMA-Agent) dell'8,5% e il lettore a lungo contesto del 12,5%. MESA è stato il top performer in tre delle quattro categorie di capacità di memoria: Recall (69,2%), State Updating (65,8%) e State Abstraction (57,8%). Nella categoria Causal Inference, MESA ha ottenuto il 63,6%, classificandosi secondo dopo AMA-Agent (65,0%).
• Efficienza: MESA ha ottenuto questi guadagni utilizzando il 41% in meno di token di evidenza (11,0k vs 18,7k) rispetto all'alternativa "tutte le strutture", dimostrando che la selezione adattiva riduce rumore e costi.
• Generalizzazione: Su LoCoMo, MESA ha raggiunto un punteggio F1 del 49,0%, superando il baseline specializzato dell'1,8%, provando che il framework si estende oltre le traiettorie degli agenti alla memoria conversazionale.
• Studi di Ablazione:
  • Rimuovere la componente di apprendimento (usando una selezione casuale o zero-shot) ha causato cali significativi di accuratezza.
  • Limitare la selezione a una singola struttura ("Route-to-one") ha ridotto l'accuratezza al 57,0%, confermando la necessità di comporre strutture complementari.
  • Rimuovere la guida delle priorità o lo scheduling UCB ha degradato le prestazioni e la stabilità, evidenziando l'importanza della ricerca strutturata e del bilanciamento dell'esplorazione.

5. Significato e Rivendicazioni

Il paper sostiene che MESA affronti una lacuna critica nei sistemi di memoria per agenti: l'incapacità di adattare dinamicamente le strategie di accesso alla memoria alle esigenze specifiche della query. Dimostrando che sottoinsiemi intermedi e adattivi al task sono superiori alle strategie fisse, il lavoro sposta il paradigma da "più memoria è meglio" a "la giusta composizione di memoria è meglio".

Gli autori sottolineano che MESA raggiunge questi risultati apprendendo una politica di selezione che è esplicita e interpretabile (ad esempio, regole di routing basate su parole chiave apprese durante l'ottimizzazione), piuttosto che un selettore neurale black-box. Il framework offre un compromesso pratico, migliorando sia l'accuratezza che l'efficienza senza richiedere il riaddestramento dei modelli linguistici di grandi dimensioni o delle pipeline di costruzione della memoria. Il paper conclude che il lavoro futuro dovrebbe esplorare l'ottimizzazione congiunta della costruzione e della selezione della memoria, nonché la modellazione più esplicita delle dipendenze tra le strutture.