Sintesi Tecnica: Rosetta Memory (RoMem)

1. Definizione del Problema: Disallineamento della Memoria Cross-LLM

Il documento affronta una lacuna critica nell'implementazione di agenti basati su Large Language Models (LLM): l'assunto che i sistemi di memoria siano progettati per un singolo backbone statico. Nella pratica, gli agenti passano frequentemente tra diversi LLM (ad esempio, utilizzando Claude per la programmazione e GPT per la scrittura, o instradando i passaggi a modelli diversi per l'efficienza dei costi). Gli autori identificano che la memoria scritta da un modello spesso non viene consumata efficacemente da un altro a causa di due fonti primarie di disallineamento:

1. Divergenza lato Scrittura (Write-Side Divergence): Diversi LLM sorgente, dati lo stesso stato, producono azioni differenti e quindi memorizzano contenuti diversi.
2. Sensibilità lato Lettura (Read-Side Sensitivity): Anche voci di memoria semanticamente equivalenti possono portare a risultati differenti dell'agente quando lette da diversi LLM target, a causa delle variazioni nella sensibilità ai prompt e nell'interpretazione del contesto.

Gli autori formalizzano il Problema di Adattamento della Memoria Cross-LLM: come può il sistema di memoria di un agente adattarsi affinché la memoria scritta da un LLM a monte attivi efficacemente un LLM a valle, indipendentemente dai modelli specifici coinvolti nella traiettoria? L'obiettivo è massimizzare il rendimento atteso attraverso tutte le possibili assegnazioni di modelli in un pool eterogeneo, piuttosto che ottimizzare per un singolo backbone fisso.

2. Metodologia: Rosetta Memory (RoMem)

RoMem sposta la prospettiva da "progettazione della memoria centrata sull'LLM" a "adattamento dell'LLM centrato sulla memoria". Tratta la memoria come un'interfaccia trasferibile tra scrittori a monte e lettori a valle.

Architettura Core

Il sistema introduce due operatori apprendibili e consapevoli dell'LLM (LLM-aware):

• Operatore di Scrittura ($f_{write}$): Prende l'identificatore (profilo) dell'LLM sorgente, l'osservazione e l'azione, e produce una voce di memoria distillata e normalizzata.
• Operatore di Lettura ($f_{read}$): Prende l'identificatore (profilo) dell'LLM target, l'osservazione corrente e la banca di memoria, e produce un contesto pronto per il prompt, adattato per il lettore specifico.

Condizionamento del Profilo

Per gestire modelli diversi senza il fine-tuning degli operatori per ogni specifico modello, RoMem utilizza embedding di profilo. Ogni LLM è associato a un record di profilo leggero (ID del modello, descrizione testuale, metadati come backend, famiglia, scala). Una funzione di mappatura apprendibile $g$ converte questi profili in vettori continui (token di prefisso soft) che condizionano sia $f_{write}$ che $f_{read}$. Ciò consente agli operatori di generalizzare a LLM non visti comprendendo il loro "stile" e le loro capacità.

Strategia di Addestramento

Gli operatori sono addestrati utilizzando un ciclo di Iterazione dell'Esperto con due innovazioni specifiche per garantire la robustezza attraverso il pool eterogeneo di modelli:

1. Ricompensa del Guadagno Controfattuale (Counterfactual Gain Reward): Per isolare il contributo degli operatori appresi dalla capacità intrinseca degli LLM, il sistema calcola un divario di performance ($\Delta R$). Questo è la differenza tra il rendimento ottenuto con gli operatori appresi e un baseline ingenuo (concatenazione della memoria grezza). Ciò assicura che il modello impari a migliorare le prestazioni specificamente attraverso l'adattamento, non solo sfruttando un forte backbone.
2. Curriculum di Campionamento del Guadagno Minimo (Minimum-Gain Sampling Curriculum): Durante l'addestramento, il sistema dà priorità agli LLM "sottoserviti"—quelli con il minor guadagno controfattuale. La probabilità di campionamento per un modello al passo $t$ è orientata verso i modelli con basso $\Delta R$ ed è anche diversificata dalla distanza di embedding per garantire la diversità comportamentale all'interno di una singola traiettoria. Ciò evita che il modello si sovra-adatti a coppie ad alte prestazioni e garantisce la copertura per combinazioni di modelli difficili.

3. Contributi Chiave

1. Formalizzazione del Problema: Il documento dimostra empiricamente (tramite studi pilota su HotpotQA, 2WikiMultihopQA e MuSiQue) che il disallineamento della memoria è un problema significativo nei contesti cross-LLM e definisce formalmente il problema di adattamento della memoria cross-LLM.
2. Rosetta Memory (RoMem): Un framework innovativo che apprende congiuntamente operatori di scrittura e lettura condizionati dal profilo per adattare la memoria per agenti eterogenei.
3. Innovazioni nell'Addestramento: L'introduzione di un curriculum di campionamento del guadagno minimo per migliorare la copertura delle coppie di modelli con scarse prestazioni e di una ricompensa del divario di performance per disaccoppiare l'utilità dell'operatore dalla forza del backbone.
4. Validazione Empirica: Esperimenti estesi che mostrano come RoMem superi i baseline privi di memoria (CoT, Self-Ask), i baseline a buffer grezzo (Step-Accumulate) e i baseline di memoria strutturata (Mem0, Memento).

4. Risultati Sperimentali

Gli autori hanno valutato RoMem su tre dataset di multi-hop QA: HotpotQA, 2WikiMultihopQA e MuSiQue.

• Prestazioni Complessive: RoMem ha costantemente raggiunto i punteggi più alti in Exact Match (EM), F1 e accuratezza semantica (AccLLM) in tutti i dataset. Notevolmente, sul difficile dataset MuSiQue, ha mostrato margini netti in F1 e AccLLM, suggerendo una preservazione efficace delle prove parziali attraverso catene complesse.
• Studi di Ablazione: Rimuovere il condizionamento del profilo o l'operatore di scrittura ha degradato significativamente le prestazioni, confermando che sia l'adattamento del contenuto della memoria che l'adattamento della presentazione al modello target sono necessari.
• Generalizzazione a Modelli Non Visti: Quando testato su sei LLM tenuti fuori (es. gpt-5-mini, deepseek-reasoner) non visti durante l'addestramento, RoMem ha mantenuto prestazioni robuste, spesso superando i baseline anche all'aumentare del numero di modelli non visti nella traiettoria.
• Campionamento del Guadagno Minimo: L'analisi di sensibilità ha mostrato che un riponderamento moderato (es. $\eta \approx 1.2$ a $1.6$) migliora le prestazioni, mentre un riponderamento eccessivamente forte può essere dannoso.
• Analisi Qualitativa: Le ispezioni hanno rivelato che l'operatore di scrittura rimuove con successo l'incertezza del modello sorgente e le istruzioni di ricerca, mentre l'operatore di lettura adatta l'ordine e l'esplicitezza dei fatti per corrispondere alle preferenze del modello target (es. formato tabella per Gemini vs. chain-of-thought per Claude).

5. Significato e Rivendicazioni

Il documento afferma che memorizzare le prove è insufficiente; la memoria deve essere scritta e letta in una forma adattata allo specifico LLM che la consuma. Trattando la memoria come un'interfaccia trasferibile, RoMem consente agli agenti LLM eterogenei di condividere efficacemente la memoria dell'episodio, riducendo la necessità di calcoli ridondanti e migliorando la robustezza quando i modelli vengono scambiati a causa di vincoli di costo, latenza o disponibilità.

Gli autori pongono questo lavoro come un "primo passo" verso l'adattamento centrato sulla memoria. Riconoscono i limiti, notando che la loro valutazione è limitata a episodi controllati di multi-hop QA con catene di evidenza fisse e non copre ancora la navigazione web open-ended o la pianificazione a lungo termine. Avvertono inoltre che le interfacce di memoria apprese potrebbero potenzialmente propagare bias o errori se non monitorate attentamente, suggerendo la necessità di minimizzazione dei dati e ispezione umana nelle implementazioni ad alto rischio.