🤖 AI

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem è un framework a ciclo chiuso che ottimizza simultaneamente le politiche di recupero e l'evoluzione della memoria attraverso aggiornamenti alternati e feedback condizionato dalla traiettoria, raggiungendo prestazioni allo stato dell'arte attraverso diversi benchmark affrontando la fondamentale interdipendenza tra l'accesso alla memoria e il raffinamento nei modelli linguistici di grandi dimensioni (LLM) agenti a lungo termine.

Autori originali: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Pubblicato 2026-08-04

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot brillante ma dimenticone a giocare a un videogioco complesso. Il robot ha un cervello enorme (un Large Language Model) che sa parlare e pensare, ma può contenere solo una piccolissima quantità di informazioni nella sua "memoria di lavoro" alla volta: come cercare di risolvere un puzzle vedendo solo gli ultimi tre pezzi. Per giocare bene nel lungo periodo, il robot ha bisogno di una biblioteca di esperienze passate da consultare. È qui che entra in gioco la Generazione Aumentata dal Recupero (RAG): è come se il robot chiedesse al bibliotecario: "Ehi, abbiamo già visto un puzzle come questo in passato?"

Ma ecco la parte complicata: il robot ha bisogno di due cose per funzionare perfettamente. Primo, ha bisogno di un Bibliotecario (la politica di recupero) che sia davvero bravo a trovare i vecchi appunti giusti per la domanda attuale. Secondo, ha bisogno di un Prenditore di Appunti (il banco di memoria) che sia bravo a organizzare quegli appunti, decidendo quali siano effettivamente utili e aggiornandoli man mano che il gioco diventa più difficile. Per molto tempo, gli scienziati hanno cercato di rendere il Bibliotecario più intelligente mantenendo il Prenditore di Appunti statico, oppure hanno cercato di rendere il Prenditore di Appunti migliore mantenendo lo stesso Bibliotecario. E se il Bibliotecario avesse bisogno di sapere come sono organizzati gli appunti per trovarli, e il Prenditore di Appunti avesse bisogno di sapere cosa sta cercando il Bibliotecario per organizzarli meglio? Devono imparare insieme, in un ciclo.

Questo è esattamente ciò che esplora il paper CoEvo-Mem. Gli autori propongono un sistema in cui il "Bibliotecario" e il "Prenditore di Appunti" evolvono insieme, insegnandosi costantemente come fare meglio il proprio lavoro. Hanno testato questa idea su sette diversi tipi di compiti impegnativi, che spaziano dalla scrittura di codice informatico alla risoluzione di domande scientifiche, fino al controllo del sistema operativo di un computer. I risultati suggeriscono che quando queste due parti imparano in sincronia, il robot diventa significativamente più bravo a risolvere problemi lunghi e complessi rispetto a quando imparano separatamente.

Il Problema: Il Ciclo di Feedback Interrotto

Immagina di studiare per un esame di storia enorme. Hai una pila di flashcard (la tua memoria) e una guida allo studio (la tua politica di recupero). Se la tua guida allo studio è scarsa, potresti scegliere le flashcard sbagliate da ripassare. Ma se i tuoi appunti sono disordinati e disorganizzati, anche una buona guida allo studio potrebbe faticare a trovare quello giusto.

Nel mondo degli agenti AI, i metodi esistenti di solito risolvono un lato del problema ignorando l'altro. Alcuni metodi cercano di rendere l'AI più brava a chiedere le memorie (recupero), mentre altri cercano di rendere l'AI più brava a memorizzare e organizzare le memorie (evoluzione). Gli autori di questo paper sostengono che questa separazione sia un errore. Evidenziano un "ciclo di feedback fondamentale" che veniva ignorato:

Il recupero decide cosa viene usato: Se l'AI sceglie le memorie sbagliate, quelle memorie non ricevono alcun "credito" per aver aiutato (o danneggiato) il compito.
Gli aggiornamenti della memoria cambiano il futuro: Se l'AI aggiorna le sue memorie in base a ciò che è accaduto, il modo in cui quelle memorie sono organizzate cambia, il che rende più facile o più difficile trovarle la volta successiva.

Se si corregge solo il metodo di recupero senza lasciare che la memoria cambi, o viceversa, si perde l'opportunità per entrambi di migliorare insieme. È come cercare di accordare una chitarra mentre le corde cambiano costantemente spessore; non puoi ottenere un suono perfetto a meno che non regoli entrambi contemporaneamente.

La Soluzione: CoEvo-Mem

Gli autori hanno costruito un framework chiamato CoEvo-Mem (Co-Evolving Memory). Pensatelo come una danza tra due partner: il Router (il Bibliotecario) e il Banco di Memoria (il Prenditore di Appunti).

Ecco come funziona la danza:

1. Il Cervello Congelato e lo Smart Router
Il "cervello" principale dell'AI (il Large Language Model) rimane congelato: non impara nulla di nuovo. Inveve, il sistema utilizza un "Router" minuscolo e leggero per decidere come chiedere aiuto.

Quando arriva una domanda, il cervello congelato suggerisce alcuni modi per riscrivere la domanda (alcuni focalizzati sul significato, altri su parole chiave specifiche).
Il Router impara quindi a perfezionare questi suggerimenti in base al fatto che l'AI abbia ottenuto la risposta corretta o meno. È come un coach che sussurra: "Prova a chiederlo in questo modo la prossima volta", basandosi sull'esito del gioco.

2. Il Banco di Memoria come una Mappa Vivente
Le memorie non sono solo un elenco di note; sono un Grafo Relazionale. Immaginate una mappa dove ogni memoria è una città e le strade tra di esse mostrano come sono correlate.

Strade dense collegano memorie che hanno lo stesso significato (semantiche).
Strade scarse collegano memorie che condividono parole o nomi specifici (lessicali).
Strade temporali collegano memorie che sono avvenute in una sequenza (temporali).

Quando l'AI risolve un compito, non salva solo la risposta. Aggiorna il "valore" delle città che ha visitato. Se una memoria ha aiutato l'AI a vincere, quella città riceve un punteggio più alto. Se ha aiutato, ma solo un po', il punteggio sale leggermente. Fondamentalmente, questo credito non resta solo con quella singola memoria; si propaga lungo le strade verso le città vicine, aiutando l'intero quartiere a diventare più intelligente.

3. La Danza Alternata (Il Tocco Segreto)
Potreste pensare: "Perché non aggiornare il Router e la Memoria esattamente nello stesso momento?". Gli autori hanno scoperto che questo causa il caos. Se entrambi cambiano contemporaneamente, è come cercare di imparare ad andare in bicicletta mentre la bicicletta stessa sta cambiando forma. Il sistema si confonde e diventa instabile.

Inveve, CoEvo-Mem utilizza un programma alternato:

Fase 1: Il Banco di Memoria è congelato (bloccato in posizione). Il Router si esercita a trovare le migliori memorie usando questa mappa fissa.
Fase 2: Il Router è congelato (bloccato in posizione). Il Banco di Memoria aggiorna la sua organizzazione e i suoi valori in base a ciò che il Router ha appena trovato.
Si alternano continuamente. Questo permette a ciascun partner di imparare dallo stato attuale dell'altro senza la confusione di cambiare entrambi simultaneamente.

Cosa Hanno Scoperto

Il team ha testato CoEivo-Mem su sette sfide molto diverse:

Interazione con il Sistema Operativo: Controllare un computer per eseguire compiti.
Generazione di Codice: Scrivere programmi informatici funzionanti.
Ragionamento Multimodale: Risolvere enigmi che coinvolgono sia testo che immagini.
Domande Scientifiche: Rispondere a domande difficili su fisica, chimica e biologia.
Chiamata di Funzioni (Function Calling): Insegnare all'AI a usare strumenti e API correttamente.
Conversazione a Lungo Termine: Ricordare dettagli da chat prolungate.

In ognuno di questi test, CoEvo-Mem ha performato meglio dei migliori metodi esistenti.

Sul GPQA Diamond (domande scientifiche difficili), ha migliorato il punteggio di 7,50 punti percentuali rispetto alla baseline più forte.
Su LiveCodeBench (coding), è migliorato di 3,81 punti percentuali.
Sulla Memoria Conversazionale a Lungo Termine (LoCoMo), ha raggiunto un punteggio di 81,71, superando il metodo successivo di quasi 5 punti.

Gli autori hanno anche eseguito "studi di ablazione" (esperimenti in cui hanno rimosso parti del sistema) per dimostrare perché funzionasse.

Quando hanno rimosso la riscrittura della query (la parte che cambia il modo in cui la domanda viene posta), le prestazioni sono scese significativamente.
Quando hanno rimosso l'evoluzione della memoria (la parte che aggiorna il grafo e i valori), le prestazioni sono calate, specialmente in compiti complessi come il coding e la scienza.
Quando hanno provato ad aggiornare sia il Router che la Memoria contemporaneamente (inveve di alternarli), il sistema è stato peggiore rispetto al metodo alternato.

La Conclusione

Il paper suggerisce che, affinché gli agenti AI possano davvero padroneggiare compiti a lungo termine, non possiamo limitarci a costruire un motore di ricerca migliore o un database migliore. Dobbiamo costruire un sistema in cui il motore di ricerca e il database imparino ad adattarsi l'uno all'altro. Lasciando che il "Bibliotecario" e il "Prenditore di Appunti" si alternino nel imparare mentre l'altro resta fermo, CoEvo-Mem crea un ciclo stabile e in miglioramento che aiuta gli agenti AI a ricordare meglio, pensare con più chiarezza e risolvere problemi più difficili.

Gli autori sottolineano con cura che, sebbene i risultati siano solidi in questi sette benchmark, questo è un framework specifico per la co-evoluzione. Non affermano di aver risolto ogni problema dell'IA, ma dimostrano che questo modo specifico di collegare recupero e memoria è un passo potente verso la creazione di agenti capaci di apprendere e adattarsi nel tempo.

Riepilogo Tecnico: CoEvo-Mem

Problematica

Gli agenti basati su Large Language Models (LLM) a lungo termine affrontano una sfida critica: man mano che le interazioni si accumulano attraverso task e sessioni, la conservazione di tutte le informazioni storiche all'interno di una singola finestra di contesto diventa inefficiente e spesso impraticabile. Gli agenti efficaci richiedono meccanismi di memoria per preservare l'esperienza utile e recuperarla quando pertinente. Tuttavia, gli approcci esistenti tipicamente ottimizzano l'accesso alla memoria (recupero) e l'evoluzione della memoria (archiviazione/raffinamento) in modo isolato.

I metodi focalizzati sul recupero (ad es., RAG, riformulazione delle query) ottimizzano il modo in cui si accede a una collezione fissa o mantenuta indipendentemente, ma non adattano la collezione stessa in base all'utilizzo.
I metodi focalizzati sulla memoria (ad es., evoluzione basata sul valore, grafi strutturati) migliorano il modo in cui le esperienze vengono aggiornate o organizzate, ma spesso si affidano a policy di recupero predefinite o ottimizzate separatamente.

Questa separazione trascura un feedback loop fondamentale: le decisioni di recupero determinano quali memorie ricevono segnali di utilizzo e credito, mentre gli aggiornamenti alla banca della memoria (valori e relazioni) rimodellano il panorama per il recupero futuro. Ottimizzare una componente rispetto a un contrappeso permanentemente fisso porta a un disallineamento con lo stato evolutivo dell'altro.

Metodologia: CoEvo-Mem

CoEvo-Mem è un framework a ciclo chiuso progettato per far co-evolvere la policy di recupero e la banca della memoria attraverso il feedback di interazione. Il framework mantiene un LLM di risposta congelato ( $F_{ans}$ ) e si concentra sull'apprendimento di una policy di recupero leggera e di un grafo di memoria relazionale tipizzato e persistente.

1. Componenti Core

LLM Congelato e Riscrittura della Query Specializzata per Rotta (SR-QR): Per ogni query, un LLM congelato genera riscritture della query specifiche per la rotta (dense per l'intento semantico, sparse per indizi lessicali esatti) e un prior di routing iniziale.
Router Residuo Guidato dal Prior: Un modulo addestramente leggero apprende una correzione residua del prior di routing iniziale dell'LLM. Produce pesi di fusione ( $w_t$ ) che controllano un recuperatore ibrido.
Recuperatore Ibrido Pesato da Q: Questo recuperatore integra la similarità densa, il matching sparso (BM25) e l'utilità della memoria appresa. Utilizza la Weighted Reciprocal Rank Fusion (WRRF) per combinare i ranking da diverse riscritture e rotte, pesati dall'output del router.
Grafo di Memoria Relazionale Tipizzato: Le memorie sono memorizzate come nodi in un grafo contenente contenuto, descrizioni, parole chiave e metadati temporali. Gli archi codificano relazioni semantiche (dense), lessicali (sparse) e temporali. Ogni nodo possiede un valore di utilità appreso ( $Q_t(m)$ ) che rappresenta la sua utilità di recupero a valle scontata.

2. Il Meccanismo di Co-Evoluzione

Il framework affronta la non-stazionarietà causata dalla mutua dipendenza tra recupero ed evoluzione della memoria attraverso fasi di addestramento alternate:

Fase del Router: Il grafo della memoria è fisso (sola lettura). Il router viene aggiornato utilizzando una policy di gradiente basata sul reward (stimatore della funzione di score) basata sugli esiti dei task. Il router esplora miscele continue di rotte di recupero dense e sparse.
Fase della Memoria: Il router è congelato (utilizzando la sua policy media deterministica). Il grafo della memoria evolve sequenzialmente. Nuove memorie vengono distillate dalle traiettorie di interazione e i valori di utilità vengono aggiornati tramite un meccanismo di tipo Temporal Difference (TD).
- Aggiornamento dell'Utilità: $Q_t(m)$ viene aggiornato in base al reward immediato del task, all'utilità attribuita alla memoria e a un termine di bootstrap proveniente dalle esperienze appena distillate.
- Propagazione del Credito Relazionale: Il feedback si propaga alle memorie correlate (vicini semantici, lessicali o temporali) in base alla forza del percorso e ai fattori di attenuazione specifici per relazione.

3. Obiettivo di Addestramento

Il sistema ottimizza il reward atteso del task $J_{tr}$ sulle traiettorie indotte dal router, dal grafo in evoluzione e dallo schema delle fasi. Alternando gli aggiornamenti, ogni componente si adatta all'ultimo stato dell'altra senza l'instabilità di un'ottimizzazione congiunta simultanea.

Contributi Chiave

Identificazione di un Feedback Loop: Il paper identifica e formalizza l'esplorato feedback loop tra il recupero e l'evoluzione della memoria negli agenti LLM a lungo termine, dove il recupero determina l'assegnazione del credito e gli aggiornamenti della memoria rimodellano il recupero futuro.
Framework CoEvo-Mem: Un nuovo framework che coordina l'adattamento della policy di recupero con l'evoluzione della memoria relazionale mantenendo congelato l'LLM di risposta. Caratteristiche chiave includono:
- Riscrittura della query specializzata per rotta e adattamento residuo di un prior di routing dell'LLM.
- Aggiornamenti della memoria che propagano il feedback attraverso relazioni semantiche, lessicali e temporali.
- Uno schema di addestramento alternato per mitigare la non-stazionarietà.
Validazione Empirica: Esperimenti estesi su sette benchmark diversi (che coprono sei configurazioni di valutazione, poiché BFCL include sia configurazioni "non-thinking" che "thinking") dimostrano che CoEvo-Mem raggiunge le prestazioni state-of-the-art, validando l'importanza dell'ottimizzazione congiunta.

Risultati Sperimentali

CoEvo-Mem è stato valutato su sette benchmark che spaziano dall'interazione con i sistemi operativi (LLAB), generazione di codice (LiveCodeBench), ragionamento multimodale (MMMU Pro), QA scientifico (GPQA Diamond), function calling (BFCL) e memoria conversazionale a lungo termine (LoCoMo, LongMemEval).

Performance: CoEvo-Mem ha ottenuto il punteggio medio più alto in tutte le sei configurazioni valutate (LLAB, LiveCodeBench, MMMU Pro, GPQA Diamond, BFCL non-thinking e BFCL thinking). Rispetto al baseline più forte in ogni riga, il miglioramento medio è stato di 3,72 punti percentuali, con guadagni individuali compresi tra 1,06 e 7,50 punti.
- Sono stati osservati guadagni notevoli in GPQA Diamond (+7,50) e BFCL non-thinking (+6,33).
Studi di Ablazione:
- Rimuovere SR-QR (riscrittura specifica per rotta) ha ridotto le prestazioni di 4,24 punti in media, evidenziando l'importanza della riformulazione della query.
- Rimuovere l'Evoluzione della Memoria (aggiornamenti relazionali) ha ridotto le prestazioni di 4,80 punti, confermando che le relazioni tipizzate e la propagazione del valore migliorano il riutilizzo della memoria oltre gli aggiornamenti indipendenti a livello di singolo elemento.
- La Co-Adattazione Alternata ha superato sia gli aggiornamenti simultanei che l'addestramento in due fasi, dimostrando la necessità dello schema alternato per gestire la non-stazionarietà.
Trasferibilità: Nei protocolli a memoria fissa (LoLoMo-MC, LongMemEval-MC), CoEvo-Mem ha ottenuto risultati solidi, e quando il backbone di risposta è stato cambiato in GPT-4 senza riaddestrare il sistema di memoria, le prestazioni sono aumentate significativamente, indicando che l'interfaccia di recupero appresa si trasferisce bene tra i backbone.

Significato e Rivendicazioni

Il paper sostiene che CoEvo-Mem faccia avanzare lo stato dell'arte dimostrando che l'accesso al recupero e l'evoluzione della memoria si rinforzano a vicenda e devono essere ottimizzati congiuntamente. Gli autori sostengono che:

L'Adattamento Congiunto è Critico: Isolare l'ottimizzazione del recupero o della memoria impedisce alla componente fissa di adattarsi ai cambiamenti indotti dall'altra, limitando le prestazioni complessive dell'agente.
Feedback Loop Strutturati: Modellando esplicitamente il feedback loop dove il recupero determina l'assegnazione del credito e gli aggiornamenti della memoria guidano il recupero futuro, gli agenti possono sostenere miglioramenti su lunghi orizzonti temporali.
Generalizzabilità: Il successo del framework attraverso compiti eterogenei (dalla generazione di codice al ragionamento scientifico) suggerisce che la co-adattazione del routing del recupero e dell'evoluzione della memoria è una strategia generalizzabile per gli agenti LLM a lungo termine.

Gli autori concludono che il lavoro futuro dovrebbe esplorare la condivisione della memoria tra multi-agenti e le garanzie teoriche per l'ottimizzazione accoppiata di recupero-memoria, ma l'attuale lavoro stabilisce le fondamenta empiriche per questo approccio co-evolutivo.