🤖 machine learning

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

Il documento introduce MEMENTO, un framework memetico guidato dalla memoria che evolve codice eseguibile come policy per compiti robotici a lungo termine combinando la generazione guidata da LLM con il feedback strutturato di un valutatore evoluto, ottenendo prestazioni superiori e un trasferimento sim-to-real rispetto ai baseline esistenti.

Autori originali: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Pubblicato 2026-07-28

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot un compito complesso, come costruire una torre di blocchi o preparare un sandwich. Non si tratta solo di premere un singolo pulsante; è una lunga sequenza di passi dove ogni mossa dipende da quella precedente. Se il robot afferra il blocco sbagliato o apre la porta sbagliata, l'intero piano va in fumo. Questo è il mondo dell' "IA incarnata" (embodied AI), dove il software incontra il mondo fisico, caotico e disordinato. La grande sfida qui è il "problema dell'assegnazione del credito" (credit assignment problem): quando il robot fallisce alla fine di un lungo compito, come fai a sapere quale specifico passaggio è andato storto? È stata la prima mossa o la decima?

Per risolvere questo problema, i ricercatori stanno provando un trucco astuto chiamato "code-as-policy" (codice come politica). Invece di addestrare un robot con istruzioni vaghe o premi basati su tentativi ed errori, scrivono il cervello del robot come vero e proprio codice informatico. È come dare al robot un libro di ricette invece di una semplice sensazione. Se la ricetta fallisce, puoi leggerla, vedere esattamente quale istruzione era confusa e riscriverla. Ma scrivere queste ricette a mano è difficile, e indovinare il codice giusto è ancora più difficile. È qui che entrano in gioco i Large Language Models (LLM) — gli stessi cervelli IA che scrivono saggi e chiacchierano con noi — che possono generare codice, ma spesso hanno bisogno di aiuto per capire perché un pezzo di codice è fallito, in modo da poterlo correggere correttamente.

Questa è la storia di un nuovo metodo chiamato MEMENTO, che agisce come un editor super intelligente e dotato di memoria per il codice dei robot. I ricercatori volevano vedere se potevano far evolvere migliori ricette per robot lasciando che un'IA le scrivesse, le testasse e poi utilizzasse una "memoria" speciale per ricordare cosa non aveva funzionato, in modo da non ripetere gli stessi errori. Lo hanno testato su due giochi complicati: uno in cui un braccio robotico deve risolvere un puzzle Tower of Hanoi (spostando blocchi senza violare le regole) e un altro in cui un robot deve navigare in una casa virtuale per preparare uno spuntino.

Ecco come funziona MEMENTO e cosa ha scoperto il team.

Il problema del "Indovina ed Erra"

Immagina di dover scrivere un programma per risolvere un puzzle. Chiedi a un'IA di scrivere il codice. Scrive qualcosa, lo esegui e fallisce. Se chiedi semplicemente all'IA di "riprovare" con un'idea nuova e casuale, potresti ottenere un errore leggermente diverso, ma non stai imparando davvero nulla. È come cercare di trovare una chiave nascosta in un campo enorme lanciando freccette bendati.

I metodi precedenti cercavano di risolvere questo problema generando molte versioni diverse del codice tutte in una volta e scegliendo la migliore. Ma i ricercatori hanno scoperto che questo approccio spesso mancava il bersaglio. Era come avere cento persone che suggeriscono modi diversi per riparare un tubo che perde, ma nessuna di loro guarda effettivamente il punto specifico da cui esce l'acqua. Mancavano di un modo per prendere una singola buona idea, modificarla con cura, ricordare quali modifiche erano fallite e poi combinare le parti migliori di idee diverse.

Entra in scena MEMENTO: L'Editor con Memoria

Gli autori hanno presentato MEMENTO, che sta per Memory-Guided Memetic Code-as-Policy Evolution. Il nome suona altisonante, ma l'idea è sorprendentemente umana. Pensa a MEMENTO come a un maestro editor che lavora con un'unica bozza "star" del cervello di un robot.

Il processo avviene in due atti principali:

Atto 1: Costruire il Giudice
Prima ancora che il robot inizi ad apprendere, MEMENTO crea un "Giudice" speciale (un valutatore). Questo Giudice è un pezzo di codice che osserva il robot mentre prova a eseguire il compito e gli assegna un punteggio. Ma non dice solo "Passato" o "Fallito". Fornisce una pagella dettagliata: "Hai ottenuto il punteggio, ma hai fatto cadere il blocco qui", oppure "Hai aperto la porta troppo velocemente". I ricercatori hanno fatto evolvere prima questo Giudice, assicurandosi che fosse bravo a individuare esattamente cosa fosse andato storto nella prestazione del robot.

Atto 2: La Ricerca a Tre Rami
Una volta che il Giudice è pronto, la vera evoluzione ha inizio. MEMENTO non lancia semplicemente freccette; utilizza tre strategie specifiche per migliorare il codice del robot, il tutto mantenendo una "memoria" dei fallimenti passati:

L'Hill-Climber (Il sistematico perfezionatore): Questo ramo prende il codice attualmente migliore e apporta piccole, attente modifiche. Se una modifica migliora il robot, la mantiene. Se una modifica peggiora la situazione, ricorda perché quella specifica modifica è fallita. Questa "memoria delle idee rifiutate" impedisce all'IA di commettere lo stesso errore due volte. È come un escursionista che prova un sentiero, trova un vicolo cieco, lo segna sulla mappa e prova un sentiero diverso, assicurandosi di non camminare di nuovo in un cespuglio.
Il Macro-Mutatore (Il generatore di grandi idee): A volte, piccoli aggiustamenti non bastano. Questo ramo prende il miglior codice e apporta cambiamenti grandi e audaci — come riscrivere un intero paragrafo della ricetta. È il momento del "e se provassimo un approccio completamente diverso?".
Il Crossover (Il miscelatore): Questo è l'ingrediente magico. Prende il miglior risultato dall'Hill-Climber e il miglior risultato dal Macro-Mutatore e li mescola insieme. È come prendere i migliori ingredienti da due ricette diverse per creare un nuovo super-piatto.

Dopo aver provato questi tre percorsi, MEMENTO sceglie il singolo miglior risultato per essere l' "Elite" del turno successivo. Questo ciclo si ripete, raffinando lentamente il codice finché il robot non è in grado di risolvere il compito.

I Risultati: Funziona Davvero?

I ricercatori hanno testato MEMENTO in due mondi molto diversi:

Robosuite Tower of Hanoi: Un braccio robotico che impila quattro blocchi.
**AI2-TH「THOR: Un robot che naviga in una cucina virtuale per mettere una mela nel microonde e del pane in frigorifero.

Hanno confrontato MEMENTO con altri due metodi popolari (Eureka e REvolve). I risultati sono stati chiari: MEMENTO ha vinto.

Nel compito Tower of Hanoi, MEMENTO ha raggiunto un tasso di successo di 0,97 ± 0,06 (il che significa che risolve il puzzle quasi ogni volta), mentre gli altri metodi hanno faticato, con uno che otteneva solo 0,53 e l'altro che falliva completamente (0,00). Nel compito della cucina, MEMENTO ha raggiunto un tasso di successo perfetto di 1,00 ± 0,00, mentre gli altri sono riusciti solo al 0,40 e allo 0,00.

Ma la vera magia non era solo nella sala di addestramento. I ricercatori hanno testato se il robot potesse gestire situazioni nuove che non aveva mai visto prima.

Nuove Forme: Quando hanno cambiato i blocchi da cubi a cilindri dalle forme strane o oggetti asimmetrici, MEMENTO ha comunque risolto il puzzle nel 0,87 dei casi. Gli altri metodi sono crollati allo 0,23 o allo 0,00.
Nuove Stanze: Quando hanno spostato il robot della cucina in una casa con una disposizione completamente nuova, MEMENTO ha comunque avuto successo nel 0,78 dei casi. Gli altri sono scesi allo 0,08.

Ciò suggerisce che MEMENTO non ha solo memorizzato i blocchi specifici o la cucina specifica; ha effettivamente imparato la logica del compito.

I Momenti "Aha!" (Studi di Ablazione)

Per dimostrare che il loro design specifico era la formula segreta, i ricercatori hanno provato a rimuovere parti di MEMENTO per vedere cosa sarebbe successo.

Senza Memoria: Quando hanno rimosso la "memoria" delle idee rifiutate, il robot si è incagliato ripetendo gli stessi errori continuamente.
Senza Grandi Cambiamenti: Se hanno permesso al robot di fare solo piccoli aggiustamenti (senza "Macro-Mutation"), non riusciva a uscire dai vicoli ciechi locali.
Senza Miscelazione: Quando hanno smesso di mescolare le migliori idee (senza "Crossover"), il robot non riusciva a combinare le strategie corrette.
Senza Evoluzione del Giudice: Quando hanno usato un Giudice semplice e non addestrato invece di quello evoluto, il robot non riusciva a capire come vincere.

Ogni volta che rimuovevano un pezzo, le prestazioni calavano significativamente, dimostrando che l'intero sistema era necessario.

Dalla Simulazione alla Realtà

La parte più eccitante? Hanno preso il miglior codice che MEMENTO ha evoluto nella simulazione al computer e l'hanno applicato a un robot fisico reale (un braccio robotico Franka). Non lo hanno riaddestrato né hanno cambiato il codice; lo hanno solo fatto girare.

Il robot ha risolto con successo il puzzle Tower of Hanoi nel mondo reale nel 90% dei casi (9 tentativi su 10). L'unico fallimento non è stato dovuto al codice errato, ma al fatto che la telecamera del robot ha letto male la posizione di un blocco. Questo ha dimostato che l'approccio "code-as-policy" non è solo un trucco di simulazione — funziona nel mondo fisico reale e disordinato.

Cosa Significa

L'articolo suggerisce che, affinché i robot possano apprendere compiti complessi e lunghi, abbiamo bisogno di qualcosa di più di semplici tentativi casuali. Abbiamo bisogno di un sistema che ricordi cosa non ha funzionato, che effettui sia piccoli che grandi cambiamenti e che mescoli le idee migliori insieme. MEMENTO mostra che trattando il codice del robot come una ricetta che può essere editata, testata e raffinata con una memoria dei fallimenti passati, possiamo insegnare ai robot a risolvere enigmi che prima erano troppo difficili per loro.

Gli autori sottolineano con cautela che questo è stato testato su compiti specifici e che il metodo dipende dal modello linguistico specifico utilizzato. Non hanno affermato che questo risolva ogni problema robotico, ma hanno dimostrato una via molto promettente per insegnare ai robot a pensare attraverso il codice.

Sintesi Tecnica: MEMENTO per l'evoluzione del Code-as-Policy

Problematica

I compiti di controllo incarnato (embodied control) a lungo termine presentano una sfida significativa dovuta al "problema dell'assegnazione del credito a lungo termine" (long-horizon credit-assignment problem). In questi compiti, il successo è osservabile solo dopo una sequenza di molte azioni dipendenti, dove le azioni iniziali determinano lo stato incontrato da quelle successive. Gli approcci esistenti, come l'apprendimento basato su dimostrazioni o l'apprendimento per rinforzo con astrazione temporale, spesso falliscono nel rendere esplicita la logica decisionale specifica di una policy fallita o nell'identificare quali parti di tale logica richiedano una revisione.

Sebbene la rappresentazione delle policy come programmi eseguibili ("code-as-policy") permetta l'ispezione e la revisione diretta della logica decisionale, migliorare questi programmi tramite Large Language Models (LLM) è difficile. Il successo binario del compito è troppo rado per guidare il perfezionamento e il feedback strutturato è difficile da specificare manualmente. Inoltre, i metodi evolutivi guidati da LLM esistenti selezionano principalmente tra varianti generate indipendentemente, mancando di una fase di miglioramento locale sequenziale e non riuscendo a mantenere una memoria delle precedenti revisioni fallite.

Metodologia: MEMENTO

Gli autori propongono MEMENTO, un framework memetico a singolo elite guidato dalla memoria, progettato per evolvere programmi eseguibili di tipo code-as-policy. Il framework opera in due fasi distinte:

1. Evoluzione del Valutatore (Evaluator Evolution)
Prima di cercare le policy, MEMENTO evolve un valutatore specializzato ( $E^\star$ ).

Input: Una policy iniziale ( $p_0$ ) viene eseguita per $N_{roll}$ episodi per creare un set di rollout fissato ( $T_0$ ).
Processo: Un pool di candidati valutatori (programmi generati da LLM) viene iterativamente perfezionato. Ogni candidato mappa il set di rollout in un punteggio di fitness scalare ( $F$ ) e in metriche di feedback strutturato ( $M$ ).
Selezione: I candidati sono valutati in base alla loro capacità di correlarsi con il successo del compito, e il miglior valutatore viene selezionato tramite voto di maggioranza dell'LLM.
Output: Un valutatore evoluto e fisso $E^\star$ che fornisce sia un segnale di fitness per la selezione, sia metriche strutturate per condizionare le future revisioni del codice.

2. Evoluzione della Policy sotto Valutatore Fisso
Una volta fissato $E^\star$ , il framework cerca la programmazione della policy ottimale partendo da un singolo candidato elite ( $C_g$ ). Ogni generazione esplora tre rami distinti, con il miglior output che diventa l'elite per la generazione successiva:

Hill-Climbing Sequenziale (Micro-mutazione): Un ramo di ricerca locale che perfeziona iterativamente l'attuale candidato accettato. Fondamentalmente, mantiene una memoria ( $H$ ) dei riepiloghi delle modifiche delle proposte rifiutate. Questa memoria condiziona l'LLM a evitare la ripetizione di edizioni fallite, guidando la ricerca lontano dai noti minimi locali.
Macro-Mutazione: Modifiche indipendenti e su larga scala applicate direttamente all'elite della generazione, per introdurre cambiamenti strutturali significativi.
Crossover: Una ricombinazione dei migliori candidati provenienti dai rami di hill-climbing e macro-mutazione, consentendo la combinazione di strategie eseguibili parziali.

Il meccanismo di selezione è elitista: il candidato con il punteggio di fitness più alto ( $F$ ) tra i tre rami viene selezionato come prossimo elite ( $C_{g+1}$ ).

Contributi Chiave

Il documento identifica quattro contributi primari:

Framework Memetico a Singolo Elite: Un metodo di ricerca per programmi di policy eseguibili che combina unicamente il miglioramento locale sequenziale (con memoria delle proposte rifiutate), la macro-mutazione e il crossover.
Fase di Evoluzione del Valutatore: Una fase di pre-ricerca che produce un valutatore fisso capace di fornire sia la fitness scalare per la selezione, sia il feedback strutturato dei rollout per condizionare le revisioni del codice.
Valutazione Empirica: Test completi su due domini a lungo termine (Robosuite e AI2-THOR), inclusi studi di ablazione su generazione zero-shot, evoluzione del valutatore e operatori di ricerca, nonché test di generalizzazione su geometrie e scene di oggetti non visti.
Trasferimento Sim-to-Real: Un dispiegamento fisico della policy Robosuite evoluta su un robot Franka, che dimostra la fattibilità del trasferimento di codice evoluto in simulazione verso contesti reali.

Risultati Sperimentali

MEMENTO è stato valutato su Robosuite Franka Tower-of-Hanoi e interazione domestica AI2-THOR, confrontandolo con i baseline adattati Eureka e REvolve.

Performance: MEMENTO ha superato significativamente i baseline. Su Robosuite, ha raggiunto un tasso di successo di 0.97 ± 0.06 rispetto a 0.53 ± 0.12 di REvolve e 0.00 di Eureka. Su AI2-THOR, MEMENTO ha raggiunto un successo di 1.00 ± 0.00, mentre REvolve ha ottenuto 0.40 ± 0.10 ed Eureka 0.00.
Generalizzazione: Le policy evolute hanno dimostrato una forte generalizzazione. In Robosuite, le policy si sono trasferite da oggetti cubici a oggetti asimmetrici e cilindrici. In AI2-THOR, le policy addestrate su tre cucine si sono generalizzate con successo a 26 cucine non viste.
Studi di Ablazione:
- La generazione zero-shot non è riuscita a risolvere nessuno dei due domini (0% di successo), provando la necessità della ricerca evolutiva.
- I valutatori non evoluti (valutatori LLM zero-shot) non sono riusciti a guidare le policy verso il completamento del compito, evidenziando la necessità dell'evoluzione del valutatore per allineare il feedback al successo a lungo termine.
- Rimozione degli operatori: La rimozione del ramo di crossover o del ramo di macro-mutazione ha portato al fallimento nella risoluzione dei compiti, indicando che sia il raffinamento locale che la variazione globale/ricombinazione sono necessari.
Sim-to-Real: La migliore policy Robosuite è stata dispiegata su un robot Franka fisico, ottenendo un tasso di successo di 0.90 su 10 tentativi, con l'unico fallimento attribuito a un errore di percezione.

Significato e Rivendicazioni

Il documento sostiene che MEMENTO affronta i limiti dell'attuale evoluzione del code-as-policy integrando la ricerca locale guidata dalla memoria con la variazione evolutiva. Gli autori sostengono che:

La memoria è critica: Trattenere una cronologia di edizioni rifiutate impedisce all'LLM di ciclare attraverso le stesse modifiche fallite, consentendo un efficace hill-climbing in spazi di codice complessi.
L'evoluzione del valutatore è essenziale: Un valutatore fisso ed evoluto fornisce un segnale più ricco e allineato rispetto a un valutatore statico o zero-shot, il che è cruciale per guidare la ricerca in ambienti con ricompense sparse e a lungo termine.
La ricerca ibrida è superiore: La combinazione di micro-mutazioni (raffinamento locale), macro-mutazioni (esplorazione globale) e crossover (ricombinazione) è necessaria per risolvere compiti che né la pura ricerca locale né la pura evoluzione basata sulla popolazione possono risolvere da soli.

Il lavoro conclude che la ricerca memetica guidata dalla memoria è un meccanismo valido per migliorare le policy incarnate eseguibili utilizzando il feedback di rollout sparso, colmando con successo il divario tra simulazione e realtà.