🤖 machine learning

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

Het artikel introduceert MEMENTO, een geheugengestuurd memetisch framework dat uitvoerbare code-als-beleid evolueert voor langdurige belichaamde taken door LLM-gestuurde generatie te combineren met gestructureerde feedback van een geëvolueerde evaluator, waarbij een superieure prestatie en sim-to-real transfer wordt bereikt vergeleken met bestaande baselines.

Oorspronkelijke auteurs: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Gepubliceerd 2026-07-28

📖 9 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een complexe taak uit te voeren, zoals het bouwen van een toren van blokken of het maken van een broodje. Dit is niet zomaar het indrukken van één knop; het is een lange opeenvolging van stappen waarbij elke beweging afhangt van de vorige. Als de robot het verkeerde blok grijpt of de verkeerde deur opent, loopt het hele plan in de soep. Dit is de wereld van "embodied AI", waar software de ontmoet met de rommelige, fysieke wereld. De grote uitdaging hier is het "credit assignment problem": wanneer de robot aan het einde van een lange taak faalt, hoe weet je dan welke specifieke stap fout ging? Was het de eerste zet, of de tiende?

Om dit op te lossen, proberen onderzoekers een slim trucje genaamd "code-as-policy". In plaats van een robot te trainen met vage instructies of trial-and-error beloningen, schrijven ze de hersenen van de robot als daadwerkelijke computercode. Dit is alsof je de robot een kookboek geeft in plaats van alleen een gevoel. Als het recept mislukt, kun je het lezen, precies zien welke instructie verwarrend was, en het herschrijven. Maar het handmatig schrijven van deze recepten is moeilijk, en het raden van de juiste code is nog moeilijker. Dit is waar Large Language Models (LLM's) — de AI-hersenen die ook essays schrijven en met ons chatten — om de hoek komen kijken. Ze kunnen code genereren, maar ze hebben vaak hulp nodig om te begrijpen waarom een stuk code faalde, zodat ze het op de juiste manier kunnen repareren.

Dit is het verhaal van een nieuwe methode genaamd MEMENTO, die fungeert als een superintelligente, geheugenhoudende editor voor robotcode. De onderzoekers wilden zien of ze betere robotrecepten konden laten evolueren door een AI de code te laten schrijven, testen, en vervolgens een speciale "geheugen" te laten gebruiken om te onthouden wat niet werkte, zodat de AI niet dezelfde fouten opnieuw maakt. Ze testten dit op twee lastige spellen: een spel waarbij een robotarm een Tower of Hanoi-puzzel moet oplossen (blokken verplaatsen zonder de regels te breken), en een ander spel waarbij een robot door een virtueel huis moet navigeren om een snack te maken.

Zo werkt MEMENTO, en wat het team ontdekte.

Het probleem met "Gokken en Controleren"

Stel je voor dat je een programma probeert te schrijven om een puzzel op te lossen. Je vraagt een AI om de code te schrijven. De AI schrijft iets, je voert het uit, en het faalt. Als je de AI alleen vraagt om "opnieuw te proberen" met een nieuw, willekeurig idee, krijg je misschien een iets andere fout, maar je bent niet echt aan het leren. Het is alsoals proberen een verborgen sleutel te vinden in een groot veld door met blinddoek pijltjes te gooien.

Eerdere methoden probeerden dit op te lossen door in één keer veel verschillende versies van de code te genereren en de beste te kiezen. Maar de onderzoekers ontdekten dat deze aanpak vaak de plank misslaat. Het was alsof er honderd mensen verschillende manieren voorstelden om een lekkende leiding te repareren, maar niemand keek daadwerkelijk naar de specifieke plek waar het water druppelde. Ze misten een manier om een enkel goed idee te nemen, het zorgvuldig aan te passen, te onthouden welke aanpassingen faalden, en vervolgens de beste delen van verschillende ideeën te combineren.

Ontmoet MEMENTO: De Geheugenhoudende Editor

De auteurs introduceerden MEMENTO, wat staat voor Memory-Guided Memetic Code-as-Policy Evolution. De naam klinkt indrukwekkend, maar het idee is verrassend menselijk. Zie MEMENTO als een meester-editor die werkt met een enkele "ster"-conceptversie van de hersenen van een robot.

Het proces vindt plaats in twee hoofdacts:

Act 1: Het bouwen van de Rechter
Voordat de robot zelfs maar begint met leren, creëert MEMENTO een speciale "Judge" (een evaluator). Deze Judge is een stuk code dat de robot de taak ziet uitvoeren en er een score aan geeft. Maar de Judge zegt niet alleen "Geslaagd" of "Gefaald". De Judge geeft een gedetailleerd rapportcijfer: "Je haalde de score, maar je liet het blok hier vallen," of "Je opende de deur te snel." De onderzoekers hebben deze Judge eerst geëvolueerd, om er zeker van te zijn dat deze goed was in het opsporen van precies wat er misging in de prestatie van de robot.

Act 2: De Drie-Takken Zoektocht
Zodra de Judge klaar is, begint de echte evolutie. MEMENTO gooit niet zomaar met pijltjes; het gebruikt drie specifieke strategieën om de code van de robot te verbeteren, terwijl het een "geheugen" bijhoudt van het verleden:

De Hill-Climber (De Voorzichtige Knutselaar): Deze tak neemt de huidige beste code en maakt kleine, zorgvuldige wijzigingen. Als een wijziging de robot beter maakt, behoudt hij deze. Als een wijziging de robot slechter maakt, onthoudt hij waarom die specifiek wijziging faalde. Dit "geheugen van afgewezen ideeën" voorkomt dat de AI dezelfde fout twee keer maakt. Het is als een wandelaar die een pad probeert, een doodlopende weg vindt, dit op een kaart markeert en een ander pad probeert, om er zeker van te zijn dat hij niet weer in dezelfde struik loopt.
De Macro-Mutator (De Generator van Grote Ideeën): Soms zijn kleine aanpassingen niet genoeg. Deze tak neemt de beste code en maakt grote, gedurfde veranderingen — zoals het volledig herschrijven van een heel tekstblok van het recept. Dit is het moment van: "Wat als we een compleet andere aanpak proberen?"
De Crossover (De Mixer): Dit is het magische ingrediënt. Het neemt het beste resultaat van de Voorzichtige Knutselaar en het beste resultaat van de Generator van Grote Ideeën en mengt deze samen. Het is alsof je de beste ingrediënten van twee verschillende recepten neemt om een nieuw, superieur gerecht te creëren.

Na het proberen van deze drie paden kiest MEMENTO het enkele beste resultaat om de "Elite" te zijn voor de volgende ronde. Deze cyclus herhaalt zich, waarbij de code langzaam wordt verfijnd totdat de robot de taak kan oplossen.

De Resultaten: Werkt het echt?

De onderzoekers testten MEMENTO in twee zeer verschillende werelden:

Robosuite Tower of Hanoi: Een robotarm die vier blokken stapelt.
AI2-THOR: Een robot die door een virtuele keuken navigeert om een appel in een magnetron te leggen en brood in een koelkast.

Ze vergeleken MEMENTO met twee andere populaire methoden (Eureka en REvolve). De resultaten waren duidelijk: MEMENTO won.

In de Tower of Hanoi-taak behaalde MEMENTO een succespercentage van 0.97 ± 0.06 (wat betekent dat het de puzzel bijna elke keer oploste), terwijl de andere methoden moeite hadden, waarbij één methode slechts 0.53 haalde en de andere volledig faalde (0.00). In de keuken-taak bereikte MEMENTO een perfect succespercentage van 1.00 ± 0.00, terwijl de anderen slechts 0.40 en 0.00 behaalden.

Maar de echte magie zat niet alleen in de trainingsruimte. De onderzoekers testten of de robot nieuwe situaties kon aan die hij nog nooit eerder had gezien.

Nieuwe Vormen: Wanneer ze de blokken veranderden van kubussen naar vreemd gevormde cilinders of asymmetrische objecten, loste M de puzzel nog steeds 0.87 van de tijd op. De andere methoden stortten in naar 0.23 of 0.00.
Nieuwe Kamers: Wanneer ze de keukenrobot naar een compleet nieuw huisontwerp verplaatsten dat hij nog nooit had gezien, slaagde MEMENTO nog steeds in 0.78 van de gevallen. De anderen zakten naar 0.08.

Dit suggereert dat MEMENTO niet alleen de specifieke blokken of de specifieke keuken heeft onthouden, maar daadwerkelijk de logica van de taak heeft geleerd.

De "Aha!" Momenten (Ablatie-studies)

Om te bewijzen dat hun specifieke ontwerp het geheime ingrediënt was, probeerden de onderzoekers onderdelen van MEMENTO te verwijderen om te zien wat er gebeurde.

Geen Geheugen: Wanneer ze het "geheugen" van afgewezen ideeën verwijderden, bleef de robot steeds dezelfde fouten maken.
Geen Grote Veranderingen: Wanneer ze alleen de robot kleine aanpassingen lieten maken (geen "Macro-Mutatie"), kon hij niet ontsnappen aan lokale valstrikken.
Geen Mixen: Wanneer ze stopten met het mixen van de beste ideeën (geen "Crossover"), kon de robot de juiste strategieën niet combineren.
Geen Evolutie van de Judge: Wanneer ze een simpele, ongetrainde Judge gebruikten in plaats van de geëvolueerde versie, kon de robot niet begrijpen hoe hij moest winnen.

Elke keer dat ze een onderdeel verwijderden, daalde de prestatie aanzienlijk, wat bewees dat het hele systeem noodzakelijk was.

Van Simulatie naar Realiteit

Het meest opwindende deel? Ze namen de beste code die MEMENTO in de computersimulatie had geëvolueerd en plaatsten deze op een echte fysieke robot (een Franka robotarm). Ze trainden de robot niet opnieuw of veranderden de code niet; ze lieten hem gewoon draaien.

De robot loste de Tower of Hanoi-puzzel in de echte wereld 90% van de tijd op (9 van de 10 pogingen). De ene mislukking kwam niet omdat de code fout was, maar omdat de camera van de robot de positie van een blok verkeerd las. Dit bewees dat de "code-as-policy"-aanpak niet alleen een simulatietruc is — het werkt ook in de echte, rommelige fysieke wereld.

Wat dit betekent

Het artikel suggereert dat voor robots om complexe, langdurige taken te leren, we meer nodig hebben dan alleen willekeurige gissingen. We hebben een systeem nodig dat onthoudt wat niet werkte, zowel kleine als grote veranderingen maakt, en de beste ideeën bij elkaar brengt. MEMENTO laat zien dat door de robotcode te behandelen als een recept dat geëdit, getest en verfijnd kan worden met een geheugen van eerdere fouten, we robots kunnen leren om puzzels op te lossen die voorheen te moeilijk voor hen waren.

De auteurs merken er voorzichtig bij op dat dit werd getest op specifieke taken en dat de methode afhankelijk is van het specifieke taalmodel dat ze gebruikten. Ze beweerden niet dat dit elk robotprobleem oplost, maar ze hebben wel een zeer veelbelovend pad opgezeigt voor het aanleren van het "denken in code" aan robots.

Technische Samenvatting: MEMENTO voor de evolutie van Code-als-Beleid

Probleemstelling

Taken met een lange horizon in belichaamde controle (embodied control) vormen een aanzienlijke uitdaging vanwege het "credit-assignment probleem over een lange horizon". Bij deze taken is succes pas observeerbaar na een reeks van vele afhankelijke acties, waarbij vroege acties de staat bepalen die later wordt aangetroffen. Bestaande benaderingen, zoals demonstratie-gebaseerd leren of reinforcement learning met temporele abstractie, falen vaak in het blootleggen van de specische beslissingslogica van een falend beleid of het identificeren van welke delen van die logica revisie vereisen.

Hoewel het representeren van beleid als uitvoerbare programma's ("code-as-policy") directe inspectie en revisie van de beslissingslogica mogelijk maakt, is het verbeteren van deze programma's via Large Language Models (LLM's) moeilijk. Binaire taaksucces is te schaars om verfijning te sturen, en gestructureerde feedback is lastig handmatig te specificeren. Bovendien richten bestaande door LLM gestuurde evolutionaire methoden zich primair op het selecteren tussen onafhankelijk gegenereerde varianten, waarbij ze een sequentiële lokale verbeteringsfase missen en er niet in slagen een geheugen bij te houden van eerder gefaalde revisies.

Methodologie: MEMENTO

De auteurs stellen MEMENTO voor, een geheugengestuurd single-elite memetisch framework ontworig voor de evolutie van uitvoerbare code-als-beleid programma's. Het framework werkt in twee afzonderlijke stadia:

1. Evaluator-evolutie
Voordat er naar beleid wordt gezocht, evolueert MEMENTO een gespecialiseerde evaluator ( $E^\star$ ).

Input: Een initieel beleid ( $p_0$ ) wordt uitgevoerd voor $N_{roll}$ episodes om een vaste rollout-set ( $T_0$ ) te creëren.
Proces: Een pool van kandidaat-evaluatoren (LLM-gegenereerde programma's) wordt iteratief verfijnd. Elke kandidaat brengt de rollout-set in kaart naar een scalaire fitnessscore ( $F$ ) en gestructureerde feedbackmetrieken ( $M$ ).
Selectie: Kandidaten worden gescoord op basis van hun vermogen om te correleren met taaksucces, en de beste evaluator wordt geselecteerd via LLM meerderheidsstemming.
Output: Een vaste, geëvolueerde evaluator $E^\star$ die zowel een fitnesssignaal voor selectie als gestructureerde metrieken biedt om toekomstige code-revisies te conditioneren.

2. Beleidsevolutie onder een vaste Evaluator
Zodra $E^\star$ is vastgesteld, zoekt het framework naar het optimale beleidsprogramma beginnend vanuit een enkele elite-kandidaat ( $C_g$ ). Elke generatie verkent drie afzonderlijke takken, waarbij de beste output de elite wordt voor de volgende generatie:

Sequentiële Hill-Climbing (Micro-mutatie): Een lokale zoektak die de huidige geaccepteerde kandidaat iteratief verfijnt. Cruciaal is dat het een geheugen ( $H$ ) bijhoudt van de samenvattingen van afgewezen voorstel-bewerkingen. Dit geheugen conditioneert de LLM om geen herhaalde mislukte bewerkingen uit te voeren, waardoor de zoektocht wordt weggeleid van bekende lokale minima.
Macro-mutatie: Onafhankelijke, grootschalige bewerkingen die direct worden toegepast op de elite-kandidaat van de generatie om significante structurele veranderingen te introduceren.
Crossover: Een recombinatie van de beste kandidaten uit de hill-climbing en macro-mutatie takken, wat de combinatie van gedeeltelijke uitvoerbare strategieën mogelijk maakt.

Het selectiemechanisme is elitair: de kandidaat met de hoogste fitnessscore ( $F$ ) uit de drie takken wordt geselecteerd als de volgende elite ( $C_{g+1}$ ).

Belangrijkste Bijdragen

Het artikel identificeert vier primaire bijdragen:

Single-Elite Memetisch Framework: Een zoekmethode voor uitvoerbare beleidsprogramma's die uniek sequentiële lokale verbetering (met geheugen van afgewezen voorstellen), macro-mutatie en crossover combineert.
Evaluator-evolutie Fase: Een pre-zoek fase die een vaste, geëvolueerde evaluator produceert die in staat is zowel een scalaire fitness te leveren voor selectie als gestructureerde rollout-feedback voor het conditioneren van code-revisies.
Empirische Evaluatie: Uitgebreide testen op twee long-horizon domeinen (Robosuite en AI2-THOR), inclusief ablatie-studies op zero-shot generatie, evaluator-evolutie en zoekoperators, evenals generalisatietesten op vastgehouden objectgeometrieën en scènes.
Sim-to-Real Transfer: Een fysieke implementatie van het geëvolueerde Robosuite-beleid op een Franka-robot, wat de haalbaarheid demonstreert van het vanuit simulatie geëvolueerde code naar real-world settings te transfereren.

Experimentele Resultaten

MEMENTO werd geëvalueerd op Robosuite Franka Tower-of-Hanoi en AI2-THOR huishoudelijke interactie, waarbij het werd vergeleken met aangepaste baselines Eureka en REvolve.

Prestaties: MEMENTO presteerde significant beter dan de baselines. Op Robosuite bereikte het een succespercentage van 0,97 ± 0,06 vergeleken met 0,53 ± 0,12 voor REvolve en 0,00 voor Eureka. Op AI2-THOR bereikte MEMENTO 1,00 ± 0,00 succes, terwijl REvolve 0,40 ± 0,10 en Eureka 0,00 behaalde.
Generalisatie: De geëvolueerde beleidsregels vertoonden sterke generalisatie. In Robosuite werden beleidsregels getransfereerd van kubische objecten naar asymmetrische en cilindrische objecten. In AI2-THOR generaliseerden beleidsregels die getraind waren op drie keukens succesvol naar 26 ongeziene keukens.
Ablatie-studies:
- Zero-shot generatie slaagde er niet in om beide domeinen op te lossen (0% succes), wat het belang van evolutionaire zoektocht bewijst.
- Niet-geëvolueerde evaluatoren (zero-shot LLM evaluatoren) slaagden er niet in om beleid naar taakvoltooiing te leiden, wat het belang van evaluator-evolutie benadrukt om feedback uit te lijnen met long-horizon succes.
- Operatorverwijdering: Het verwijderen van ofwel de crossover-tak of de macro-mutatie-tak resulteerde in een falen om de taken op te lossen, wat aangeeft dat zowel lokale verfijning als globale variatie/recombinatie noodzakelijk zijn.
Sim-to-Real: Het beste Robosuite-beleid werd ingezet op een fysieke Franka-robot en behaalde een succespercentage van 0,90 over 10 proeven, waarbij de enkele fout werd toegeschreven aan een perceptiefout.

Betekenis en Claims

Het artikel beweert dat MEMENTO de beperkingen van bestaande code-als-beleid evolutie aanpakt door geheugengestuurde lokale zoektocht te integreren met evolutionaire variatie. De auteurs stellen dat:

Geheugen cruciaal is: Het behouden van een geschiedenis van afgewezen bewerkingen voorkomt dat de LLM door dezelfde mislukte wijzigingen blijft cyclen, wat effectieve hill-climbing in complexe coderuimtes mogelijk maakt.
Evaluator-evolutie essentieel is: Een vaste, geëvolueerde evaluator biedt een rijker, beter uitgelijnd signaal dan een statische of zero-shot evaluator, wat cruciaal is voor het sturen van de zoektocht in sparse-reward, long-horizon omgevingen.
Hybride zoektocht superieur is: De combinatie van micro-mutaties (lokale verfijning), macro-mutaties (globale exploratie) en crossover (recombinatie) is noodzakelijk om taken op te lossen die noch pure lokale zoektocht, noch pure populatie-gebaseerde evolutie alleen kunnen oplossen.

Het werk concludeert dat geheugengestuurde memetische zoektocht een levensvatbaar mechanisme is voor het verbeteren van uitvoerbare belichaamde beleidsregels met behulp van schaarse rollout-feedback, waarmee de kloof tussen simulatie en de werkelijkheid succesvol wordt overbrugd.