MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

Stellen Sie sich vor, Sie versuchen, einem Roboter eine komplexe Aufgabe beizubringen, wie zum Beispiel das Bauen eines Türms aus Blöcken oder das Zubereiten eines Sandwiches. Dies ist nicht nur das Drücken eines einzelnen Knopfes; es ist eine lange Sequenz von Schritten, bei denen jeder Zug vom vorherigen abhängt. Wenn der Roboter den falschen Block greift oder die falsche Tür öffnet, bricht der gesamte Plan zusammen. Dies ist die Welt der „Embodied AI“ (verkörperte KI), in der Software auf die chaotische, physische Welt trifft. Die große Herausforderung besteht hier im „Credit Assignment Problem“ (Zuordnungsproblem): Wenn der Roboter am Ende einer langen Aufgabe scheitert, woher weiß man dann, welcher spezifische Schritt falsch war? War es die erste Bewegung oder die zehnte?

Um dies zu lösen, versuchen Forscher einen cleveren Trick namens „Code-as-Policy“. Anstatt den Roboter mit vagen Anweisungen oder durch Versuch und Irrtum zu trainieren, schreiben sie das Gehirn des Roboters als tatsächlichen Computercode. Das ist so, als würde man dem Roboter ein Rezeptbuch geben anstatt nur ein Gefühl. Wenn das Rezept fehlschlägt, kann man es lesen, genau sehen, welche Anweisung verwirrend war, und es umschreiben. Aber das Schreiben dieser Rezepte von Hand ist schwer, und das Raten des richtigen Codes ist noch schwerer. Hier kommen Large Language Models (LLMs) ins Spiel – dieselben KI-Gehirne, die Aufsätze schreiben und mit uns chatten können. Sie können Code generieren, aber sie benötigen oft Hilfe dabei, zu verstehen, warum ein Stück Code fehlgeschlagen ist, damit sie ihn richtig korrigieren können.

Dies ist die Geschichte einer neuen Methode namens MEMENTO, die wie ein superintelligenter, gedächtnisbewusster Editor für Roboter-Code fungiert. Die Forscher wollten sehen, ob sie bessere Roboter-Rezepte entwickeln können, indem sie einer KI erlauben, diese zu schreiben, zu testen und dann ein spezielles „Gedächtnis“ zu nutzen, um sich zu merken, was nicht funktioniert hat, damit sie nicht denselben Fehler erneut macht. Sie testeten dies in zwei schwierigen Spielen: einem, bei dem ein Roboterarm ein Tower-of-Hanoi-Puzzle lösen muss (Blöcke bewegen, ohne die Regeln zu brechen), und einem anderen, bei dem ein Roboter durch ein virtuelles Haus navigieren muss, um einen Snack zuzubereiten.

Hier ist, wie MEMENTO funktioniert, und was das Team herausgefunden hat.

Das Problem mit „Raten und Prüfen“

Stellen Sie sich vor, Sie versuchen, ein Programm zu schreiben, um ein Rätsel zu lösen. Sie bitten eine KI, den Code zu schreiben. Sie schreibt etwas, Sie führen es aus, und es schlägt fehl. Wenn Sie die KI einfach nur bitten, „es noch einmal zu versuchen“ mit einer neuen, zufälligen Idee, erzeugen Sie vielleicht ein etwas anderes Scheitern, aber Sie lernen nicht wirklich dazu. Es ist, als würde man versuchen, einen verborgenen Schlüssel auf einem riesigen Feld zu finden, indem man blind mit Dartpfeilen wirft.

Frühere Methoden versuchten dies zu beheben, indem sie viele verschiedene Versionen des Codes gleichzeitig generierten und die beste auswählten. Aber die Forscher fanden heraus, dass dieser Ansatz oft am Ziel vorbeischoss. Es war, als hätte man hundert Leute, die verschiedene Wege vorschlagen, um ein leckendes Rohr zu reparieren, aber keiner von ihnen schaut tatsächlich auf die spezifische Stelle, an der das Wasser tropft. Ihnen fehlte die Möglichkeit, eine einzige gute Idee zu nehmen, sie sorgfältig anzupassen, sich zu merken, welche Anpassungen fehlschlugen, und dann die besten Teile verschiedener Ideen zu kombinieren.

MEMENTO: Der gedächtnisbewusste Editor

Die Autoren führten MEMENTO ein, was für Memory-Guided Memetic Code-as-Policy Evolution steht. Der Name klingt kompliziert, aber die Idee ist überraschend menschlich. Betrachten Sie MEMENTO als einen meisterhaften Editor, der mit einem einzigen „Star-Entwurf“ des Robotergehirns arbeitet.

Der Prozess findet in zwei Hauptakten statt:

Akt 1: Den Richter aufbauen
Bevor der Roboter überhaupt mit dem Lernen beginnt, erstellt MEMENTO einen speziellen „Richter“ (einen Evaluator). Dieser Richter ist ein Stück Code, das den Roboter bei der Ausführung der Aufgabe beobachtet und ihm eine Bewertung gibt. Aber er sagt nicht nur „Bestanden“ oder „Nicht bestanden“. Er erstellt ein detailliertes Zeugnis: „Du hast die Punktzahl erreicht, aber du hast den Block hier fallen gelassen“ oder „Du hast die Tür zu schnell geöffnet“. Die Forscher haben diesen Richter zuerst entwickelt, um sicherzustellen, dass er gut darin ist, genau zu erkennen, was in der Leistung des Roboters schiefgelaufen ist.

Akt 2: Die Drei-Zweig-Suche
Soblich der Richter bereit ist, beginnt die eigentliche Evolution. MEMENTO wirft nicht einfach nur Dartpfeile; es nutzt drei spezifische Strategien, um den Code des Roboters zu verbessern, und behält dabei ein „Gedächtnis“ vergangener Fehler:

1. Der Hill-Climber (Der vorsichtige Bastler): Dieser Zweig nimmt den aktuell besten Code und nimmt winzige, sorgfältige Änderungen vor. Wenn eine Änderung den Roboter besser macht, behält er sie bei. Wenn eine Änderung ihn schlechter macht, merkt er sich, warum diese spezifische Änderung fehlschlug. Dieses „Gedächtnis für abgelehnte Ideen“ verhindert, dass die KI denselben Fehler zweimal macht. Es ist wie ein Wanderer, der einen Pfad ausprobiert, eine Sackgasse findet, sie auf einer Karte markiert und dann einen anderen Weg sucht, um sicherzustellen, dass er nicht wieder in denselben Busch läuft.
2. Der Makro-Mutator (Der Generator für große Ideen): Manchmal reichen winzige Anpassungen nicht aus. Dieser Zweig nimmt den besten Code und macht große, kühne Änderungen – so als würde man einen ganzen Absatz eines Rezepts umschreiben. Es ist der Moment des „Was wäre, wenn wir einen völlig anderen Ansatz versuchen würden?“.
3. Der Crossover (Der Mixer): Dies ist die magische Zutat. Er nimmt das beste Ergebnis des vorsichtigen Bastlers und das beste Ergebnis des großen Ideen-Generators und mischt sie zusammen. Es ist, als würde man die besten Zutaten aus zwei verschiedenen Rezepten nehmen, um ein neues Super-Gericht zu kreieren.

Nachdem diese drei Pfade ausprobiert wurden, wählt MEMENTO das einzelne beste Ergebnis als das „Elite“-Ergebnis für die nächste Runde aus. Dieser Zyklus wiederholt sich und verfeinert den Code langsam, bis der Roboter die Aufgabe lösen kann.

Die Ergebnisse: Funktioniert es tatsächlich?

Die Forscher testeten MEMENTO in zwei sehr unterschiedlichen Welten:

• Robosuite Tower of Hanoi: Ein Roboterarm, der vier Blöcke stapelt.
• AI2-THOR: Ein Roboter, der durch eine virtuelle Küche navigiert, um einen Apfel in die Mikrowelle und Brot in den Kühlschrank zu legen.

Sie verglichen MEMENTO mit zwei anderen populären Methoden (Eureka und REvolve). Die Ergebnisse waren eindeutig: MEMENTO gewann.

Bei der Tower-of-Hanoi-Aufgabe erreichte MEMENTO eine Erfolgsquote von 0,97 ± 0,06 (was bedeutet, dass es das Rätsel fast jedes Mal löste), während die anderen Methoden kämpften, wobei eine nur 0,53 erreichte und die andere völlig versagte (0,00). In der Küchenaufgabe erreichte MEMENTO eine perfekte Erfolgsquote von 1,00 ± 0,00, während die anderen nur 0,40 und 0,00 erreichten.

Aber die wahre Magie lag nicht nur im Trainingsraum. Die Forscher testeten, ob der Roboter neue Situationen bewältigen konnte, die er noch nie gesehen hatte.

• Neue Formen: Als sie die Blöcke von Würfeln in seltsam geformte Zylinder oder asymmetrische Objekte änderten, löste MEMENTO das Rätsel immer noch zu 0,87 der Zeit. Die anderen Methoden stürzten auf 0,23 oder 0,00 ab.
• Neue Räume: Als sie den Küchenroboter in ein völlig neues Hauslayout versetzten, das er noch nie gesehen hatte, war MEMENTO immer noch zu 0,78 der Zeit erfolgreich. Die anderen fielen auf 0,08 ab.

Dies deutet darauf hin, dass MEMENTO nicht nur die spezifischen Blöcke oder die spezifische Küche auswendig gelernt hat, sondern tatsächlich die Logik der Aufgabe gelernt hat.

Die „Aha!“-Momente (Ablationsstudien)

Um zu beweisen, dass ihr spezifisches Design das Geheimrezept war, versuchten die Forscher, Teile von MEMENTO zu entfernen, um zu sehen, was passiert.

• Kein Gedächtnis: Als sie das „Gedächtnis“ für abgelehnte Ideen entfernten, blieb der Roboter in einem Kreislauf stecken, in dem er immer wieder dieselben Fehler machte.
• Keine großen Änderungen: Wenn sie nur winzige Anpassungen zuließen (keine „Makro-Mutation“), konnte der Roboter lokale Fallen nicht verlassen.
• Kein Mischen: Wenn sie das Mischen der besten Ideen stoppten (kein „Crossover“), konnte der Roboter die richtigen Strategien nicht kombinieren.
• Keine Richter-Evolution: Wenn sie einen einfachen, ungetrainierten Richter anstelle des entwickelten Richters verwendeten, konnte der Roboter nicht herausfinden, wie er gewinnen konnte.

Jedes Mal, wenn sie ein Teil entfernten, sank die Leistung erheblich, was bewies, dass das gesamte System notwendig war.

Von der Simulation zur Realität

Der aufregendste Teil? Sie nahmen den besten Code, den MEMENTO in der Computersimulation entwickelt hatte, und brachten ihn auf einen echten physischen Roboter (einen Franka-Roboterarm). Sie trainierten ihn nicht neu oder änderten den Code; sie ließen ihn einfach laufen.

Der Roboter löste das Tower-of-Hanoi-Puzzle in der realen Welt zu 90 % der Zeit (9 von 10 Versuchen). Der eine Fehler lag nicht daran, dass der Code falsch war, sondern weil die Kamera des Roboters die Position eines Blocks falsch interpretierte. Dies bewies, dass der „Code-as-Policy“-Ansatz nicht nur ein Simulations-Trick ist – er funktioniert auch in der echten, chaotischen physischen Welt.

Was das bedeutet

Das Paper legt nahe, dass Roboter für das Erlernen komplexer, langer Aufgaben mehr brauchen als nur zufällige Vermutungen. Wir brauchen ein System, das sich merkt, was nicht funktioniert hat, das sowohl kleine als auch große Änderungen vornimmt und die besten Ideen miteinander kombiniert. MEMENTO zeigt, dass wir Roboter lehren können, Rätsel zu lösen, die zuvor zu schwer für sie waren, indem wir Roboter-Code wie ein Rezept behandeln, das editiert, getestet und mit einem Gedächtnis für vergangene Fehler verfeinert werden kann.

Die Autoren weisen vorsichtig darauf hin, dass dies an spezifischen Aufgaben getestet wurde und dass die Methode von dem von ihnen verwendeten spezifischen Sprachmodell abhängt. Sie behaupten nicht, dass dies jedes Roboterproblem löst, aber sie haben einen sehr vielversprechenden Weg aufgezeigt, um Robotern beizubringen, in Code zu denken.