Memory as Plans: World-Action Modeling with Memory-Grounded Planning

Roboter waren schon lange Meister des unmittelbaren Augenblicks. Wenn man eine Tasse vor einen Roboterarm platziert, kann dieser nach ihr greifen, sie erfassen und mit beeindruckender Präzision anheben. Diese Fähigkeit beruht auf einer einfachen Regel: Der Roboter entscheidet seinen nächsten Schritt ausschließlich basierend darauf, was er in diesem Moment sieht. Die reale Welt ist jedoch selten so einfach. Viele Aufgaben erfordern, dass ein Roboter Dinge erinnert, die nicht mehr sichtbar sind. Stellen Sie sich vor, Sie bitten einen Roboter, einen spezifischen Knopf zu finden, der vor einigen Minuten verdeckt wurde, oder zwei Objekte zu tauschen, die er zu einem früheren Zeitpunkt des Tages an unterschiedlichen Orten gesehen hat. Um erfolgreich zu sein, muss die Maschine ein mentales Bild der Vergangenheit bewahren, nicht nur das der Gegenwart. Dies ist die Herausforderung der gedächtnisabhängigen Manipulation – eine Hürde, die Roboter daran gehindert hat, komplexe, mehrstufige Aufgaben in unseren Häusern und Arbeitsplätzen zu bewältigen.

Jahrelang versuchten Forscher, dies zu lösen, indem sie dem Roboter immer mehr Videohistorie einspeisten. Sie gaben der Maschine ein wachsendes Fenster jedes jemals gesehenen Einzelbildes (Frames), in der Hoffnung, dass die Maschine sich erinnern würde, wenn sie genug gesehen hätte. Aber dieser Ansatz stößt an eine harte Wand. Wenn die Historie länger wird, verlangsamt sich der Computer, der den Roboter steuert, und kommt schließlich zum Stillstand, weil ihm der Speicher ausgeht. Andere Teams versuchten, die Vergangenheit in eine kurze Liste von Wörtern zusammenzufassen, doch dabei gingen oft die feinen Details verloren – die exakte Farbe eines Objekts oder seine präzise Position –, die für den Erfolg entscheidend sind. Das Ergebnis war ein Kompromiss: Entweder war der Roboter schnell, aber vergesslich, oder er war detailgetreu, aber zu langsam, um nützlich zu sein.

Ein neuer Ansatz, der von einem Forscherteam entwickelt wurde, ändert die Strategie grundlegend. Anstatt den Roboter dazu zu zwingen, ständig seine gesamte Historie während der Bewegung neu zu lesen, bringen sie ihm bei, zuerst einen Plan zu erstellen. Denken Sie an den Unterschied zwischen dem Lesen einer Karte während der Fahrt und einem Navigator, der einem eine einzige, klare Anweisung für das nächste Teilstück der Reise gibt. Die Forscher nennen ihr System MaP-WAM. Es funktioniert dadurch, dass es eine lange Aufgabe in kleinere Segmente unterteilt. Bevor der Roboter mit der Bewegung beginnt, betrachtet er sein Langzeitgedächtnis – spärlich gesäte, sorgfältig ausgewählte Schnappschüsse der Vergangenheit – und schreibt einen spezifischen Plan für den nächsten Schritt auf. Dieser Plan enthält sowohl eine Beschreibung dessen, was zu tun ist, als auch eine visuelle Anleitung, wie die Szene aussehen soll, während der Roboter arbeitet.

Sobald dieser Plan geschrieben ist, führt der Roboter ihn aus, ohne die gesamte Historie erneut sehen zu müssen. Er muss lediglich die aktuelle Ansicht und den gerade erstellten Plan betrachten. Dies hält das „Arbeitsgedächtnis“ des Roboters klein und schnell, sodass er selbst bei längeren Aufgaben reibungslos läuft. Um sicherzustellen, dass der Roboter nicht die Orientierung verliert oder vom Kurs abkommt, verfolgt das System zudem seinen Fortschritt. Es gleicht ständig die aktuelle Position mit der visuellen Anleitung im Plan ab. Wenn der Roboter sieht, dass er etwas hinter oder vor dem Zeitplan liegt, passt er seine interne Uhr an, um dem Plan zu entsprechen, und korrigiert Fehler, bevor diese sich aufhäufen. Dies schafft einen geschlossenen Kreislauf, in dem der Roboter plant, handelt, seinen Fortschritt prüft und dann sein Gedächtnis für den nächsten Schritt aktualisiert, während er gleichzeitig seine Rechenlast stabil hält.

Das Team testete diese Methode sowohl in Computersimulationen als auch an einem echten Roboterarm. In den Simulationen, die Aufgaben wie das Vertauschen von Blöcken oder das Finden versteckter Knöpfe beinhalteten, war das neue System in 83,3 % der Fälle erfolgreich und übertraf damit bisherige Methoden, die mit dem Gedächtnis zu kämpfen hatten. An einem echten Roboter erreichte es eine Erfolgsquote von 88 % bei einer Aufgabe, die das Finden eines spezifischen Knopfes erforderte, und eine Erfolgsquote von 68 % bei einer Aufgabe, die das Drücken von Knöpfen in einer bestimmten Sequenz verlangte. Entscheidend war, dass, während die Aufgaben länger wurden und die Historie vergangener Handlungen zunahm, die Zeit, die der Roboter für die Entscheidung über seinen nächsten Schritt benötigte, in etwa gleich blieb und bei etwa 827 Millisekunden lag. Im Gegensatz dazu wurden ältere Methoden, die versuchten, die vollständige Historie der Frames zu verarbeiten, so langsam und speicherintensiv, dass sie nach etwa 1.700 Frames abstürzten.

Die Forscher fanden heraus, dass der Schlüssel zu diesem Erfolg nicht nur darin lag, ein Gedächtnis zu haben, sondern wie dieses genutzt wurde. Durch die Umwandlung langer, komplexer Historien in kompakte, gedächtnisgestützte Pläne ermöglichten sie es dem Roboter, feingliedrige visuelle Beweise zu behalten, ohne die Kosten für deren Echtzeitverarbeitung zu tragen. Sie entdeckten auch, dass die explizite Verfolgung des Fortschritts essenziell war; ohne sie hätte der Roboter oft visuell ähnliche Momente verwechselt, wie etwa das Drücken eines Knopfes gegenüber dem Loslassen eines Knopfes, was zu wiederholten Fehlern führte. Das System bewies, dass ein Roboter nicht seine gesamte Vergangenheit im Kopf tragen muss, um klug zu handeln; er muss nur wissen, wie er diese Vergangenheit in einen klaren, handlungsfähigen Plan für die Gegenwart verwandelt. Dieser Wechsel von reaktivem Gedächtnis zu proaktiver Planung bietet einen vielversprechenden Weg hin zu Robotern, die die unordentlichen, mehrstufigen Realitäten des menschlichen Lebens bewältigen können.