SkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied Manipulation

Stellen Sie sich vor, Sie bringen einem Roboter das Kochen eines komplexen Gerichts bei. Sie sagen ihm nicht einfach nur „mach das Abendessen“; Sie zeigen ihm ein Video des gesamten Prozesses: Schneiden, Braten, Anrichten und Servieren. In der Welt der Robotik nennt man dies „Embodied Manipulation“, wobei eine Maschine lernt, sich bas farb auf das, was sie sieht, in der realen Welt zu bewegen. Lange Zeit haben Wissenschaftler versucht, Roboter zu lehren, indem sie ihnen massive Mengen dieser Videodemonstrationen füttern. Die populärsten Methoden, oft als „Diffusion Policies“ oder „Vision-Language-Action“-Modelle bezeichnet, funktionieren wie ein superintelligenter Schüler, der das gesamte Video auswendig lernt. Sie sind großartig darin, exakt das zu kopieren, was sie zuvor gesehen haben. Doch sie stoßen an eine Wand, wenn sie mit einer neuen Situation konfrontiert werden. Wenn man einem Roboter, der darauf trainiert wurde, „einen Apfel in eine Schüssel zu legen“, sagt, er solle „eine Zitrone in einen Topf legen“, erstarrt er oft. Es ist wie ein Schüler, der die Antwortschlüssel für einen ganz spezifischen Test auswendig gelernt hat, aber versagt, sobald die Fragen umgestellt werden. Das Problem ist, dass diese Roboter versuchen, den gesamten Film auf einmal auswendig zu lernen, anstatt die einzelnen Szenen oder „Fähigkeiten“ (Skills) zu verstehen, die die Geschichte ausmachen.

Hier kommt eine neue Idee namens SkillMemo ins Spiel. Anstatt zu versuchen, das gesamte Video als einen einzigen, riesigen, unzerbrechlichen Block auswendig zu lernen, lehrt SkillMemo den Roboter, das Video in winzige, wiederverwendbare „atomare Fähigkeiten“ – wie „greifen“, „heben“ oder „platzieren“ – zu zerlegen. Er speichert diese Fähigkeiten dann in einer speziellen, dynamischen Bibliothek (einem Speicher) ab, durch die der Roboter während seiner Arbeit suchen kann. Denken Sie an einen Koch, der nicht nur das Rezept für ein „Pfannengericht“ auswendig lernt, sondern statlich ein mentales Register darüber führt, wie man schneidet, wie man anbrät und wie man würzt. Wenn der Koch ein neues Gericht zubereiten muss, fängt er nicht bei Null an; er zieht die richtige „Schneide“-Fähigkeit und die richtige „Anbraten“-Fähigkeit aus seinem Gedächtnis und kombiniert sie sofort. Dieses Paper schlägt vor, dass Roboter durch diese Art von „Skill-Gedächtnis“ viel besser darin werden können, neue, ungesehene Kombinationen von Aufgaben zu bewältigen, was sie wesentlich flexibler und menschenähnlicher in ihren Bewegungen macht.

Das Problem: Roboter, die nicht „Mix und Match“ betreiben können

Die Gehirne aktueller Roboter sind beeindruckend, aber sie haben eine spezifische Schwäche. Sie werden mit großen Datensätzen von menschlichen Demonstrationen trainiert und lernen, den nächsten Schritt basierend auf dem aktuellen Bild vorherzusagen. Diese Modelle behandeln eine Aufgabe jedoch oft als einen einzigen, monolithischen Klumpen an Daten. Wenn ein Roboter lernt, „eine Tasse aufzuheben und Wasser einzugießen“, lernt er genau diese Sequenz. Wenn man ihm dann sagt, er solle „eine Tasse aufzuheben und Saft einzugießen“ oder „eine Schüssel aufzuheben und Wasser einzugießen“, könnte er Schwierigkeiten haben, weil er genau diese Kombination noch nie gesehen hat. Ihm fehlt die Fähigkeit, die Handlung in kleinere, wiederverwendbare Teile zu zerlegen. Es ist wie ein Musiker, der ein bestimmtes Lied perfekt spielen kann, aber nicht in der Lage ist, eine neue Melodie unter Verwendung derselben Noten zu improvisieren.

Die Autoren argumentieren, dass die Lösung nicht darin besteht, dem Roboter einfach mehr Daten zu füttern (was teuer und schwierig zu beschaffen ist), sondern darin, wie der Roboter lernt und sich erinnert. Sie schlagen vor, dass Roboter lernen müssen, „Fähigkeiten“ separat zu identifizieren und zu speichern, damit sie diese später mischen und kombinieren können.

Die Lösung: Ein Roboter mit einer „Skill-Bibliothek“

Das Paper stellt SkillMemo vor, ein Framework, das wie ein intelligenter Bibliothekar für Roboter-Fähigkeiten fungiert. Es arbeitet in zwei Hauptphasen:

1. Den Film in Szenen zerlegen (Expert-Guided Trajectory Segmentation)
Zuerst muss das System herausfinden, wo eine Fähigkeit endet und eine andere beginnt. Anstatt einen Menschen zu bitten, jede einzelne Bewegung zu beschriften (was mühsam ist), nutzt SkillMemo einen cleveren Trick namens Mixture-of-Experts (MoE). Stellen Sie sich ein Team von spezialisierten Arbeitern (den „Experten“) im Gehirn des Roboters vor. Während der Roboter eine Demonstration beobachtet, sind verschiedene Arbeiter abwechselnd „im Dienst“. Ein Arbeiter ist vielleicht gut im „Greifen“, ein anderer im „Bewegen“ und ein weiterer im „Platzieren“. Das System lernt, automatisch zwischen diesen Arbeitern zu wechseln. Wenn der „Greifen“-Arbeiter aktiv ist, weiß der Roboter, dass er sich in der „Greifen“-Phase der Aufgabe befindet. Dies geschieht ohne menschliche Labels; der Robbot erkennt die Grenzen der Fähigkeiten selbstständig, indem er Muster in der Bewegung bemerkt.

2. Fähigkeiten speichern und abrufen (Skill-Level Memory)
Sob-ald der Roboter die Aufgabe in diese kleinen, distinkten Fähigkeiten zerlegt hat, speichert er sie in einem dynamischen episodischen Speicher. Dies ist nicht nur eine Videodatei; es ist eine kompakte Bibliothek von „Anleitungen“.

• Der Schlüssel (Key): Das System speichert eine Zusammenfassung dessen, wie die Situation aussah, als die Fähigkeit angewendet wurde (z. B. „eine Schüssel war in der Nähe“).
• Der Wert (Value): Es speichert die spezifischen Anweisungen zur Ausführung dieser Fähigkeit (die „Gating-Koeffizienten“, die dem Gehirn des Roboters sagen, welche Arbeiter zu aktivieren sind).

Wenn der Roboter vor einer neuen Aufgabe steht, rät er nicht einfach. Er betrachtet seine aktuelle Situation, sucht in seiner Speicherbibliothek nach den relevantesten Fähigkeiten und zieht diese hervor. Er kombiniert diese abgerufenen Fähigkeiten dann mit seinem aktuellen Plan. Wenn er „einen Zitronen in einen Topf legen“ muss, kann er die „Zitrone greifen“-Fähigkeit aus einem Speicher und die „in den Topf gießen“-Fähigkeit aus einem anderen abrufen und sie zu einer neuen, erfolgreichen Handlung verschmelzen.

Was die Experimente zeigten

Die Forscher testeten diese Idee auf zwei Arten: in Computersimulationen und an einem echten Roboterarm (einem UR5e) in einem Labor.

In der Simulation:
Sie testeten SkillMemo an Standard-Roboter-Herausforderungen, einschließlich des LIBERO-Benchmarks (der testet, wie gut Roboter auf neue Aufgaben generalisieren können) sowie anderer Umgebungen wie Push-T und Franka Kitchen.

• Die Ergebnisse: Als sie SkillMemo zu bestehenden Roboter-Modellen (wie Diffusion Policy und großen Vision-Language-Action-Modellen) hinzufügten, wurden die Roboter signifikant besser.
• Die Zahlen: Im LIBERO-Benchmark erreichte das Standardmodell π0.5 eine Erfolgsquote von 96,8 %. Mit SkillMemo stieg dieser Wert auf 98,0 %. Auch wenn das nach einer kleinen Zahl klingt, ist eine Verbesserung von 1,2 % in der Robotik eine gewaltige Sache.
• Generalisierung: Die spannendste Erkenntnis war, wie gut die Roboter Aufgaben bewältigten, die sie noch nie zuvor gesehen hatten. Wenn beispielsweise ein Roboter darauf trainiert wurde, „eine Erdbeere in eine Schüssel zu legen“ und „eine Zitrone auf einen Teller zu legen“, konnte er erfolgreich lernen, „eine Erdbeere auf einen Teller zu legen“, ohne jemals speziell für diese Kombination trainiert worden zu sein. Die Speicherbank ermöglichte es ihm, die „Erdbeere“-Fähigkeit und die „Teller“-Fähigkeit auf eine neue Weise wiederzuverwenden.

In der realen Welt:
Das Team testete das System auch an einem echten Roboterarm mit fünf verschiedenen Aufgaben, wie etwa das Legen einer Erdbeere in eine Schüssel oder Butter in einen Topf.

• Die Ergebnisse: SkillMemo schlug die Standard-Diffusion-Policy konsistent. Für die Aufgabe „Butter in Topf“ stieg die Erfolgsquote von 62,5 % auf 75,0 %.
• Ungesehene Kombinationen: Als sie den Roboter mit neuen Kombinationen testeten (wie das Legen einer Zitrone in einen Topf, was er während des Trainings nicht gesehen hatte), verbesserte SkillMemo die Erfolgsquote von 57,5 % auf 72,5 %. Dies bewies, dass der Roboter nicht nur auswendig lernte, sondern tatsächlich Fähigkeiten neu kombinierte.

Was das Paper ausschließt und bestätigt

Die Autoren weisen sorgfältig darauf hin, was ihre Methode nicht ist. Sie argumentieren gegen die Vorstellung, dass es die einzige Lösung sei, das Gehirn des Roboters einfach nur größer zu machen oder ihn mit mehr Rohdaten zu trainieren. Sie zeigen, dass selbst leistungsstarke Modelle ohne eine strukturierte Art, Fähigkeiten zu erinnern und wiederzuverwenden, Schwierigkeiten haben.

Sie bestätigen auch, dass ihre Methode funktioniert, ohne dass Menschen jede einzelne „Fähigkeit“ in den Trainingsvideos manuell beschriften müssen. Der Roboter lernt, diese Grenzen selbstständig zu identifizieren. Das Paper stellt jedoch klar, dass diese Ergebnisse auf spezifischen Simulationen und einer begrenzten Anzahl von realen Aufgaben basieren. Obwohl die Ergebnisse stark sind, ist dies kein Allheilmittel für jedes mögliche Roboterproblem der Welt. Der Erfolg wird an spezifischen Benchmarks gemessen, und die „Realwelt“-Tests wurden in einer kontrollierten Laborumgebung durchgeführt.

Warum das wichtig ist

Der Kern der Idee von SkillMemo ist, dass Roboter eher wie wir sein müssen: fähig, komplexe Handlungen in kleinere, wiederverwendbare Teile zu zerlegen und sich daran zu erinnern, wie man diese ausführt. Indem wir Robotern eine „Skill-Bibliothek“ geben, in der sie suchen und mischen können, helfen wir ihnen, die unordentliche, unvorhersehbare Natur der realen Welt zu bewältigen. Anstatt starre Kopierer zu sein, die scheitern, wenn sich das Skript ändert, können diese Roboter flexible Problemlöser werden, die ihr Wissen nehmen und auf Situationen anwenden, mit denen sie zuvor noch nie konfrontiert waren. Das Paper legt nahe, dass dieser Ansatz ein vielversprechender Schritt ist, um Roboter zu Maschinen zu machen, die sich wirklich an unsere Welt anpassen können, anstatt nur das zu wiederholen, was man ihnen gesagt hat.