Stellen Sie sich eine Welt vor, in der Roboter nicht nur einem strengen Skript folgen, das von einem menschlichen Programmierer geschrieben wurde, sondern tatsächlich lernen, sich so zu bewegen und zu denken wie wir. Dies ist der Traum der „Embodied AI“ (verkörperte KI) – einem Computer einen Körper zu geben, damit er mit der realen Welt interagieren kann. Momentan fühlt es sich beim Beibringen einer neuen Aufgabe an einen Roboter oft so an, als würde man einem Kleinkind das Schuhezubinden beibringen: Man muss ihm die Hand halten, ihm genau zeigen, was zu tun ist, und es hunderte Male wiederholen, bis seine Muskeln die Bewegung „erinnern“. Dies wird als Lernen aus menschlichen Demonstrationen bezeichnet. Aber was wäre, wenn ein Roboter von selbst lernen könnte? Was wäre, wenn er herausfinden könnte, wie man eine Tasse greift, eine Box schiebt oder eine Schublade öffnet, indem er einfach die Welt betrachtet und Dinge ausprobiert, ohne dass Sie jemals einen Finger rühren müssen, um ihm den Weg zu zeigen? Dies ist die große Frage, der Forscher nachgehen: Wie bringen wir Roboter dazu, ihr eigenes „Muskelgedächtnis“ von Grund auf selbst aufzubauen?

Hier kommt HERO ins Spiel, ein neues Robotergehirn, das wie ein selbstlernender Lehrling agiert. Das Paper stellt HERO als ein System vor, das mit null menschlicher Hilfe beginnt und lernt, Objekte durch eine clevere dreistufige Evolution zu manipulieren. Stellen Sie es sich wie einen Roboter vor, der in drei deutlichen Stadien aufwächst. Zuerst nutzt er „Heuristische Argumentation“, was wie ein kluger Ratender funktioniert, der eine riesige Bibliothek an Wissen nutzt, um herauszufinden, wie er eine Aufgabe bewältigt, die er noch nie zuvor gesehen hat. Wenn dies fehlschlägt oder zu langsam wird, wechselt er zur „Exemplar-Wiederverwendung“, was so ist, als würde er sich an eine Zeit erinnern, in der er ein ähnliches Objekt erfolgreich bewegt hat, und diese Bewegung einfach an die neue Situation anpassen. Nachdem er genug geübt hat, entwickelt er schließlich eine „Reflexive Ausführung“ – das ist reines Muskelgedächtnis, eine schnelle, automatische Reaktion, die nicht jedes Mal intensiv nachdenken muss. Das Paper zeigt, dass der Roboter durch die Kombination dieser drei Fähigkeiten und das eigenständige Üben komplexe Aufgaben wie das Stapeln von Blöcken oder das Durchsuchen von Schubladen erlernen kann, bis er schließlich so gut darin ist, dass er kaum noch nachdenken muss.

Die Kernbotschaft des Papers: Von Null zu Muskelgedächtnis

Die Forscher hinter HERO, ein Team der Shanghai Jiao Tong University und der University of Sussex, wollten ein spezifisches Problem lösen: Die meisten Roboter von heute stecken in einem „statischen“ Modus fest. Sie sind entweder sehr gut in allgemeiner Argumentation (darüber sprechen, was zu tun ist), aber langsam und unbeholfen bei der eigentlichen Bewegung, oder sie sind super schnell in der Bewegung, aber nur, wenn man ihnen zuerst genau gezeigt hat, wie es geht. HERO versucht, diese Lücke zu schließen, indem es ein System schafft, das seine eigenen Fähigkeiten entwickelt.

Das Paper argumentiert gegen die Vorstellung, dass Roboter eine massive Datenbank aus menschlichen Videos benötigen, um zu lernen. Stattdessen beginnt HERO mit null menschlichen Demonstrationen. Seine Reise beginnt mit einem „Heuristischen Bootstrapper“ (Level 1). Wenn er mit einer neuen Aufgabe konfrontiert wird, wie etwa „hebe das rote Paket auf“, agiert diese Ebene wie ein Detektiv. Er nutzt ein Vision-Language-Model (VLM) – eine Art KI, die Bilder und Wörter versteht – um die Szene zu betrachten, zu erraten, wo er das Objekt greifen soll, und einen Pfad zu planen. Es ist nicht perfekt und etwas langsam, aber es erledigt den Job ohne vorheriges Training.

Sobald der Roboter etwas erfolgreich gegriffen hat, vergisst er es nicht einfach. Er speichert diesen Erfolg als ein „Exemplar“. Während der Roboter mehr übt, tritt er in die zweite Phase ein: den „Exemplar-Beschleuniger“ (Level 2). Wenn er nun eine Aufgabe sieht, die einer bereits erledigten ähnlich ist, muss er nicht erneut raten. Er findet das gespeicherte Beispiel, berechnet, wie er diese alte Bewegung dehnen oder rotieren muss, um sie an das neue Objekt anzupassen, und führt sie aus. Das ist vergleichbar mit der Erinnerung daran, wie man letzte Woche ein bestimmtes Glas aufgedreht hat, und die Verwendung derselben Handgelenksdrehung für ein neues Glas derselben Größe. Dieser Schritt ist viel schneller als die Ratestufe.

Die letzte und beeindruckendste Stufe ist die „Reflexive Policy“ (Level 3). Nachdem der Roboter hunderte erfolgreicher Versuche gesammelt hat, trainiert er ein spezielles „Muskelgedächtnis“-Modell. Dieses Modell überspringt die Denk- und Kopierschritte vollständig. Es betrachtet das Objekt und das Ziel und sendet sofort die richtigen Befehle an den Roboterarm. Dies ist die im Paper erwähnte „Closed-Loop“-Steuerung (geschlossener Regelkreis), was bedeutet, dass der Roboter seine eigene Bewegung ständig überprüft und in Echtzeit anpasst, genau wie ein Mensch, der einen Ball fängt, ohne über die Physik nachzudenken.

Wie es in der realen Welt funktioniert

Um dies zu testen, richteten die Forscher einen Franka Emika Panda Roboterarm in einem realen Labor mit vier Kameras ein. Sie gaben ihm vier verschiedene Herausforderungen: das Aufheben von Paketen unterschiedlicher Farben, das Stapeln von Blöcken in einer bestimmten Reihenfolge, das Öffnen einer Schublade, um ein verstecktes Croissant zu finden, und das Bewegen von Boxen, um eine versteckte Verbandrollen-Packung freizulegen.

Der Roboter führte diese Aufgaben nicht nur einmal aus; er durchlief einen kontinuierlichen Zyklus der Autonomen Fähigkeitsevolution. Hier ist die magische Schleife:

1. Versuchen: Der Roboter versucht eine Aufgabe. Wenn sie neu ist, nutzt er den „Ratestatus“ (L1).
2. Speichern: Wenn er Erfolg hat, speichert er die Bewegung. Wenn es eine Aufgabe ist, die er schon einmal gesehen hat, nutzt er eventuell den „Kopier-Modus“ (L2), um schneller zu sein.
3. Zurücksetzen: Nachdem er eine Aufgabe beendet hat, findet der Robot automatisch heraus, wie er alles wieder in die Ausgangsposition bringt (eine „Umkehr-Aufgabe“), damit er es erneut versuchen kann. Er tat dies insgesamt 664 Mal!
4. Lernen: Sobald er genügend Daten gesammelt hatte, trainierte er das „Muskelgedächtnis“-Modell (L3).

Die Ergebnisse waren sehr aufschlussreich. Das Paper stellte fest, dass HERO diese massive Menge an Daten mit fast keiner menschlichen Hilfe sammeln konnte – lediglich etwa 1,03 Sekunden menschlicher Intervention pro Teilaufgabe, hauptsächlich um die Szene zu korrigieren, falls der Roboter stecken blieb. Der Roboter schaffte es, 46 aufeinanderfolgende Teilaufgaben-Zyklen zu absolvieren, ohne dass ein Mensch ihn berührte.

Als sie den fertigen Roboter bei diesen Aufgaben testeten, erreichte das vollständige HERO-System (das alle drei Ebenen nutzt) eine Erfolgsquote von 86,0 % über die vier verschiedenen Aufgaben hinweg. Dies war signifikant besser als die Nutzung von nur einer Ebene. Wenn sie beispielsweise nur die Ratestufe (L1) verwendeten, sank die Erfolgsquote auf 76,0 %. Wenn sie nur die Muskelgedächtnis-Ebene (L3) verwendeten, lag sie bei 70,0 %. Das Paper legt nahe, dass das Geheimrezept die Flexibilität ist: die schnelle Muskelgedächtnis-Steuerung zu nutzen, wann immer möglich, aber die „Kopier“- und „Rat“-Fähigkeiten bereit zu haben, um einzuspringen, wenn es knifflig wird oder der Roboter auf etwas Neues stößt.

Die Kompromisse und Schwierigkeiten

Das Paper ist ehrlich bezüglich der Einschränkungen. Die „Ratestufe“ (L1) ist am langsamsten und benötigt etwa 46,57 Sekunden pro Teilaufgabe, da sie viel „denken“ und 3D-Kartierungen durchführen muss. Die „Kopier-Ebene“ (L2) ist mit 20,96 Sekunden schneller, und die „Muskelgedächtnis-Ebene“ (L3) ist am effizientesten für wiederholte Aufgaben und benötigt 37,90 Sekunden (wobei dies die Zeit für die tatsächliche Bewegung des Roboters einschließt, was ein langwieriger Prozess ist).

Die Autoren analysierten auch, wo Fehler auftraten. Von 120 Aufgabenversuchen wurden 73 perfekt und ohne Fehler abgeschlossen. Die aufgetretenen Fehler waren meist darauf zurückzuführen, dass der Roboter die Position eines Objekts falsch einschätzte (Wahrnehmungsfehler) oder das „Gehirn“ eine schlechte Abfolge von Bewegungen plante. Interessanterweise war das „Monitoring“ (die Überwachung) des Systems sehr gut; es identifizierte den Fehlschlag einer Aufgabe in 94,5 % der Fälle korrekt, was es dem System ermöglichte, es erneut zu versuchen oder um Hilfe zu bitten.

Die Autoren geben zu bedenken, dass HERO zwar ein großer Schritt nach vorn ist, aber noch nicht perfekt ist. Der „Rat“-Teil kann immer noch langsam sein und manchmal die 3D-Form von Objekten falsch interpretieren. Zudem verlässt sich der Roboter derzeit auf eine vordefinierte Liste von Bassbewegungen (wie „greifen“, „schieben“, „ziehen“), die Menschen ursprünglich entworfen haben mussten. Er kann noch keine völlig neuen Arten von Bewegungen aus sich heraus erfinden.

Das Fazit

Vereinfacht ausgedrückt beweist HERO, dass ein Roboter mit einem unbeschriebenen Blatt beginnen, durch Tun lernen und schließlich sein eigenes „Muskelgedächtnis“ entwickeln kann, ohne dass ein Mensch bei jedem Schritt die Hand halten muss. Es deutet darauf an, dass die Zukunft der Robotik nicht nur darin besteht, klügere Gehirne oder stärkere Arme zu bauen, sondern Systeme zu erschaffen, die nahtlos zwischen Denken, Kopieren und Reagieren wechseln können, während sie an Erfahrung gewinnen. Das Paper behauptet nicht, alle Roboterprobleme gelöst zu haben, bietet aber einen vielversprechenden Weg für Maschinen, die wirklich lernen und sich in unserer chaotischen, unvorhersehbaren Welt anpassen können.