Roboter hatten lange Zeit damit zu kämpfen, den Unterschied zwischen einem Befehl und der Realität zu verstehen. Jahrzehntelang konnten Ingenieure eine Maschine so programmieren, dass sie ihren Arm mit perfekter Präzision bewegte, aber diese Maschine konnte keinen einfachen Satz wie „hebe den roten Becher auf“ verstehen. In den letzten Jahren ist eine neue Art von künstlicher Intelligenz entstanden, um diese Lücke zu schließen. Diese Systeme, bekannt als Vision-Language-Action-Modelle, werden mit massiven Mengen an Daten trainiert, um zu verstehen, wie Wörter, Bilder und physische Bewegungen zusammenhängen. Sie können eine Szene betrachten, eine Anfrage lesen und entscheiden, was zu tun ist, was einen Ausblick auf eine Zukunft bietet, in der Robotern gesagt werden kann, was sie tun sollen, anstatt codierte Anweisungen zu verwenden. Es bleibt jedoch ein hartnäckiges Problem bestehen: Diese Modelle werden oft für einen spezifischen Roboter in einer kontrollierten Umgebung trainiert, und wenn Forscher versuchen, sie auf eine andere Maschine zu übertragen – selbst auf eine nur leicht andere –, scheitert der Roboter oft. Er versteht die Worte vielleicht perfekt, stolpert aber bei der physischen Handlung des Greifens eines Objekts, oder schlimmer noch, er vergisst völlig, wie man Anweisungen befolgt, wenn er gezwungen wird, eine neue Aufgabe zu lernen.

Ein Team von Forschern an der University of Illinois Urbana-Champaign hat einen Weg gefunden, dies zu beheben, ohne Tausende von Stunden neuer menschlicher Demonstrationen sammeln zu müssen. Sie entdeckten, dass die gescheiterten Versuche eines Roboters, eine Aufgabe auszuführen, immer noch wertvolle Informationen enthalten. Indem sie den Roboter an der Versuchung lassen, Dinge auf eigene Faust auszuprobieren, und aus diesen Versuchen lernen, können sie ihm neue Fähigkeiten beibringen, während sie die Fähigkeit des Roboters, Sprache zu verstehen, intakt halten. Ihr Ansatz umfasst einen zweistufigen Prozess. Zuerst nehmen sie ein vorab trainiertes „Robotergehirn“ und zeigen ihm eine kleine Menge an Experten-Daten – nur vierzehn Minuten, in denen ein Mensch den Roboter durch eine spezifische Aufgabe führt, wie etwa das Aufheben eines Würfels. Dies lehrt den Roboter die feinen motorischen Fähigkeiten, die für diese spezifische Maschine erforderlich sind. Aber wenn sie hier aufhören, vergisst der Roboter alles andere, was er wusste, wie zum Beispiel, wie man ein Objekt an einer anderen Stelle platziert oder wie man mit verschiedenen Arten von Gegenständen umgeht. Um dies zu lösen, ließen die Forscher den Roboter auf eigene Faust üben, indem er die Anweisungen verwendet, die er bereits versteht. Sie baten den Roboter, verschiedene Aufgaben auszuprobieren, die er bereits gesehen hatte, zeichneten auf, was er tat, und nutzten diese Aufzeichnungen als zusätzliche Trainingsdaten. Diese Methode, die sie selbstüberwachtes Lernen (self-supervised learning) nennen, ermöglicht es dem Roboter, seine alten Fähigkeiten zu wiederholen, während er neue lernt, wodurch effektiv verhindert wird, dass er das, was er bereits wusste, vergisst.

Die Ergebnisse dieses Experiments waren beeindruckend. Als das Team seine Methode an einem echten Roboter mit zwei Armen testete, lernte der Roboter, Objekte aufzunehmen und in Körbe zu legen, selbst bei Aufgaben, die ihm nie explizit durch einen Menschen beigebracht worden waren. In einem Testlauf, bei dem ein Roboter, der nur auf menschlichen Demonstrationen zum Aufheben von Objekten trainiert wurde, völlig vergaß, wie man sie platziert, scheiterte er beim Bewegen des Objekts in einen Behälter zu 100 %. Als die Forscher die selbst generierten Übungsdaten des Roboters zum Training hinzufügten, sprang die Erfolgsquote für das Platzieren von Objekten auf 55 %, und die Fähigkeit des Roboters, Anweisungen zu befolgen, verbesserte sich signifikant. Der Roboter lernte nicht nur, Dinge zu greifen; er lernte, den vollständigen Satz zu verstehen, indem er wusste, wann er nach dem Aufheben aufhören musste und wann er zu einem zweiten Ort gehen musste, um etwas abzulegen. Dies galt selbst dann, wenn die Objekte neu waren oder die Anordnung der Gegenstände im Raum anders war als das, was der Roboter zuvor gesehen hatte.

Die Forscher testeten diese Idee auch in einer simulierten Umgebung, einer digitalen Welt, in der Roboter schnell lernen können, ohne das Risiko einzugehen, Hardware zu beschädigen. In diesen Simulationen fanden sie heraus, dass das Training auf neuen Aufgaben unter Verwendung ausschließlich menschlicher Daten dazu führte, dass der Roboter die Fähigkeit verlor, alte Aufgaben auszuführen, wobei die Erfolgsraten von über 90 % auf weniger als 17 % sanken. Durch das Mischen der selbst generierten Übungsdaten des Roboters stellten sie die Fähigkeit zur Ausführung der alten Aufgaben wieder her, wobei die Erfolgsraten auf über 70 % stiegen, während sie gleichzeitig die Leistung bei den neuen Aufgaben verbesserten. Dies deutet darauf hin, dass die eigenen Versuche des Roboters, selbst wenn sie scheitern, eine Art Gedächtnis der physischen Welt in sich tragen, das ihm hilft, flexibel zu bleiben. Das Team merkte an, dass dieser Ansatz besonders nützlich ist, da er keinen Zugriff auf die ursprünglichen, massiven Datensätze erfordert, die zur Ersttrainierung des Roboters verwendet wurden und die oft geheim gehalten werden von den Unternehmen, die sie erstellen. Stattdessen generiert der Roboter sein eigenes Lernmaterial direkt in der Fabrikhalle oder im Zuhause.

Eine der überraschendsten Erkenntnisse war, wie gut diese Methode die Fähigkeit des Roboters bewahrte, Aufgaben zu bewältigen, für die er nie trainiert wurde. Die Forscher testeten eine Fertigkeit namens „Schieben“, die nicht Teil der Trainingsdaten für weder die menschlichen Demonstrationen noch die selbst generierten Übungen war. Ein Roboter, der nur auf menschlichen Demonstrationen zum Aufheben und Platzieren von Obelten trainiert wurde, neigte dazu, die Anweisung zum Schieben zu ignorieren und statっdessen versuchte, das Objekt aufzuheben, wodurch er die Aufgabe verfehlte. Der Roboter, der mit der selbstüberwachten Methode trainiert wurde, verstand jedoch die Anweisung zum Schieben korrekt und führte die Bewegung in 70 % der Fälle aus. Dies zeigt, dass der selbstüberwachte Ansatz dem Roboter hilft, sein breiteres Verständnis der Bewegung beizubehalten, anstatt es durch ein eng gefasstes Set an Gewohnheiten zu überschreiben. Die Forscher beobachteten, dass der Roboter sogar komplexe Situationen bewältigen konnte, wie etwa sich umzudrehen, um hinter sich zu schauen, wenn ein Objekt außer Sichtweite war – ein Verhalten, das der nur auf menschlichen Daten trainierte Roboter nicht zeigte.

Die Studie unterstreicht einen grundlegenden Wandel in der Art und Weise, wie Roboter an neue Umgebungen angepasst werden können. Anstatt den Fehlern eines Roboters als nutzloses Rauschen zu begegnen, behandelten die Forscher sie als eine Ressource. Indem sie die eigenen Handlungen des Roboters als eine Form des Übens nutzten, schufen sie ein System, das sowohl anpassungsfähig als als auch robust ist. Das Team demonstrierte, dass mit nur einer winzigen Menge menschlicher Anleitung, kombiniert mit der eigenen Praxis des Roboters, eine einzige Strategie (Policy) lernen kann, eine Vielzahl von Aufgaben auf einer neuen Maschine auszuführen. Dieser Ansatz löst das Problem des „katastrophalen Vergessens“, bei dem das Erlernen von etwas Neuem dazu führt, dass ein System alles verliert, was es zuvor wusste. Die Forscher fanden heraus, dass diese Methode nicht nur für einfache Aufgaben wie das Stapeln von Blöcken funktioniert, sondern auch für komplexe, kontaktintensive Aufgaben wie das Einsetzen von Zahnrädern in ein bewegliches Brett, wobei sich die Erfolgsrate von 30 % auf 90 % verbesserte.

Obwohl die Methode leistungsstark ist, räumen die Forscher ein, dass sie nicht perfekt ist. Der Roboter erbt manchmal kleine Eigenheiten aus seinen selbst generierten Daten, wie etwa in einer Schleife aus Aufheben und Ablegen eines Objekts steckenzubleiben oder beim Versuch, Wäsche in einen Korb zu legen, den Rand des Korbes mitzuziehen. Diese Probleme entstehen, weil der Roboter von seinen eigenen unvollkommenen Versuchen lernt. Um unsicheres Verhalten zu verhindern, filterten die Forscher die schlechtesten Beispiele manuell heraus, bevor sie für das Training verwendet wurden, merkten jedoch an, dass die Automatisierung dieses Prozesses ein notwendiger Schritt zur Skalierung der Technologie wäre. Trotz dieser Einschränkungen bietet die Arbeit einen vielversprechenden Weg in die Zukunft, um Roboter praktischer und einfacher einsatzbereit zu machen. Sie legt nahe, dass der Schlüssel zu einem vielseitigen Roboter nicht nur in der Sammlung von mehr menschlichen Daten liegt, sondern darin, der Maschine beizubringen, aus ihren eigenen Erfahrungen zu lernen, sodass sie ihr Wissen mitnimmt, wenn sie von einer Aufgabe zur nächsten übergeht.