Einen Roboter dazu zu bringen, feinfühlige physische Aufgaben in der realen Welt auszuführen, ist ein notorisch schwieriges Unterfangen. Im Gegensatz zu Computerprogrammen, die in einem perfekten digitalen Vakuum laufen, müssen physische Maschinen in einer unordentlichen Umgebung navigieren, in der ein einziger falscher Schritt ein Teil beschädigen, die Maschine beschädigen oder den Roboter schlichtweg stecken lassen kann. Um zu lernen, wie man solche Fallstricke vermeidet, verlassen sich Roboter traditionell auf Reinforcement Learning, einen Prozess aus Versuch und Irrtum, bei dem die Maschine eine Aktion ausprobiert, sieht, was passiert, und ihr Verhalten basierend auf einem Belohnungssignal anpasst. In der physischen Welt ist dieser Prozess jedoch langsam und gefährlich. Wenn ein Roboter versucht, einen Stecker in eine Steckdose einzustecken und scheitert, kann er den Mechanismus blockieren oder die Oberfläche zerkratzen. Zudem ist die „Belohnung“ für den Erfolg oft selten; der Roboter muss es möglicherweise tausendfach versuchen, bevor er den Stecker zufällig hineinbekommt, was den Lernprozess unglaublich ineffizient macht. Um dies zu beschleunigen, haben sich Forscher zuvor an menschliche Lehrer gewandt, die dem Roboter zeigten, wie man eine Aufgabe ausführt, oder ihn physisch anleiteten, wenn er stecken blieb. Aber dieser Ansatz hat einen schwerwiegenden Mangel: Er erfordert, dass ein Mensch bei jeder einzelnen Trainingssitzung anwesend und wachsam ist, was erschöpfend, teuer und nicht skalierbar ist.

Ein Team von Forschern hat ein neues System namens AutoSERL entwickelt, das dieses Problem löst, indem es einen Roboter mit nur einer einzigen Demonstration lehrt, ohne dass danach ein Mensch zusehen muss. Das System funktioniert, indem es eine einzige aufgezeichnete Beispielsequenz eines Menschen, der eine Aufgabe erfolgreich abgeschlossen hat, nimmt und diese Aufnahme in einen Satz automatischer Regeln umwandelt, die das Lernen des Roboters leiten. Die Forscher testeten dies bei sechs verschiedenen schwierigen Aufgaben, wie etwa dem Einstecken von Steckern, dem Aufhängen von Objekten an Haken und dem Aufziehen von Schubladen. In jedem Fall lernte der Roboter, die Aufgabe mithilfe nur dieses einen anfänglichen Beispiels perfekt auszuführen, und übertraf schließlich Systeme, die mit zwanzig Beispielen trainiert wurden oder die eine ständige menschliche Aufsicht benötigten. Die entscheidende Innovation besteht darin, dass der Roboter lernt, zu erkennen, wenn er vom Weg abkommt oder stecken bleibt, und sich automatisch korrigiert, indem er sich auf die einzelne Demonstration bezieht, wodurch die Notwendigkeit eines menschlichen Lehrers effektiv ersetzt wird.

Die Kernherausforderung, die die Forscher adressierten, bestand darin, wie man einen Roboter sicher und auf dem richtigen Pfad hält, ohne dass ständig ein Mensch zuschaut. Bei früheren Methoden griff ein Mensch ein, wann immer der Roboter einen Fehler machte, indem er ihn physisch in eine sichere Position zurückführte oder ihn zum Ziel leitete. Dieser „Human-in-the-loop“-Ansatz funktionierte gut, war aber für ein langfristiges Training nicht praktikabel. Das neue System, AutoSERL, automatisiert diesen Interventionsprozess. Es beginnt mit einer einzigen Demonstrations-Trajektorie, was im Grunde eine Aufzeichnung der Handbewegung des Roboters vom Start einer Aufgabe bis zum Ende ist. Aus dieser einen Aufnahme extrahiert das System drei spezifische Mechanismen, um den Roboter während des Lernens zu leiten.

Der erste Mechanismus ist ein gleitendes Zeitfenster (Sliding Window), das wie eine bewegliche Führungsschiene wirkt. Während der Roboter versucht, die Aufgabe auszuführen, vergleicht das System ständig die aktuelle Position des Roboters mit dem Pfad, der in der einzelnen Demonstration gezeigt wird. Wenn der Roboter zu weit vom korrekten Pfad abweicht, stößt das System ihn sanft zurück zum nächstgelegenen Punkt auf der Demonstrationslinie. Entscheidend ist, dass diese Führung den Roboter immer nur vorwärts entlang des Pfades zieht; sie zieht ihn niemals rückwärts zu einem Ort, den er bereits besucht hat. Dies verhindert, dass der Roboter in einer Schleife stecken bleibt oder hin und her oszilliert, was ein häufiger Fehlermodus ist, wenn Roboter versuchen, schwierige Aufgaben im Alleingang zu lernen. Da die ursprüngliche Demonstration sicher aufgezeichnet wurde, stellt das Befolgen ihres Pfades auch sicher, dass der Roboter Hindernisse in der Umgebung vermeidet.

Der zweite Mechanismus behandelt Situationen, in denen der Roboter physisch feststeckt, beispielsweise weil ein Teil klemmt oder der Roboter ein Objekt in einem ungünstigen Winkel hält. Das System überwacht den Fortschritt des Roboters und kann erkennen, ob er aufgehört hat sich zu bewegen oder damit kämpft, mit einem Objekt zu interagieren. Wenn dies geschieht, führt das System den Roboter automatisch zu einem spezifischen, sicheren Wiederherstellungspunkt zurück, der in der ursprünglichen Demonstration definiert ist. Von dort aus spielt das System das Segment der Demonstration ab, das zeigt, wie man erfolgreich von diesem sicheren Punkt zur nächsten Phase der Aufgabe gelangt. Dies ermöglicht es dem Roboter, aus einem Stillstand sofort wieder aufzuschließen, ohne darauf warten zu müssen, dass ein Mensch das Problem bemerkt und eingreift.

Der dritte Mechanismus ist eine Regel dafür, wann man aufhören soll zu helfen. Das Ziel des Trainings ist es, dass der Roboter die Aufgabe schließlich selbstständig lernt, daher ist das System darauf ausgelegt, die automatische Führung abzuschalten, sobald der Roboter genug gelernt hat. Das System zählt, wie oft es während einer Trainingssitzung intervenieren muss. Wenn der Robante die Aufgabe mit sehr wenigen Interventionen erfolgreich abschließt, geht das System davon aus, dass der Roboter die Fertigkeit gelernt hat, und deaktiviert alle weiteren Führungen. Dies ermöglicht es dem Roboter, seine Bewegungen zu explorieren und zu verfeinern, ohne durch die Demonstration eingeschränkt zu werden, wodurch sichergestellt wird, dass er eine robuste und unabhängige Strategie entwickelt.

Die Forscher testeten dieses Framework mit zwei verschiedenen Roboterarmen bei sechs unterschiedlichen Aufgaben. Diese Aufgaben wurden gewählt, weil sie präzisen physischen Kontakt erfordern und kaum Spielraum für Fehler lassen. Zu den Aufgaben gehörnten das Einstecken eines Steckers in eine Steckdose, das Einstecken eines USB-Sticks, das Aufhängen eines Korrekturgeräte-Spenders, eines Kleiderbügels und eines Löffels an einem Haken sowie das Aufziehen einer Schublade mit einem Haken. Bei den Insertionsaufgaben erreichte der mit AutoSERL trainierte Roboter unter Verwendung von nur einer Demonstration eine Erfolgsquote von 100 Prozent. Im Vergleich zu anderen Methoden waren die Ergebnisse eindeutig. Ein System, das mit zwanzig Demonstrationen trainiert wurde, erreichte in der gleichen Zeit nicht das gleiche Erfolgsniveau. Ein System, das lediglich die Bewegungen des Menschen kopierte, ohne zu lernen, konnte sich nicht an kleine Positionsänderungen anpassen. Selbst ein System, das darauf angewiesen war, dass ein Mensch jedes Mal eingreift, wenn der Roboter stecken blieb, brauchte länger, um die Aufgabe zu lernen, oder benötigte die gleiche Zeit, um vergleichbare Ergebnisse zu erzielen.

Die Studie untersuchte auch, wie gut der Roboter mit Veränderungen in der Umgebung umgehen kann. In einem Test verschoben die Forscher die Startposition des Objekts, das der Roboter einstecken sollte, um einige Zentimeter. Selbst mit dieser Änderung lernte der mit AutoSERL trainierte Roboter schneller und war erfolgreicher als ein Roboter, der ohne die automatisierte Führung trainiert wurde. Dies deutet darauf hin, dass das System nicht nur den exakten Pfad des Menschen auswendig lernt, sondern die zugrunde liegende Logik der Aufgabe begreift und auf neue Startpunkte reagieren kann. Die Forscher fanden auch heraus, dass das System über verschiedene zufällige Startbedingungen hinweg robust ist und unabhängig von der Initialisierung des Trainings konsistent hohe Erfolgsraten erzielt.

Obwohl die Ergebnisse beeindruckend sind, räumen die Forscher ein, dass das System Grenzen hat. Der Wiederherstellungsmechanismus stützt sich auf die Informationen, die in der einzelnen Demonstration enthalten sind. Wenn der Roboter auf einen Fehlermodus stößt, der in der ursprünglichen Aufnahme nie gezeigt wurde, weiß das System möglicherweise nicht, wie es sich erholen kann. Wenn der Roboter beispielsweise auf eine Weise stecken bleibt, die völlig anders ist als die im Original, könnte die automatisierte Führung keine Lösung haben. Die Forscher schlagen vor, dass zukünftige Arbeiten die Verwendung mehrerer Demonstrationen beinhalten könnten, um ein robusteres Wiederherstellungssystem zu schaffen, das eine größere Vielfalt an Fehlern bewältigen kann. Zudem ist das aktuelle System für Aufgaben konzipiert, bei denen sich die Hand in sechs Freiheitsgraden bewegt, und es ist noch nicht klar, wie gut es bei komplexeren Aktionen mit vielen beweglichen Teilen funktionieren würde.

Trotz dieser Einschränkungen stellen die Ergebnisse einen bedeutenden Schritt nach vorn dar, um das Lernen von Robotern praktisch nutzbar zu machen. Durch den Ersatz des menschlichen Lehrers durch ein intelligentes, automatisiertes System, das aus einem einzigen Beispiel lernt, haben die Forscher gezeigt, dass Roboter schwierige physische Aufgaben effizient und sicher erlernen können. Das System überbrückt erfolgreich die Lücke zwischen der Sicherheit menschlicher Anleitung und der Unabhängigkeit, die ein Roboter benötigt, um selbstständig zu lernen. In den sechs getesteten Aufgaben erreichte der automatisierte Ansatz nicht nur die Leistung des menschlich überwachten Trainings, sondern übertraf oft andere automatisierte Baselines, was beweist, dass eine einzige, gut strukturierte Demonstration ausreicht, um das Potenzial des realen Roboterlernens freizusetzen.