Roboterarme werden in Fabriken und Laboren immer häufiger eingesetzt und übernehmen dabei präzise Aufgaben wie das Montieren von Elektronik oder das Sortieren von Objekten. Damit diese Maschinen gut funktionieren, benötigen sie ein „Gehirn“, das entscheiden kann, wie genau sich seine Gelenke basierend auf dem, was seine Kameras sehen, bewegen sollen. Dieser Entscheidungsprozess findet in einem Bruchteil einer Sekunde statt, immer und immer wieder, während der Roboter auf eine sich verändernde Welt reagiert. Die Herausforderung besteht darin, dass die reale Welt unordentlich und unvorhersehbar ist. Eine einzige Ansicht eines Blocks auf einem Tisch könnte mehrere verschiedene gültige Wege zum Greifen ermöglichen, abhängig von den vorherigen Bewegungen des Roboters oder leichten Veränderungen der Beleuchtung. Um mit dieser Unsicherheit umzugehen, haben Forscher Systeme entwickelt, die nicht nur eine einzige Antwort wählen, sondern statisch eine Bandbreite möglicher guter Aktionen erlernen. Die bisher erfolgreichsten Systeme nutzen eine Methode, die wie ein langsamer, sorgfältiger Bildhauer arbeitet: Sie beginnen mit einer zufälligen Vermutung und verfeinern diese Schritt für Schritt, bis die Aktion perfekt aussieht. Obwohl dieser Ansatz hochwertige Bewegungen erzeugt, ist er langsam. Das Gehirn des Roboters muss für jede einzelne Bewegung seines Computersystems viele Male durchlaufen werden, was eine Verzögerung erzeugt, die ihn für schnelle Echtzeitaufgaben oder das Erlernen neuer Fähigkeiten durch Versuch und Irrtum zu träge macht.

Ein Team von Forschern hat nun einen Weg gefunden, diese intelligenten Robotergehirne ebenso leistungsfähig, aber wesentlich schneller zu machen. Sie entwickelten ein neues System, das dieselben hochwertigen, mehroptionigen Aktionspläne in einem einzigen Augenblick erzeugt, anstatt Jahrzehnte von Schritten zur Verfeinerung zu benötigen. In ihrer Arbeit zeigten sie, dass sie, indem sie die Art und Weise änderten, wie der Roboter während des Trainings lernt, den Roboter dazu bringen konnten, den langsamen Verfeinerungsprozess vollständig zu überspringen. Anstatt zu lernen, seine Fehler nach dem Auftreten zu korrigieren, lernt der Roboter, die Antwort beim ersten Mal richtig zu treffen. Bei Tests an einer Suite von zwölf verschiedenen Roboteraufgaben erreichte diese neue Methode eine höhere durchschnittliche Erfolgsquote als die älteren, langsameren Systeme, während sie die Zeit für eine Entscheidung von einhundert Computerberechnungen auf nur eine reduzierte. Diese Beschleunigung ist nicht nur eine theoretische Verbesserung; an einem physischen Doppelarmroboter in einem echten Labor schloss das neue System 82 Prozent seiner Aufgaben ab, verglichen mit 5 59 Prozent für die bisher beste Einsteps-Methode, und reagierte dabei schnell genug, um den Roboter in Echtzeit zu steuern.

Der Kern dieses Durchbruchs liegt darin, wie der Roboter aus Beispielen lernt. Traditionelle Methoden, die hochwertige Aktionen produzieren, verlassen sich oft auf einen Prozess namens iteratives Denoising (Entrauschen). Stellen Sie sich vor, ein Roboter versucht, den besten Weg zu finden, einen Becher aufzuheben. Die alten Systeme könnten mit einer völlig zufälligen Handposition beginnen und die Hand dann langsam näher zum Becher führen, ihre Arbeit überprüfen, erneut leicht korrigieren und diesen Zyklus viele Male wiederholen, bis die Hand an der perfekten Stelle ist. Dies stellt sicher, dass der Roboter eine gute Lösung findet, aber es dauert Zeit. Der neue Ansatz, den die Forscher eine Drift-basierte Policy nennen, kehrt diese Logik um. Anstatt die Antwort während des eigentlichen Aktionsmoments zu verfeinern, lernt der Roboter, den gesamten Korrekturprozess während des Trainings zu internalisieren. Während des Trainings wird dem System viele Beispiele erfolgreicher Bewegungen gezeigt, und es wird darauf trainiert, vorherzusagen, wie eine zufällige Vermutung in Richtung einer korrekten Bewegung driften würde. Es lernt, diese Korrekturen in seine eigenen internen Einstellungen zu absorbieren, sodass es bei der endgültigen Anwendung nicht mehr diese langsamen, inkrementellen Schritte unternehmen muss. Es gibt einfach sofort die finale, korrigierte Aktion aus.

Um zu beweisen, dass diese Idee funktioniert, testeten die Forscher ihr System bei einer Vielzahl von Herausforderungen. Sie begannen mit einem Standardset von zwölf Simulationsaufgaben, die das Verschieben von Blöcken, das Anheben von Objekten und das Manipulieren von Werkzeugen umfassten. Die älteren, mehrstufigen Systeme erforderten, dass der Computer ihr Netzwerk einhundert Mal ausführ, um eine einzige Bewegung zu entscheiden. Das neue System erledigte dieselbe Aufgabe mit nur einem Durchlauf. Das Ergebnis war ein System, das nicht nur einhundertmal schneller, sondern auch insgesamt etwas erfolgreicher war und eine durchschnittliche Erfolgsquote von 83 Prozent im Vergleich zu 79 Prozent bei den langsameren Methoden erreichte. Dies demonstrierte, dass die Geschwindigkeit nicht zu Lasten der Qualität ging; der Roboter war bei der Aufgabe genauso gut, aber weitaus effizienter.

Die Forscher trieben das System dann weiter voran, um zu sehen, ob es komplexere, dreidimensionale Umgebungen bewältigen kann, in denen der Roboter die Welt als Punktwolke statt als flaches Bild sieht. Sie testeten es bei 37 verschiedenen Aufgaben, die von einfacher Objektmanipulation bis hin zu schwierigen geschickten Aufgaben wie der Verwendung eines Hammers oder dem Drehen einer Türklinke reichten. In diesen Tests übertraf das neue System erneut die führenden existierenden Methoden, die für die Geschwindigkeit eines einzelnen Schrittes konzipiert waren. Es erreichte eine durchschnittliche Erfolgsquote von 88,4 Prozent und schlug damit das nächstbeste Einsteps-System deutlich. Dies zeigte, dass die Methode robust genug war, um die Komplexität der realen 3D-Vision zu bewältigen, ohne die langsame, mehrstufige Verfeinerung zu benötigen, die zuvor für solch schwierige Aufgaben als notwendig erachtet worden war.

Ein Roboter, der gut darin ist, menschliche Demonstrationen zu kopieren, ist jedoch nicht immer gut darin, neue Probleme zu lösen oder aus Fehlern zu lernen. Um dies zu adressieren, fügten die Forscher einen zweiten Schritt zu ihrem Framework hinzu, der es dem Roboter ermöglicht, durch Online-Reinforcement-Learning zu lernen. Dies ist ein Prozess, bei dem der Roboter seine Leistung verbessert, indem er mit der Umgebung interagiert und Feedback über seinen Erfolg erhält, anstatt nur alte Videos zu kopieren. Die Herausforderung hierbei war, dass Standard-Lernalgorithmen normalerweise erfordern, dass das System die Wahrscheinlichkeit jeder möglichen Aktion berechnet, was für diese schnellen Ein-Schritt-Generatoren schwierig ist. Das Team löste dies durch die Erstellung einer speziellen Schnittstelle, die es dem Roboter ermöglichte, aus seinen Erfahrungen zu lernen, während seine schnelle Ein-Schritt-Natur intakt blieb. Sie fanden heraus, dass dieser Ansatz es dem Roboter ermöglichte, seine Fähigkeiten effektiv zu verfeinern, indem er seine Leistung bei Aufgaben verbesserte, für die er anfangs nur auf menschlichen Demonstrationen trainiert worden war.

Der abschließende Test brachte das System aus der Computersimulation auf einen physischen Roboter in einem echten Labor. Sie montierten das System auf einem Doppelarmroboter mit zwei Armen, ähnlich einem Menschen, und ließen ihn Aufgaben wie das Anheben eines Blocks, das Tragen einer Dose und das Bewegen von Objekten zwischen den beiden Armen ausführen. Der Robbot musste in Echtzeit auf visuelle Informationen von Kameras reagieren, ohne menschliches Eingreifen. Das System arbeitete mit einer durchschnittlichen Verzögerung von nur 9,5 Millisekunden vom Sehen der Welt bis zur Bewegung des Arms – eine Geschwindigkeit, die schnell genug für eine hochfrequente Steuerung ist. In einer Testreihe schloss der Roboter 123 von 150 Versuchen erfolgreich ab, was einer Erfolgsquote von 82 Prozent entspricht. Im Vergleich dazu schaffte das bisher beste Ein-Schritt-System nur 89 von 150 Versuchen, also 59 Prozent. Die auftretenden Fehler waren größtenteils auf physische Probleme wie das Rutschen des Objekts oder Kollisionen der beiden Arme zurückzuführen und nicht auf ein Versagen des Entscheidungssystems selbst.

Diese Arbeit legt nahe, dass der Kompromiss zwischen Geschwindigkeit und Intelligenz in der Robotersteuerung nicht so festgeschrieben ist, wie er einmal schien. Indem man die Last der Verfeinerung vom Moment der Aktion auf die Zeit des Lernens verlagert, ist es möglich, Robotersteuerungen zu schaffen, die sowohl hochgradig fähig als als auch unglaublich schnell sind. Die Forscher haben gezeigt, dass ein Roboter nicht die Zeit benötigt, um seine Optionen Schritt für Schritt durchzudenken, um eine gute Entscheidung zu treffen; er kann lernen, die richtige Entscheidung sofort zu treffen. Dies öffnet die Tür für Roboter, die mit der Geschwindigkeit menschlicher Reflexe operieren können und in der Lage sind, in Echtzeit auf die komplexen, unvorhersehbaren Umgebungen unserer Welt zu reagieren und sich an sie anzupassen. Der Code für dieses neue System wurde anderen Forschern zur Verfügung gestellt, um der Gemeinschaft zu ermöglichen, auf diesem Fundament der schnellen, generativen Steuerung aufzubauen.