Roboter, die durch Tun lernen, werden zur Realität, aber sie benötigen oft ein erschöpfendes Maß an Übung, um selbst einfache Aufgaben zu meistern. Um eine Tasse von einem Tisch in ein Regal zu bewegen, muss ein Roboter die Bewegung möglicherweise tausende Male ausführen und dabei wiederholt scheitern, bevor er schließlich Erfolg hat. Dieser Prozess von Versuch und Irrtum ist das Herzstück eines Feldes namens Reinforcement Learning (bestärkendes Lernen), bei dem ein Agent durch Interaktion mit seiner Umgebung und durch Rückmeldungen auf seine Handlungen lernt. Während jüngste Fortschritte diesen Lernprozess beschleunigt haben, verlangen die komplexesten Aufgaben, wie das Zusammenbauen eines Werkzeugs oder das Navigieren durch einen unordentlichen Raum, immer noch riesige Mengen an Daten. Forscher suchen ständig nach Wegen, diese Roboter effizienter zu machen, in der Hoffnung, den Zeit- und Energieaufwand für ihr Training zu reduzieren. Eine vielversprechende Idee war es, Robotern ein „Weltmodell“ zu geben – eine mentale Simulation, die es ihnen ermöglicht, sich vorzustellen, was passieren würde, wenn sie eine bestimmte Aktion ausführten, anstatt nur blind zu raten. Die Verwendung dieser mentalen Simulationen, um den Roboter direkt zu trainieren, war jedoch historisch gesehen riskant; wenn die Vorstellungskraft des Roboters auch nur leicht falsch ist, können sich diese Fehler aufstauen, was dazu führt, dass der Roboter eine verzerrte Version der Realität lernt, die in der realen Welt scheitert.

Ein Team von Forschern der Stanford University und der Peking University hat einen neuen Ansatz entwickelt, der diese Gefahr umgeht, indem es ändert, wann der Roboter seine Vorstellungskraft nutzt. Anstatt sich darauf zu verlassen, dass das Weltmodell dem Roboter beibringt, wie er sich bewegen soll, nutzen sie es nur im Moment der Entscheidung. Ihre Methode, genannt QWM, ermöglicht es einem Roboter, seine Kernkompetenzen durch Interaktionen in der realen Welt zu erlernen, wodurch sichergestellt wird, dass sein Verständnis von Physik und Ursache-Wirkung in der Realität verwurzelt bleibt. Doch wenn der Roboter vor einer neuen Situation steht und entscheiden muss, was er als Nächstes tun soll, hält er inne, um eine kurze mentale Simulation durchzuführen. Er stellt sich mehrere mögliche Zukünfte für jede potenzielle Aktion vor, prognostiziert, wie sich die Welt verändern würde, und wählt dann die Aktion aus, die zum besten Ergebnis führt. Dieser Prozess ähnelt der Art und Weise, wie ein Schachspieler einige Züge vorausblickt, bevor er einen Zug vollzieht, aber hier blickt der Roboter voraus, um zu sehen, welche physische Aktion die höchste Belohnung bringen wird.

Die Forscher testeten dieses System bei anspruchsvollen robotergestützten Manipulationsaufgaben, wie dem Heben von Objekten, dem Platzieren von Dosen und dem Zusammenbauen von Werkzeugen. Sie verglichen ihre Methode mit anderen leistungsstarken Algorithmen, die entweder ohne ein mentales Modell lernen oder vollständig innerhalb einer simulierten Welt lernen. Die Ergebnisse zeigten, dass QWM diese anderen Methoden deutlich übertraf. Es lernte schneller, benötigte weniger Versuche in der realen Welt, um ein hohes Maß an Erfolg zu erreichen, und agierte über verschiedene Aufgaben hinweg zuverlässiger. Entscheidend war, dass das System die häufige Falle vermeidete, bei der das interne Modell eines Roboters so fehlerhaft wird, dass es dem Roboter schlechte Angewohnheiten beibringt. Indem sie den Lernprozess an reale Daten banden und die Vorstellungskraft nur zur Verfeinerung von Entscheidungen im allerletzten Moment nutzten, erhielt der Roboter das Beste aus beiden Welten: die Sicherheit des realen Lernens und die Voraussicht eines prädiktiven Modells.

Der Erfolg dieses Ansatzes hängt davon ab, wie der Roboter seine mentale Suche konstruiert. Wenn der Roboter handeln muss, wählt er nicht einfach eine zufällige Vermutung oder verlässt sich auf eine einzige Vorhersage. Stattdessen generiert er einen Baum von Möglichkeiten. Von seiner aktuellen Position aus betrachtet er mehrere verschiedene Aktionen. Für jede Aktion nutzt er sein Weltmodell, um den nächsten Zustand der Welt vorherzusagen. Dann wiederholt er diesen Prozess und stellt sich vor, was passieren würde, wenn er von diesem neuen Zustand aus eine weitere Aktion vollzöge, und so weiter, wodurch ein verzweigender Pfad potenzieller Zukünfte entsteht. Der Roboter bewertet diese Pfade nicht nur anhand des unmittelbaren Ergebnisses, sondern indem er den Wert der gesamten vorgestellten Sequenz aggregiert. Er kombiniert sein direktes Wissen darüber, was eine Aktion wert ist, mit den vorhergesagten Belohnungen aus den zukünftigen Schritten, die er sich vorgestellt hat. Dies ermöglicht es dem Roboter, über den gegenwärtigen Moment hinauszublicken und Aktionen zu wählen, die im Moment vielleicht schwierig erscheinen, aber später zu einem viel besseren Ergebnis führen.

Eine der bedeutendsten Erkenntnisse ist, dass diese Methode auch dann funktioniert, wenn der Roboter die Welt durch eine Kamera betrachtet und mit hochdimensionalen visuellen Informationen arbeitet, statt mit einfachen Zahlen. In diesen pixelbasierten Umgebungen ist es unglaublich schwierig, ein perfektes Weltmodell zu erlernen, doch die Forscher fanden heraus, dass selbst ein etwas unvollkommenes Modell einen massiven Leistungsschub bewirken kann, wenn es für diese Art der Suche zur Testzeit verwendet wird. Der Roboter musste kein perfekter Prädiktor sein, um davon zu profitieren; er musste lediglich gut genug sein, um zwischen einer guten und einer schlechten Aktion zu unterscheiden. Die Studie untersuchte auch, wie tief der Roboter in die Zukunft blicken sollte. Zu weit in die Zukunft zu blicken, führte zu zu viel Unsicherheit, da die Vorhersagen weniger zuverlässig wurden, während ein zu flacher Blickfall es versäumte, die langfristigen Folgen einer Aktion zu erfassen. Die Forscher fanden einen optimalen Punkt („Sweet Spot“), an dem der Roboter einige Schritte vorausblick, genug, um effektiv zu planen, ohne sich im Rauschen der Vorhersagefehler zu verlieren.

Die Forscher verglichen ihre Methode auch mit anderen Arten der Nutzung von Weltmodellen, wie etwa dem Training des Roboters vollständig innerhalb der Simulation. Sie fanden heraus, dass diese Methoden oft Schwierigkeiten hatten, insbesondere bei Aufgaben mit spärlichen Belohnungen (sparse rewards), bei denen der Roboter erst am Ende ein Signal erhält, wenn er erfolgreich war. In diesen Fällen häuften sich die Fehler in der Simulation schnell an, was es schwierig machte, dass der Robkoter etwas Nützliches lernte. Im Gegensatz dazu hielt der QWM-Ansatz das Training in der Realität verankert. Die Kernpolitik des Roboters und sein Verständnis von Werten wurden nur mit Daten aus der realen Welt aktualisiert. Das Weltmodell war lediglich ein Werkzeug zur Auswahl, ein Weg, die Entscheidungsfindung des Roboters zu schärfen, ohne sein grundlegendes Lernen zu korrumpieren. Diese Unterscheidung erwies sich als entscheidend und ermöglichte es dem System, auf komplexe, reale Robotikprobleme zu skalieren, an denen frühere modellbasierte Methoden gescheitert waren.

Letztendlich zeigt die Arbeit, dass die Kraft eines Weltmodells nicht unbedingt darin liegt, die reale Welt zu ersetzen, sondern darin, unsere Fähigkeit zu verbessern, sie zu navigieren. Indem sie die Vorstellungskraft als Filter für die Auswahl statt als Ersatz für Erfahrung nutzen, haben die Forscher ein System geschaffen, das sowohl probeneffizient als auch robust ist. Der Roboter lernt aus den harten Lektionen der Realität, nutzt aber seinen Geist, um Fehler zu vermeiden, bevor sie geschehen. Dieser Ansatz bietet einen praktischen Weg nach vorn für den Einsatz von Robotern in unstrukturierten Umgebungen, in denen die Fähigkeit zu planen und sich anzupassen ebenso wichtig ist wie die Fähigkeit zu lernen. Die Ergebnisse legen nahe, dass die Zukunft des robotischen Lernens nicht darin liegen könnte, perfekte Simulationen zu bauen, sondern Roboter zu bauen, die wissen, wann sie ihrer Erfahrung und wann sie ihrer Vorstellungskraft vertrauen sollen.