Roboter sind seit langem die Meister der Fabrikhalle, wo die Welt vorhersehbar ist, die Beleuchtung konstant bleibt und jedes Objekt genau dort liegt, wo es gestern platziert wurde. Doch in dem Moment, in dem ein Roboter aus diesem kontrollierten Käfig heraustritt und in eine unordentliche Küche, eine vollgestellte Werkstatt oder eine belebte Straße gelangt, erstarrt er oft. Um in der realen Welt zuverlässig zu operieren, benötigt eine Maschine mehr als nur die Fähigkeit, ihre Arme zu bewegen; sie muss in der Lage sein, ihre Umgebung klar zu sehen, zu verstehen, was von ihr verlangt wird, und – entscheidend – sich vorzustellen, was passieren wird, wenn sie eine bestimmte Handlung vollzieht. Sie muss in der Lage sein, eine Szene wahrzunehmen, zu entscheiden, wie sie handeln soll, und über die Konsequenzen dieser Entscheidung nachzudenken, noch bevor sie auch nur einen Muskel rührt. Jahrzehntelang haben Wissenschaftler an diesen drei Fähigkeiten separat gearbeitet und sie als getrennte Probleme behandelt, die isoliert gelöst werden müssen.

Ein neuer Survey-Paper führt diese drei Forschungsstränge zusammen und argumentiert, dass der Weg zu wirklich fähigen Robotern nicht darin liegt, jeden Teil für sich allein besser zu machen, sondern sie zu einem einzigen, einheitlichen System zu verweben. Die Forscher, ein Team von Fujitsu und der Carnegie Mellon University, schlagen vor, dass die aktuelle Generation des Roboterlernens fragmentiert ist. Sie legen nahe, dass wir durch die Verknüpfung dessen, wie Roboter die Welt verstehen, wie sie zu handeln entscheiden und wie sie die Zukunft vorhersagen, Maschinen bauen können, die robust genug sind, um die Unvorhersehbarkeit menschlicher Umgebungen zu bewältigen. Diese Arbeit präsentiert keinen einzelnen neuen Roboter oder ein fertiges Produkt; vielmehr bietet sie eine Karte der gesamten Landschaft des Roboterlernens, identifiziert, wo die Lücken liegen, und zeichnet einen Kurs in Richtung einer integrierten Zukunft.

Das Paper ordnet das weite Feld des Roboterlernens in drei komplementäre Säulen ein. Die erste ist das Repräsentationslernen (Representation Learning), was im Wesentlichen die Art und Weise des Roboters ist, Sinn für das zu bekommen, was er sieht. Anstatt sich auf vorprogrammierte Listen zu verlassen, wie Objekte aussehen, nutzen moderne Roboter fortschrittliche Software, um strukturierte Informationen aus Rohbildern, Tiefensensoren und Takt-Daten zu extrahieren. Dies ermöglicht es ihnen, die räumlichen Beziehungen zwischen einer Tasse und einem Tisch oder die Textur einer Oberfläche zu verstehen, ohne dass ein Mensch die Regeln für jedes mögliche Szenario schreiben muss. Die zweite Säule ist das Vision-Language-Action-Modell. Dies sind Systeme, die es einem Roboter ermöglichen, eine visuelle Szene und eine gesprochene Anweisung, wie etwa „Hebe den roten Block auf“, direkt in physische Bewegungen zu übersetzen. Dies überbrückt die Lücke zwischen menschlicher Sprache und mechanischer Steuerung und ermöglicht es Robotern, hohen Anweisungen zu folgen, anstatt nur auf unmittelbare Reize zu reagieren. Die dritte Säule ist das Weltmodell (World Model). Dies ist der interne Simulator des Roboters, eine mentale Engine, die es ihm ermöglicht, die Frage zu stellen: „Wenn ich diese Tasse schubse, wohin wird sie gehen?“ Durch die Vorhersage, wie sich die Umgebung als Reaktion auf seine Handlungen entwickeln wird, kann der Roboter vorausplanen, Kollisionen vermeiden und die langfristigen Folgen seines Verhaltens verstehen.

Die Autoren des Surveys beobachten, dass jedes dieser Gebiete zwar rasante Fortschritte gemacht hat, sie sich jedoch weitgehend isoliert entwickelt haben. Ein Roboter mag exzellent darin sein, Objekte zu erkennen, aber schrecklich darin, vorherzusagen, wie sich diese Objekte bewegen, wenn man sie berührt. Ein anderer mag sehr gut darin sein, Sprachbefehlen zu folgen, aber daran scheitern, die physischen Einschränkungen seines eigenen Körpers zu verstehen. Diese Trennung schafft ein fragiles System. Wenn ein Roboter auf eine Situation stößt, die er noch nicht gesehen hat, oder wenn sich die Beleuchtung ändert oder ein Objekt sich anders verhält als erwartet, führt der Mangel an Integration zwischen Sehen, Handeln und Denken dazu, dass das System zusammenbricht. Die Forscher argumentieren, dass die größten Hürden, vor denen die Robotik heute steht – wie etwa die Unfähigkeit, auf neue Umgebungen zu generalisieren, die Schwierigkeit, Fähigkeiten von einem Typ von Roboter auf einen anderen zu übertragen, oder das Ringen mit der Planung langer Aktionssequenzen – nicht nur Probleme einzelner Komponenten sind. Sie sind Symptome eines tiefer liegenden Problems: dem Scheitern der Verbindung von Wahrnehmung, Aktion und Denken zu einem kohärenten Ganzen.

Um dies zu illustrieren, weist das Paper darauf hin, dass aktuelle Systeme die Zukunft oft als eine Serie unzusammenhängender Vermutungen behandeln. Ein Robot sieht vielleicht einen Block und entscheidet sich, ihn zu bewegen, aber wenn er nicht gleichzeitig darüber nachdenken kann, wie dieser Block mit einem Tisch interagieren wird oder wie ein plötzlicher Windstoß seinen Pfad verändern könnte, wird er scheitern. Der Survey hebt hervor, dass wahre Robustheit ein System erfordert, in dem die Repräsentation der Welt die Strategie für die Handlung formt und in dem die Vorhersage zukünftiger Zustände in den Entscheidungsprozess zurückfließt. Wenn ein Roboter beispielsweise unsicher ist darüber, was er sieht, sollte diese Unsicherheit seine Handlungen beeinflussen, indem er beispielsweise langsamer bewegt oder um Klärung bittet, anstatt blind fortzufahren. Ähnlich verhält es sich, wenn ein Roboter eine Fertigkeit von einem großen Arm auf eine kleine Hand übertragen muss: Er muss die Aufgabe auf einer Ebene verstehen, die unabhängig von dem spezifischen Körper ist, den er benutzt, indem er sich auf das Ziel statt auf die Mechanik konzentriert.

Die Forscher identifizieren mehrere kritische Herausforderungen, die gelöst werden müssen, um diese Einheit zu erreichen. Eine große Hürde ist die Fähigkeit, über lange Zeiträume zu argumentieren. Menschen behalten natürlicherweise Ereignisse im Gedächtnis, die Minuten zuvor stattgefunden haben, um ihr jetziges Handeln zu steuern, aber Roboter haben oft Schwierigkeiten, ein kohärentes Gedächtnis vergangener Interaktionen aufrechtzuerhalten, insbesondere wenn Teile der Szene verborgen sind oder die Auswirkungen einer Handlung verzögert eintreten. Eine weitere Herausforderung ist das „Out-of-Distribution“-Problem, bei dem ein Roboter auf eine Situation stößt, die sich grundlegend von allem unterscheidet, worauf er trainiert wurde. Aktuelle Modelle scheitern hier oft, weil sie gelernt haben, Muster in ihren Trainingsdaten zu erkennen, anstatt die zugrunde liegende Physik der Welt zu verstehen. Der Survey legt nahe, dass es nicht die Lösung ist, Roboter einfach mit mehr Daten zu füttern; stattdessen benötigen wir Systeme, die in der Lage sind, über die Beziehungen zwischen Objekten, Aufgaben und Handlungen zu argumentieren, was auch dann Bestand hat, wenn sich die Umgebung verändert.

Das Paper untersucht auch die Rolle der Unsicherheit. In der realen Welt sind Sensoren verrauscht und Objekte können teilweise verdeckt sein. Ein zuverlässiger Roboter muss wissen, was er nicht weiß. Er muss in der Lage sein, die Wahrscheinlichkeit verschiedener Ausgänge abzuschätzen und sein Verhalten entsprechend anzupassen. Die Autoren argumenten, dass dies einen probabilistischen Ansatz erfordert, bei dem der Roboter eine Überzeugung über den Zustand der Welt aufrechterhält und diese Überzeugung aktualisiert, während er neue Informationen sammelt. Dabei geht es nicht nur um Vorsicht; es geht um Anpassungsfähigkeit. Ein Roboter, der über Unsicherheit nachdenken kann, kann durch ein unordentliches Zimmer navigieren, ein rutschiges Objekt handhaben oder sich von einem Fehler erholen, ohne dass ein Mensch eingreifen muss.

Mit Blick auf die Zukunft skizziert der Survey einen Weg nach vorn, der über modulare Pipelines hinausgeht. Anstatt einen Roboter mit einem separaten „Auge“-Modul, einem separaten „Gehirn“-Modul und einem separaten „Hand“-Modul zu bauen, sollten die Systeme der nächsten Generation als eine einheitliche Einheit konzipiert sein. In dieser Vision wird die Art und Weise, wie ein Roboter die Welt wahrnimmt, durch das geprägt, was er tun muss, und die Art und Weise, wie er seine Handlungen plant, wird durch seine Vorhersagen der Zukunft informiert. Die Forscher schlagen vor, dass diese Integration neue Wege des Robotertrainings erfordern wird, etwa durch gemeinsame Repräsentationen, die sowohl der Wahrnehmung als auch der Vorhersage dienen, oder durch die Nutzung von Closed-Loop-Feedback, bei dem die Handlungen des Roboters ständig sein Verständnis der Welt verfeinern. Sie betonen, dass Large Language Models und generative KI zwar leistungsstarke Werkzeuge für das Verständnis von Sprache und Bildern bereitgestellt haben, der wahre Durchbruch jedoch kommen wird, wenn diese Werkzeuge in der physischen Realität des Roboterkörpers und seiner Umgebung verankert sind.

Das ultimative Ziel, wie im Paper beschrieben, ist die Schaffung autonomer Agenten, die in der offenen Welt mit derselben Fluidität und Anpassungsfähigkeit wie Menschen agieren können. Dies bedeutet Roboter, die aus Erfahrung lernen, Fähigkeiten auf verschiedene Körper übertragen können und über die Konsequenzen ihrer Handlungen über längere Zeiträume hinweg nachdenken können. Der Survey kommt zu dem Schluss, dass die einzelnen Teile des Puzzles zwar immer klarer werden, das Gesamtbild sich jedoch erst dann ergeben wird, wenn wir aufhören, Wahrnehmung, Aktion und Denken als separate Probleme zu behandeln. Indem wir diese Domänen überbrücken, können wir uns einer Zukunft nähern, in der Roboter nicht nur Werkzeuge sind, die Anweisungen befolgen, sondern Partner, die in der komplexen, unvorhersehbaren Welt, die wir teilen, verstehen, sich anpassen und gedeihen können.