Intelligenz bedeutet nicht nur, die Welt zu sehen; es geht darum, zu wissen, wie man sie verändert. Seit Jahrzehnten bauen Wissenschaftler Computersysteme, die Objekte in einem Foto erkennen oder eine Szene in einem Satz beschreiben können. Vor kurzem haben sie Modelle entwickelt, die sich vorstellen können, wie sich eine Szene im Laufe der Zeit entwickeln könnte, indem sie den nächsten Frame eines Videos basierend auf dem vorherigen vorhersagen. Diese Systeme lernen die Physik der Welt – wie ein Becher fällt, wie eine Tür schwingt – indem sie riesige Mengen an Videomaterial beobachten. Es gibt jedoch eine Lücke zwischen dem Beobachten der Welt und dem Handeln innerhalb derselben. Ein Roboter benötigt mehr als nur eine Vorhersage dessen, was passieren wird; er muss wissen, welche spezifischen Bewegungen er ausführen muss, damit diese Vorhersage Wirklichkeit wird. Dies ist die Herausforderung des verkörperten Lernens (embodied learning): die Brücke zu schlagen zwischen dem Verständnis einer visuellen Zukunft und dem Erzeugen der physischen Handlungen, um diese zu erreichen.

Ein Forschungsteam hat einen neuen Ansatz namens OpenWAM vorgestellt, um dieses Problem zu lösen. Anstatt einen einzelnen, starren Roboter-„Geist“ zu bauen, der schwer zu verändern oder zu verstehen ist, entwickelten sie ein offenes, modulares System, das das Design eines Roboter-Controllers wie einen Satz austauschbarer Teile behandelt. Sie brachen die komplexe Aufgabe, einen Roboter das Handeln beizubringen, in drei unterschiedliche Fragen herunter: Welches Wissen sollte der Roboter aus Videos erben, wie sollten das Verständnis des Roboters für die Welt und seine Fähigkeit sich zu bewegen zusammenarbeiten, und wie kann dieses Lernen auf verschiedene Arten von Robotern und Umgebungen skaliert werden? Durch die Beantwortung dieser Fragen mittels kontrollierter Experimente destillierten sie einen Satz von Prinzipien, die zur Erstellung von OpenWAM-α führten, einem leistungsfähigen neuen Modell, das lernen kann, Objekte sowohl in simulierten als als auch in realen Umgebungen zu manipulieren.

Die Forscher begannen mit der Frage, welche Art von „Weltwissen“ ein Roboter als Ausgangspunkt haben sollte. Sie testeten, ob der Roboter von einem massiven Videogenerator lernen sollte, der Millionen von Stunden Videomaterial gesehen hat, oder ob er sich auf einen einfacheren visuellen Encoder verlassen sollte. Sie fanden heraus, dass die besten Ergebnisse durch die Verwendung eines großen, vortrainierten Videogenerators als Fundament erzielt wurden. Dieses Modell versteht bereits, wie sich Objekte bewegen und interagieren, und bietet somit einen reichhaltigen Vorsprung. Es reichte jedoch nicht aus, einfach einen Roboterarm an dieses Videomodell anzudocken. Die Forscher entdeckten, dass der Roboter auch eine kompakte, effiziente Methode benötigte, um das, was er sieht, darzustellen. Sie testeten verschiedene Methoden, um visuelle Informationen in eine kleinere, handhabbarere Form zu komprimieren, und fanden heraus, dass eine spezifische Art der Kompression, die die wesentlichen Details der Welt beibehielt, während sie das Rauschen aussortierte, am besten funktionierte. Dies ermöglichte es dem Roboter, sich auf die wichtigen Teile einer Szene zu konzentrieren, ohne von Daten überfordert zu werden.

Als Nächstes untersuchte das Team, wie die „Struktur des Gehirns“ des Roboters beschaffen sein sollte, um sein Verständnis der Welt mit seiner Fähigkeit sich zu bewegen zu verbinden. Sie verglichen verschiedene Architekturdesigns, die von Modellen reichten, in denen das Video- und das Aktionsmodell völlig getrennt waren, bis hin zu jenen, in denen sie tief miteinander verwoben waren. Ihre Experimente zeigten, dass das effektivste Design ein Dual-System-Ansatz war. In diesem Aufbau konzentriert sich ein Teil des Modells darauf, den zukünftigen visuellen Zustand der Welt vorherzusagen, während ein dedizierter Teil darauf fokussiert ist, die Sequenz der Bewegungen zu generieren. Entscheidend war, dass diese beiden Teile ständig miteinander kommunizieren durften. Der Aktionsgenerator konnte die vorhergesagte Zukunft betrachten, um zu entscheiden, was zu tun ist, und der Welt-Prädiktor konnte die geplanten Aktionen nutzen, um seine Vision dessen, was als Nächstes passieren würde, zu verfeinern. Dieser ständige, zweiseitige Dialog ermöglichte es dem Modell, eine echte Synergie zwischen Sehen und Handeln zu erlernen, anstatt sie nur nebeneinander existieren zu lassen.

Die Forscher untersuchten auch, wie diese Modelle unter Verwendung verschiedener Arten von Daten trainiert werden könnten. Sie hatten Zugriff auf zwei Hauptquellen: Videos von Menschen, die Aufgaben aus der Ich-Perspektive ausführen, die eine große Vielfalt an visuellen Szenen boten, aber keine Roboter-Aktionsdaten enthielten, sowie Aufzeichnungen von tatsächlichen Robotern, die Aufgaben ausführten, die präzise Bewegungsanweisungen lieferten, aber weniger Arten von Szenen abdeckten. Sie testeten, ob es besser sei, nur mit Roboterdaten, nur mit Human-Daten oder mit einer Mischung aus beidem zu trainieren. Sie fanden heraus, dass die Kombination beider Quellen in einer einzigen Trainingssitzung die leistungsstärkste Strategie war. Die menschlichen Videos lehrten das Modell über die breite Diversität der Welt, während die Roboterdaten dieses Wissen in der physischen Realität verankerten. Diese Kombination ermöglichte es dem Modell, viel besser auf neue, ungesehene Situationen zu generalisieren, als wenn es nur mit einer der beiden Datenarten trainiert worden wäre.

Unter Anwendung dieser Prinzipien bauten das Team OpenWAM-α, ein Modell, das auf über 500 Millionen Frames aus Video- und Roboterdaten trainiert wurde. Sie testeten dieses Modell über acht verschiedene Simulations-Benchmarks hinweg sowie an realen Robotern mit Einzelarmen, Doppelarmen und sogar geschickten Händen (dexterous hands). Die Ergebnisse waren konsistent und beeindruckend. In Simulationen erreichte das Modell bei einer breiten Palette von Aufgaben, vom Stapeln von Blöcken bis hin zur Manipulation komplexer Objekte, ein Spitzenniveau. Als es in die reale Welt überführt wurde, behielt es diese hohe Leistungsfähigkeit bei und absolvierte Aufgaben erfolgreich auf physischen Robotern, die es zuvor noch nie gesehen hatte. Das Modell zeigte eine besondere Stärke in der Anpassung an neue Umgebungen, was darauf hindeutete, dass die Kombination aus videobasiertem Weltwissen und aktionsbasierter Erdung ein robustes Fundament für allgemeine Intelligenz schafft.

Eine der bedeutendsten Erkenntnisse war, wie sich dieser Ansatz im Vergleich zu anderen populären Methoden verhielt. Einige Systeme verlassen sich stark auf Sprache und visuelles Verständnis, modellieren aber nicht explizit die Zukunft, während andere sich rein auf die Mechanik der Bewegung konzentrieren. Die Forscher fanden heraus, dass ihr videobasierter Ansatz exzellent darin war, die Trainingsdaten abzubilden und in vertrauten Umgebungen gut abzuschneiden, während andere Methoden manchmal besser auf völlig neue, chaotische Umgebungen generalisierten. Sie kamen jedoch zu dem Schluss, dass keiner der Ansätze allein perfekt ist. Der Schlüssel für zukünftigen Fortschritt liegt in der Kombination der Stärken beider: die Nutzung der reichen visuellen und physischen Priors der Videogenerierung zur Steuerung der Aktion, während gleichzeitig sichergestellt wird, dass das System mit diversen, hochwertigen Daten trainiert wird, die das volle Spektrum realer Herausforderungen abdecken.

Das OpenWAM-Projekt präsentiert nicht nur einen neuen Roboter-Controller; es stellt ein vollständiges Toolkit für die wissenschaftliche Gemeinschaft bereit. Indem die Forscher die Infrastruktur, die Trainingsdaten und die Evaluierungsprotokolle veröffentlichen, haben sie die Entwicklung von Welt-Aktions-Modellen in eine transparente, reproduzierbare Wissenschaft verwandelt. Dies ermöglicht es anderen Wissenschaftlern, spezifische Ideen zu testen, Komponenten auszutauschen und genau zu verstehen, warum bestimmte Designs besser funktionieren als andere. Die Arbeit legt nahe, dass der Weg zu fähigeren Robotern nicht über den Bau größerer, undurchsichtiger Systeme führt, sondern über das sorgfältige Verständnis darüber, wie verschiedene Teile von Wissen und Lernen interagieren. Indem sie den Geist des Roboters als eine Sammlung zusammengesetzter Teile behandeln, haben die Forscher die Tür zu einer neuen Ära der systematischen Exploration in der künstlichen Intelligenz geöffnet, in der jede Designentscheidung getestet, gemessen und verbessert werden kann.