Roboter hatten lange Zeit damit zu kämpfen, die physische Welt nicht nur als eine Sammlung von Bildern zu verstehen, sondern als einen Raum, in dem Dinge sich bewegen, kollidieren und verändern. Jahrzehntelang haben Forscher versucht, Maschinen beizubringen, vorherzusagen, was als Nächstes passiert, indem sie ihnen Videos zeigen. Diese Systeme lernen, den nächsten Frame eines Films zu erraten, in der Hoffnung, dass sie, wenn sie die visuelle Zukunft vorhersagen können, auch verstehen, wie sie einen Roboterarm bewegen müssen, um diese Zukunft herbeizuführen. Es gibt jedoch einen grundlegenden Fehler in diesem Ansatz: Ein Video ist nur eine flache Projektion einer dreidimensionalen Welt. In einer Fotografie kann ein kleines Objekt in der Ferne genauso groß aussehen wie ein großes Objekt in der Nähe, und ein paar Pixel Bewegung könnten eine winzige Verschiebung oder einen massiven Sprung bedeuten, je nach Kamerawinkel. Dies macht es für einen Roboter unglaublich schwierig zu wissen, wie weit er greifen oder wie fest er drücken muss, da die visuelle Sprache einer Kamera nicht die Sprache der physischen Distanz spricht.

Um diese Lücke zu schließen, hat ein Forscherteam ein neues Modell entwickelt, das die flachen Bilder komplett überspringt und direkt im dreidimensionalen Raum arbeitet. Anstatt zu versuchen, das nächste Bild vorherzusagen, sagt dieses System voraus, wie sich Punkte im Raum bewegen werden. Es betrachtet die Welt als eine Sammlung von Koordinaten, die sich verschieben und fließen, was es dem Roboter ermöglicht, die physischen Folgen seiner Handlungen auf eine Weise zu verstehen, die unabhängig davon konsistent ist, wohin die Kamera blickt. Dieser Wechsel vom Beobachten eines Films zum Kartieren eines physischen Raums stellt einen bedeutenden Schritt dar, um Robotern ein echtes Verständnis dafür zu geben, wie die Welt funktioniert, und bringt sie näher an die Fähigkeit, komplexe Aufgaben wie das Ordnen eines Regals oder das Packen einer Tasche mit der gleichen Zuverlässigkeit auszuführen, die ein Mensch besitzt.

Die Forscher hinter dieser Arbeit, die ihre Schöpfung UNITAS nennen, wollten ein spezifisches Problem lösen: wie man zusammenfasst, was ein Roboter sieht, was er tut und wie sich die Welt als Reaktion darauf verändert, alles innerhalb eines einzigen, gemeinsamen Rahmens. Frühere Versuche stützten sich oft auf vortrainierte Videogeneratoren, die zwar exzellent darin sind, realistische Bilder zu erzeugen, aber oft die Gesetze der Physik missachten. Ein Videomodell könnte vorhersagen, dass eine Tasse über einen Tisch gleitet, aber es könnte auch vorhersagen, dass die Tasse sich dehnt oder verformt, was in der Realität unmöglich ist, oder dass der Hintergrund driftet, obwohl er stillstehen sollte. Das neue Modell, UNITAS, lehnt diesen visuell-zentrierten Ansatz ab. Stattdessen baut es eine „3D-native“ Welt auf, in der jede Beobachtung, jede Roboterbewegung und jede Veränderung in der Umgebung unter Verwendung derselben metrischen Sprache von dreidimensionalen Koordinaten beschrieben wird.

In diesem System schaut der Roboter nicht einfach auf einen Kamerafeed; er konstruiert eine mentale Karte des Raums um ihn herum. Wenn der Roboter seine Hand oder seinen Greifer bewegt, verfolgt das Modell den Pfad spezifischer Punkte in dieser Hand, während sie durch die Luft wandern. Gleichzeitig verfolgt es, wie die Punkte eines nahe gelegenen Objekts, wie einer Vase oder eines Buches, als Reaktion darauf verschoben werden. Die Forscher trainierten das Modell mit einer riesigen Mischung aus Daten, darunter Aufzeichnungen echter Roboter, Simulationen von bimanualen Aufgaben und Videos von menschlichen Händen, die ähnliche Handlungen ausführen. Indem sie die Bewegung einer menschlichen Hand und eines Robotergreifers als die gleiche Art von dreidimensionaler Trajektorie behandelten, lernte das Modell eine universelle Sprache der Bewegung. Es lernte, dass es keine Rolle spielt, ob sich ein menschlicher Finger oder eine Metallklaue bewegt – die Physik, wie sie ein Objekt drücken, bleibt dieselbe.

Der Kern dieses Systems ist eine Methode zur Darstellung von Zeit und Bewegung, die damit übereinstimmt, wie Menschen die physische Welt erleben. Anstatt Videoframes zu zählen, die je nach Kamera variieren können, misst das Modell die Zeit in tatsächlichen Sekunden. Es zerlegt eine Bewegung in ein einziges, kontinuierliches Token, das den gesamten Pfad eines Punktes über eine bestimmte Dauer darstellt. Dies ermöglicht es dem System, Daten aus verschiedenen Quellen zu verarbeiten, die entweder mit hoher oder niedriger Geschwindigkeit aufgezeichnet wurden, ohne verwirrt zu werden. Wenn das Modell mit einer Aufgabe konfrontiert wird, wie etwa „stecke die Blume in die Vase“, generiert es nicht nur ein Video der Handlung. Es berechnet den präzisen dreidimensionalen Pfad, den der Greifer nehmen muss, und sagt genau voraus, wie sich die Punkte der Blume und der Vase bewegen werden, um dieser Aktion Platz zu machen.

Die Ergebnisse dieses Ansatzes sind beeindruckend. In einer Reihe strenger Tests demonstrierte das Modell ein Maß an Präzision, das bisherige Systeme nicht erreichen konnten. Als es gefragt wurde, wie sich eine Szene verändern würde, nachdem ein Roboter eine Bewegung ausgeführt hatte, reduzierte UNITAS den Fehler in seinen Vorhersagen im Vergleich zu den besten existierenden 3D-Modellen um fast die Hälfte. In Simulationsumgebungen, die darauf ausgelegt sind, komplexe Manipulationsfähigkeiten zu testen, erreichte das System eine Erfolgsquote von 99,8 Prozent in einem Standard-Benchmark namens LIBERO und übertraf damit größere Modelle, die auf Videogenerierung basieren. Noch wichtiger ist, dass das Modell, als die Forscher es an echten Robotern in der physischen Welt testeten, eine hohe Leistungsfähigkeit beibehielt. Bei Aufgaben wie dem Ordnen von Büchern in einem Regal und dem Packen eines Balls in eine Tasche war der Roboter 90 Prozent bzw. 80 Prozent der Zeit erfolgreich, womit er andere führende Methoden deutlich übertraf.

Die Forscher testeten auch, wie gut das System mit Veränderungen in der Umgebung umgehen kann, wie etwa unterschiedlichen Kameraperspektiven oder unerwarteten Hindernissen. Da das Modell in einem festen dreidimensionalen Raum verankert ist und nicht in einer sich verschiebenden Kameraperspektive, blieb es robust, wenn sich die visuelle Eingabe änderte. Es konnte immer noch korrekt berechnen, wie der Roboterarm zu bewegen ist, selbst wenn die Kamera bewegt wurde oder sich die Beleuchtung änderte. Dies deutet darauf darauf hin, dass das Modell tatsächlich die Geometrie der Aufgabe gelernt hat und nicht nur ein spezifisches visuelles Muster auswendig gelernt hat. Die Fähigkeit, das physische Ergebnis einer Handlung vorherzusagen, statt nur das visuelle Erscheinungsbild, scheint der Schlüssel zu dieser Robustheit zu sein.

Einer der faszinierendsten Aspekte dieser Arbeit ist ihre Fähigkeit, Wissen über verschiedene Arten von Robotern und sogar zwischen Menschen und Maschinen zu übertragen. Das Modell wurde mit Daten von menschlichen Händen, einarmigen Robotern und zweiarmigen Robotern trainiert, konnte aber das Gelernte nahtlos auf jede dieser Verkörperungen anwenden. Wenn eine menschliche Hand eine Aufgabe demonstrierte, konnte das Modell diese Bewegung in einen Plan für einen Robotergreifer übersetzen und umgekehrt. Diese Vereinheitlichung legt nahe, dass die physikalischen Regeln der Manipulation universell sind und dass eine Maschine, indem sie sich auf den dreidimensionalen Fluss der Materie konzentriert, in der Lage ist, mit der Welt zu interagieren, die unabhängig von ihrer spezifischen Körperform ist.

Die Auswirkungen dieser Forschung reichen über eine bessere Roboterleistung hinaus. Indem sie die Welt als einen gemeinsamen metrischen Raum behandeln, in dem Handlungen und Konsequenzen direkt miteinander verknüpft sind, haben die Forscher ein neues Fundament für verkörperte Intelligenz geschaffen. Dieser Ansatz entfernt sich von der Vorstellung, dass ein Roboter die Welt so „sehen“ muss wie ein Mensch, mit all den Unklarheiten von Perspektive und Beleuchtung. Stattdessen gibt er dem Roboter ein direktes Verständnis des physischen Raums. Das Modell muss sich kein Video der Zukunft vorstellen; es berechnet einfach die Trajektorie von Punkten im Raum. Diese Klarheit ermöglicht eine schnellere und zuverlässigere Entscheidungsfindung, da das System keine Zeit damit verschwendet, visuelle Illusionen zu interpretieren oder Korrekturen für Kameraartefakte vorzunehmen.

Am Ende liegt der Erfolg von UNITAS in der Einfachheit des Konzepts, selbst wenn die Mathematik dahinter komplex ist. Es erkennt, dass ein Roboter, um die Welt zu manipulieren, die Welt in drei Dimensionen verstehen muss, nicht in zwei. Indem es seine Vorhersagen in physischen Koordinaten verankert und die Zeit in Sekunden statt in Frames misst, erreicht das Modell eine Genauigkeit und Zuverlässigkeit, die zuvor unerreichbar war. Die Forscher haben gezeigt, dass, wenn man aufhört, einen Roboter einen Film schauen zu lassen, und stattdessen beginnt, ihm beizubringen, den physischen Raum abzubilden, er lernen kann, sich mit einer Sicherheit und Präzision zu bewegen, die uns dem Traum von universell einsetzbaren Robotern näher bringt, die uns in unserem täglichen Leben helfen können. Der Weg nach vorn ist klar: Die Zukunft der robotischen Manipulation liegt nicht in besseren Kameras, sondern in einem tieferen, direkteren Verständnis der dreidimensionalen Welt, die wir alle teilen.