IMPLY: Physically Anchored Consistency for World-Model Rollouts

Stellen Sie sich einen Roboter vor, der seinen nächsten Schritt planen kann, indem er sich zuerst vorstellt, was passieren wird. Er stößt einen Block an, und noch bevor sich sein Arm bewegt, durchläuft er eine mentale Simulation der Zukunft: Der Block gleitet, bleibt stehen und kommt zur Ruhe. Damit eine solche künstliche Intelligenz nützlich sein kann, muss der Roboter ihrer eigenen Vorstellung vertrauen können. Wenn die Simulation falsch ist, prallt der Roboter gegen eine Wand oder lässt ein zerbrechliches Objekt fallen. Jahrelang haben Wissenschaftler versucht herauszufinden, wie man feststellt, ob die mentale Simulation eines Roboters zuverlässig ist. Die Standardantwort war es, nach Konsistenz zu suchen. Wenn der Roboter die gleiche Zukunft zehnmal vorstellt sich und alle zehn Versionen gleich aussehen, gehen wir davon aus, dass die Simulation gut ist. Wenn die zehn Versionen alle unterschiedlich sind, nehmen wir an, der Roboter ist verwirrt. Es ist eine einfache, logische Prüfung: Wenn die Geschichte, die der Roboter sich selbst erzählt, jedes Mal dieselbe ist, muss die Geschichte wahr sein.

Doch es gibt einen Fehler in dieser Logik, den eine neue Studie aufgedeckt hat. Ein Roboter kann jedes Mal exakt dieselbe Geschichte erzählen und dennoch völlig falsch liegen. Stellen Sie sich vor, ein Roboter hat eine generische Regel gelernt: „Wenn ich etwas anstoße, gleitet es normalerweise etwa zehn Zentimeter weit.“ Wenn der Robot auf einen schweren, klebrigen Block stößt, der sich eigentlich nur zwei Zentimeter bewegen sollte, wird seine generische Regel ihm immer noch sagen, er solle mit zehn Zentimetern rechnen. Wenn er diese Simulation zehnmal durchführt, werden alle zehn Ergebnisse identisch sein. Der Roboter ist perfekt konsistent, und dennoch scheitert er daran, das spezifische Objekt vor sich zu verstehen. Er hat die Realität der Situation zugunsten einer sicheren, durchschnittlichen Vermutung ignoriert. Dies ist der blinde Fleck, den die Forscher Aman Mehta und Riya Baviskar zu beheben versuchen. Sie schlagen einen neuen Weg vor, um die Vorstellungskraft eines Roboters zu prüfen – einen Weg, der nicht nur fragt, ob der Roboter mit sich selbst übereinstimmt, sondern ob der Roboter mit der physischen Welt übereinstimmt.

Die Forscher testeten ihre Idee in einer kontrollierten digitalen Umgebung, in der ein virtueller Puck gegen eine Box stößt und sie dazu bringt, über einen Tisch zu gleiten. In der realen Welt hängt es von zwei Dingen ab, wie weit diese Box gleitet: wie schwer sie ist und wie viel Reibung der Tisch gegenüber ihr aufweist. Wenn man eine schwere Box langsam stößt, bleibt sie vielleicht schnell stehen. Wenn man eine leichte Box mit derselben Geschwindigkeit stößt, gleitet sie vielleicht viel weiter. Ein intelligenter Roboter sollte in der Lage sein, das Gewicht und die Reibung der Box allein durch das Beobachten ihrer Bewegung zu bestimmen. Die Forscher entwarfen einen Test, bei dem sie ein Computermodell baten, sich vorzustellen, was passieren würde, wenn es die Box mit fünf verschiedenen Geschwindigkeiten anstoßen würde. Sie prüften dann, ob die Vorstellung des Modells physikalisch sinnvoll war.

Die alte Methode, die sie als Selbstkonsistenz (self-consistency) bezeichnen, untersuchte lediglich, ob die fünf vorgestellten Zukünfte untereinander übereinstimmten. Sie fanden heraus, dass diese Methode gegen eine bestimmte Art von Fehler spektakulär versagte. Sie bauten ein „Dummy“-Modell, das die Box ignorierte und stattdessen einfach die durchschnittliche Gleitdistanz für jeden Stoß vorhersagte. Da dieses Dummy-Modell immer dieselbe Antwort gab, schnitt es beim Selbstkonsistenz-Test perfekt ab. Es wirkte wie ein Genie gegenüber der alten Prüfung, obwohl es nichts über das Objekt wusste. Die neue Methode, die die Autoren als verankerte Konsistenz (anchored consistency) bezeichnen, funktioniert anders. Bevor sie das Modell baten, die Zukunft vorzustellen, zeigten die Forscher ihm zwei reale Stöße derselben Box. Das Modell beobachtete, wie die Box bei einer langsamen Geschwindigkeit eine bestimmte Distanz zurücklegte und bei einer schnelleren Geschwindigkeit eine andere Distanz. Diese zwei realen Beobachtungen fungieren als Anker, als ein fester Punkt in der Realität.

Wenn das Modell dann versuchte, die fünf neuen Stöße zu imaginieren, prüfte die neue Methode, ob diese vorgestellten Zukünfte durch dasselbe physische Objekt erklärt werden konnten, das auch die zwei realen Stöße verursacht hatte. Wenn das Modell das „Dummy“-Modell war, das das Objekt ignorierte, würden seine vorgestellten Zukünfte nicht mit dem realen Anker übereinstimmen. Die Mathematik würde nicht aufgehen. Die neue Methode entlarvte diesen Fehler jedes Mal und lieferte eine perfekte Punktzahl bei der Erkennung des Fehlers, während die alte Methode ihn komplett übersah. In Tests mit 200 verschiedenen Objekten konnte die neue Methode zwischen einem Modell unterscheiden, das die Physik wirklich verstand, und einem, das nur den Durchschnitt rät, während die alte Methode keinen Unterschied feststellen konnte.

Die Forscher übertrugen diesen Test dann auf ein komplexeres, reales Szenario unter Verwendung eines hochentwickelten KI-Modells namens V-JEPA 2-AC. Dieses Modell war darauf trainiert worden, Videobilder von sich bewegenden Objekten vorherzusagen. Sie gaben dem Modell die Chance, etwas über ein spezifisches Objekt zu lernen, indem sie ihm zuerst zwei reale Stöße zeigten. Als das Modell diese Information erhielt, war es erfolgreich darin, das Verhalten des Objekts zu verfolgen, und sagte dessen zukünftige Bewegungen mit hoher Genauigkeit voraus. Wenn sie jedoch die realen Stöße durch die Stöße eines anderen Objekts ersetzten, verlor das Modell den Faden. Es begann, die Bewegungen des falschen Objekts vorherzusagen oder gar keine Bewegungen mehr.

Hier wurde der Unterschied zwischen den beiden Methoden eklatant. Die alte Selbstkonsistenz-Prüfung konnte nicht zwischen dem Modell, das die richtigen Informationen nutzte, und dem Modell, das die falschen Informationen nutzte, unterscheiden. Sie vergab nahezu identische Punktzahlen und würfelte im Grunde nur, welches besser sei. Die neue verankerte Methode hingegen erkannte den Fehler sofort. Wenn das Modell die Historie eines falschen Objekts verwendete, sprang der neue Wert nach oben, was auf eine Diskrepanz zwischen der Vorstellung und dem Anker hindeutete. Die neue Methode identifizierte die richtigen Beweise zu 73 % der Zeit, verglichen mit der Erfolgsquote der alten Methode von 52 %, was nicht besser als reiner Zufall ist. Darüber hinaus war der neue Wert so genau, dass er exakt vorhersagen konnte, wie falsch die zukünftigen Vorhersagen des Modells waren, wobei er fast perfekt mit dem tatsächlichen Fehler korrelierte.

Die Studie zeigt, dass ein Roboter, um die Welt wirklich zu verstehen, sich nicht nur auf seine interne Übereinstimmung verlassen kann. Er muss an Beweisen festgemacht sein. Ein Modell, das die falsche Physik gelernt hat, ist genauso konsistent mit sich selbst wie eines, das die richtige Physik gelernt hat. Der einzige Weg, sie voneinander zu unterscheiden, besteht darin zu prüfen, ob die Vorstellung des Modells zu der spezifischen, beobachteten Realität des Objekts passt, mit dem es interagiert. Indem die Forscher die Konsistenzprüfung an zwei realen Beobachtungen verankerten, schufen sie ein Werkzeug, das erkennen kann, wann ein Roboter die Realität vor ihm ignoriert. Das bedeutet nicht, dass der Roboter nun perfekt ist, aber es bietet eine zuverlässige Möglichkeit zu wissen, wann der Roboter sich selbst belügt – ein entscheidender Schritt zum Bau von Maschinen, die sicher und effektiv in einer physischen Welt navigieren können.