The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch ein Labyrinth zu navigieren. Um dies zu tun, baut der Roboter in seinem Gehirn eine „mentale Karte“ der Welt auf. Diese Karte ist kein Bild, sondern eine komprimierte, mathematische Zusammenfassung dessen, wie die Welt in jedem gegebenen Moment aussieht. Wissenschaftler nennen dies ein „latentes Weltmodell“. Der Roboter lernt diese Karte, indem er Videos von sich selbst beim Bewegen beobachtet und versucht vorherzusagen, was als Nächstes passiert. Wenn er die Zukunft präzise vorhersagen kann, gehen wir davon aus, dass er die Welt versteht. Sobald er diese Karte besitzt, nutzt der Roboter einen „Planer“ – einen Entscheidungsalgorithmus –, um den besten Pfad zu einem Ziel, wie etwa einer Schatzkiste, zu finden. Die große Frage in diesem Bereich war schon immer: Wenn der Roboter es nicht schafft, ein weit entferntes Ziel zu erreichen, liegt es daran, dass seine mentale Karte verschwommen und ungenau ist, oder weil sein Entscheidungswerkzeug defekt ist? Diese Arbeit taucht in dieses Geheimnis ein und testet, ob das Problem in der Sicht des Roboters oder in seinem Kompass liegt.

Die Forscher untersuchten in dieser Arbeit einen spezifischen Roboter, der in einer einfachen Zwei-Zimmer-Umgebung navigiert. Sie fanden heraus, dass die „mentale Karte“ des Roboters tatsächlich unglaublich scharf und präzise war, selbst wenn er weit in die Zukunft blickte. Dennoch schaffte es der Roboter immer wieder nicht, weit entfernte Ziele zu erreichen. Die überraschende Entdeckung war, dass der Roboter nicht deshalb scheiterte, weil er den Weg nicht sehen konnte, sondern weil der „Kompass“, den er zur Messung der Distanz verwendete, defekt war. Der Roboter versuchte, einen spezifischen mathematischen Wert zu minimieren (den quadrierten Abstand zwischen seinem aktuellen mentalen Zustand und dem Ziel), aber dieser Wert ergab ab einem gewissen Punkt keinen Sinn mehr. Es war wie ein GPS, das Ihnen sagt, dass Sie Ihrem Ziel näher kommen, während Sie in Wirklichkeit in die entgegengesetzte Richtung fahren.

Die Arbeit zeigt, dass die interne Karte des Roboters noch in der Lage war, den Zustand der Welt 75 Schritte im Voraus mit sehr geringem Fehler vorherzusagen – weit über die 25 Schritte hinaus, die der Roboter tatsächlich für die Planung versuchte. Das Problem war nicht die Karte, sondern die Zielfunktion, die Regel, nach der der Planer Erfolg bewertete. Die Forscher fanden heraus, dass die Standardmethode zur Messung der Distanz im Geist des Roboters „gesättigt“ und dann „invertiert“ war. Das bedeutet, dass sobald das Ziel etwa 120 Einheiten entfernt war, eine Bewegung vom Ziel weg den Kostenwert des Roboters senkte, was ihn in den Irrtum führte, er mache Fortschritte. Die Information darüber, wo sich das Ziel befand und wie man dorthin gelangt, war im Gehirn des Roboters immer noch voll präsent, aber der Planer des Roboters ignorierte sie, weil er auf die falsche Metrik schaute.

Um dies zu beheben, trainierten die Forscher den Roboter nicht neu oder gaben ihm leistungsstärkere Hardware. Stattdessen tauschten sie einfach den defekten Kompass gegen einen neuen aus. Sie brachten dem Planer bei, auf „Erreichbarkeit“ zu achten (Kann ich wirklich dorthin gelangen?) anstatt nur auf „Nähe“ (Wie nah sieht es aus?). Dies taten sie, indem sie einen kleinen Helfer trainierten, der vorhersagte, wie viele Schritte man benötigt, um von einem Frame zu einem anderen zu gelangen, anstatt nur die Distanz zwischen zwei Punkten in einem mathematischen Raum zu messen. Dieser neue Ansatz war ein riesiger Erfolg. Bei den ursprünglichen Einstellungen des Roboters sprang die Erfolgsquote beim Erreichen von Zielen in 100 Schritten Entfernung von mageren 26 % auf beeindruckende 98 %. Noch erstaunlicher war, dass der Roboter 92 % dieser weit entfernten Ziele mit nur einem Drittel des üblichen Zeitbudgets erreichen konnte.

Diese Reparatur ist jedoch kein Allheilmittel, das überall funktioniert. Als die Forscher denselben Fix auf die veröffentlichten Gewichte der ursprünglichen Autoren anwandten, verbesserte sich der Erfolg nur von 14 % auf 34 %, was hinter den 70 % zurückblieb, die eine einfachere lineare Methode erreichte. Der Grund für dieses Scheitern ist, dass die „mentale Karte“ des ursprünglichen Modells zu weit von der Realität abweicht, wenn sie die Zukunft imaginiert. Der neue Kompass wurde auf echten Videoframes trainiert, aber der Planer bewertete imaginierte Frames. Da die Vorhersagen des ursprünglichen Modells so ungenau waren, unterschieden sich die imaginierten Frames zu stark von den echten Frames, als dass der neue Kompass korrekt funktionieren konnte. Dies unterstreicht eine entscheidende Regel: Eine gelernte Planungskostenfunktion muss auf genau der Art von „imaginierten“ Daten trainiert werden, die der Planer tatsächlich verwendet, sonst wird sie scheitern, wenn der Prädiktor driftet.

Die Studie enthüllte auch eine seltsame Eigenart: Der „beste“ Planer war nicht derjenige mit der genauesten Karte. Tatsächlich plante ein Planer, der eine Kostenfunktion verwendete, die bei der Vorhersage exakter räumlicher Distanzen schlechter abschnitt, besser. Dies lag daran, dass der neue Planer lernte, zusätzliche Kosten für das Überqueren einer Wand zu berechnen, während der alte keine Wände berücksichtigte. Der alte Planer dachte, zwei Räume lägen nah beieinander, weil sie physisch nahe beieinander lagen, und ignorierte dabei die Tür. Der neue Planer verstand, dass man durch die Tür gehen muss, was ihn zu einem besseren Navigator machte. Die Arbeit kommt zu dem Schluss, dass bei der Langzeitplanung der Engpass nicht die Fähigkeit zur Vorhersage der Zukunft ist, sondern die Fähigkeit zu definieren, was es eigentlich bedeutet, „dort anzukommen“. Wenn Ihr Kompass in die falsche Richtung zeigt, wird auch die beste Vision Ihnen nicht helfen, Ihr Ziel zu finden.