In der Welt der künstlichen Intelligenz versuchen Forscher, Maschinen beizubringen, wie die physische Welt funktioniert. Sie wollen, dass Roboter und selbstfahrende Autos vorhersagen können, was als Nächstes passieren wird – nicht nur durch das Auswendiglernen von Bildern, sondern durch den Aufbau eines internen mentalen Modells von Ursache und Wirkung. Um dies zu erreichen, nutzen sie ein System, das wie eine komprimierte Landkarte der Realität fungiert und komplexe sensorische Daten in eine einfachere, abstraktere Darstellung umwandelt. Die Hoffnung ist, dass die Maschine, wenn sie die zugrunde liegenden physikalischen Regeln versteht – wie die Schwerkraft zieht, wie Gelenke sich bewegen oder wie ein Auto abbiegt –, ihre Handlungen sicherer und effizienter planen kann. Jahrelang lautete der Standardrat, diese Regeln direkt in die interne Karte der Maschine zu erzwingen, in dem Glauben, dass diese „physik-informierte“ Anleitung der KI helfen würde, schneller und besser zu lernen.

Ein neues Paper hat jedoch entdeckt, dass dieser intuitive Ansatz tatsächlich schädlich ist. Die Forscher fanden heraus, dass das System zusammenbricht und seine Fähigkeit verliert, die Welt präzise zu verstehen, wenn man versucht, physikalische Gesetze direkt in die interne Repräsentation der Maschine zu erzwingen. Stattdessen haben sie mathematisch bewiesen und durch rigorose Tests demonstriert, dass physikalische Regeln ganz am Ende des Prozesses stehen sollten, um lediglich den endgültigen Output zu interpretieren, während die interne Karte selbst völlig frei und flexibel bleiben muss. Diese Entdeckung löst ein langjähriges Rätsel darüber auf, warum frühere Versuche, intelligentere Roboter zu bauen, scheiterten, und bietet einen klaren Bauplan für die korrekte Konstruktion dieser Systeme.

Die Studie unter der Leitung von Mohsen Mostafa konzentriert sich auf einen spezifischen Typus der KI-Architektur, der darauf ausgelegt ist, den zukünftigen Zustand eines Systems basierend auf seinem aktuellen Zustand und seinen Aktionen vorherzusagen. Stellen Sie sich einen Roboterarm vor, der versucht, einen Faden durch eine Nadel zu führen. Die KI nimmt ein Bild der Szene und die aktuelle Position des Roboters, komprimiert diese Informationen in einen verborgenen Code und versucht dann vorherzusagen, wo sich der Roboter einen Moment später befinden wird. Das Ziel ist es, ein „Weltmodell“ zu erschaffen, das die Zukunft innerhalb des Computers simulieren kann, bevor der Roboter tatsächlich eine Bewegung ausführt. Die Forscher untersuchten ein Paradoxon: Als sie Regeln darüber hinzufügten, wie sich die Gelenke des Roboters bewegen sollten oder wie die Kamera die Welt sehen sollte, direkt in den Teil der KI einzubauen, der den verborgenen Code erstellt, verschlechterte sich das System. Als sie diese Regeln entfernten, funktionierte das System besser. Dies schien kontraintuitiv, da man erwarten würde, dass die Bereitstellung von mehr Informationen über die physikalischen Gesetze der KI helfen würde.

Um dieses Rätsel zu lösen, entwickelte das Team eine Reihe mathematischer Beweise, die zeigten, dass der interne Code, oder das „Embedding“, am besten funktioniert, wenn er so zufällig und weit gestreut wie möglich ist – ein Zustand, der als maximale Entropie bekannt ist. Sie bewiesen, dass, wenn man diesen Code mit physikalischen Regeln einschränkt, man ihn in eine enge Form zwingt, die nicht in der Lage ist, die volle Vielfalt der Welt darzustellen. Es ist, als versuche man, ein komplexes, dreidimensionales Objekt in eine flache, starre Box zu pressen; das Objekt wird zerquetscht, und man verliert die Details. Die Mathematik zeigte, dass der Vorhersageteil des Systems, der die Zukunft errät, jede Art von Physik verarbeiten kann, ohne den internen Code zu beeinträchtigen, aber der Code selbst muss unbeschränkt bleiben. Der einzige Ort, an dem physikalische Regeln sicher angewendet werden können, ist ganz am Ende, im „Decoder“, der den verborgenen Code zurück in eine Vorhersage dessen übersetzt, was der Roboter sieht oder tut.

Die Forscher testeten diese Theorie anhand zweier sehr unterschiedlicher realer Szenarien: autonomes Fahren und robotergestützte Manipulation. Sie verwendeten Daten aus dem nuScenes-Datensatz, der tausende Stunden Fahraufnahmen enthält, und dem MimicGen-Datensatz, der einen bimanualen Roboter zeigt, der versucht, einen Faden durch eine Nadel zu führen. In beiden Fällen führten sie hunderte von Experimenten durch und trainierten die KI mit unterschiedlichen Konfigurationen. Sie verglichen Systeme, bei denen die physikalischen Regeln auf den internen Code angewendet wurden, mit Systemen, bei denen die Regeln nur auf den endgültigen Output angewendet wurden. Die Ergebnisse waren konsistent und statistisch signifikant. In jedem einzelnen Test produzierte das System, das den internen Code frei hielt und die Physik erst am Ende anwandte, eine wesentlich bessere und zuverlässigere Repräsentation der Welt. Die Systeme, die versuchten, die Physik in den Code zu erzwingen, litten unter einem „Kollaps“, bei dem die interne Karte zu einfach wurde und die Fähigkeit verlor, zwischen verschiedenen Situationen zu unterscheiden.

Einer der überraschendsten Befunde kam aus der Aufgabe des Fadeneinfädelns durch einen Roboter. Die Forscher entdeckten einen verborgenen Fehlermodus, der in früheren Studien unbemerkt geblieben war. Sie fanden heraus, dass die KI selbst dann, wenn sie oberflächlich betrachtet korrekt zu arbeiten schien, auf eine Weise „kollabieren“ konnte, die für Standardprüfungen unsichtbar war. Die KI fand einen Abkürzungsweg, bei dem sie die grundlegenden Regeln des Spiels erfüllte, ohne tatsächlich die komplexen Beziehungen zu lernen, die für die Steuerung notwendig sind. Dies geschah, weil die Aufgabe so einfach war, dass die KI das System umgehen konnte. Um dies zu erfassen, entwickelte das Team ein neues Diagnosetool, das tiefer in die internen Signale der KI blickte und offenbarte, dass das „intelligente“ System in Wirklichlichkeit hohl war. Diese Entdeckung warnt davor, dass es nicht ausreicht, lediglich zu prüfen, ob eine KI den nächsten Frame vorhersagen kann; man muss auch sicherstellen, dass die interne Repräsentation reichhaltig und vielfältig ist.

Die Studie befasste sich auch mit der kritischen Frage, ob diese besseren Repräsentationen tatsächlich zu einer besseren Steuerung führen. Die Forscher bauten ein Planungssystem, das die trainierte KI nutzte, um die beste Sequenz von Bewegungen zu finden, um ein Ziel zu erreichen. Sie erwarteten, dass die KI mit der korrekten Platzierung der Physik besser planen würde als die anderen. Sie fanden jedoch eine subtile Falle. Das Planungssystem war in der Lage, Aktionssequenzen zu finden, die auf der internen Kostenfunktion der KI perfekt punkteten, aber tatsächlich weit entfernt vom wahren, korrekten Pfad lagen. Es war, als hätte die KI gelernt, das Bewertungssystem zu überlisten, anstatt das Problem zu lösen. Dies geschah bei allen Versionen des Modells, unabhängig davon, wie sie gebaut worden waren. Die Forscher kamen zu dem Schluss, dass ihr neues Designprinzip zwar eine viel bessere interne Karte erstellt, der Beweis jedoch, dass diese Karte zu besserer realer Kontrolle führt, das Testen des Roboters in einer Live-Umgebung erfordert, nicht nur in einer Computersimulation.

Diese Arbeit liefert eine definitive Antwort auf ein Problem, das die Robotik und das autonome Fahren seit langem plagt. Sie zeigt, dass die Intuition, Domänenwissen in die KI zu injizieren, korrekt ist, aber das Ziel falsch gewählt wurde. Die Physik gehört in den Decoder, wo sie hilft, die Welt zu interpretieren, aber niemals in den Encoder, wo sie die Fähigkeit des Systems zu lernen zerstört. Indem Ingenieure dieser Regel folgen, können sie Weltmodelle bauen, die theoretisch fundiert und empirisch robust sind. Die Studie dient auch als Warnung für das Fachgebiet und hebt hervor, dass Offline-Tests irreführend sein können und dass eine wahre Validierung die Untersuchung dessen erfordert, wie das System performt, wenn es mit der realen Welt interagiert. Der Code und die Daten für diese Experimente wurden öffentlich zugänglich gemacht, sodass andere Forscher diese Ergebnisse verifizieren und auf diesem neuen Fundament für die Erschaffung intelligenter Maschinen aufbauen können.