Operator-on-F complements value-equivalence: a planning-time diagnostic for latent world models

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen. Sie wollen nicht, dass der Roboter einfach nur den Punktestand auswendig lernt; Sie wollen, dass er versteht, wie die Spielwelt tatsächlich funktioniert. In der künstlichen Intelligenz nennt man das „Model-Based Reinforcement Learning“. Der Roboter baut ein „Weltmodell“ auf – eine mentale Simulation in seinem Gehirn, in der er üben kann, sich zu bewegen, zu springen und Hindernissen auszuweichen, ohne das echte Spiel tatsächlich anzufassen.

Lange Zeit hatten Wissenschaftler eine einfache Methode, um zu überprüfen, ob diese mentale Simulation gut ist: Sie fragten: „Sagt der Roboter den Punktestand (Reward) korrekt voraus?“ Wenn der Roboter glaubt, dass er einen Punkt bekommt, wenn er springt, und er dies auch tatsächlich tut, gehen wir davon aus, dass der Roboter das Spiel versteht. Diese Idee wird als „Value Equivalence“ bezeichnet. Es ist so, als würde man prüfen, ob ein Wetterberater gut ist, indem man ihn nur fragt: „Hast du die Temperatur richtig vorhergesagt?“ Wenn die Temperatur stimmte, gehen wir davon aus, dass er auch Wind, Wolken und Luftdruck versteht. Aber was ist, wenn der Wetterberater die Temperatur durch Glück richtig erraten hat, während er die Windrichtung völlig falsch liegen hatte? Der Roboter könnte denken, er werde gewinnen, aber wenn er versucht zu springen, könnte er von der Karte fallen, weil sein mentales Modell der Physik kaputt ist, selbst wenn die Vorhersage des Punktestands korrekt aussieht.

Dieses Paper stellt eine neue, vorsichtigere Methode vor, um das Gehirn des Roboters zu prüfen. Die Autorin Donna Vakalis und ihre Kollegen schlagen ein Diagnosewerkzeug namens „Operator-on-F“ vor. Anstatt nur auf den endgültigen Punktestand zu schauen, prüft dieses Werkzeug, ob die mentale Simulation des Roboters über den nächsten Schritt hinaus mit der Realität übereinstimmt. Stellen Sie sich vor, Sie haben eine magische Kristallkugel, die Ihnen zeigt, wie die Welt in fünf Sekunden aussehen wird. Die alte Methode prüft, ob die Kristallkugel am Ende dieser fünf Sekunden den richtigen Punktestand vorhersagt. Die neue Methode prüft, ob das Bild der Welt in der Kristallkugel in jedem Moment der Realität entspricht. Sie haben dies an einem berühmten KI-Modell namens TD-MPC2 getestet, das darauf trainiert wurde, einen virtuellen Geparden laufen zu lassen. Sie fanden heraus, dass das alte Modell zwar sagte, das Modell mache alles richtig, die neue Methode jedoch ein massives Problem in der größten Version des Modells entdeckte und aufzeigte, dass die mentale Simulation kollabiert war, obwohl die Vorhersage des Punktestands noch korrekt aussah.

Die Geschichte des betrügerischen Geparden

Tauchen wir ein in das Experiment. Die Forscher nahmen ein leistungsstarkes KI-Modell, das darauf trainiert wurde, einen virtuellen Geparden so schnell wie möglich rennen zu lassen. Sie testeten fünf verschiedene Versionen dieses Modells, die von einem winzigen Modell mit 1 Million „Neuronen“ (Parametern) bis hin zu einem riesigen Modell mit 317 Millionen reichten.

Zuerst führten sie einen Standard-Check durch: „Wie gut sagt das Modell die Belohnung (Reward) voraus?“ Die Ergebnisse waren überraschend langweilig. Jedes einzelne Modell, vom winzigen bis zum riesigen, sagte die Belohnung mit fast dem gleichen minimalen Fehler voraus. Der Fehler blieb in einem sehr engen Bereich zwischen 0,028 und 0,091. Es war, als würden fünf Schüler eine Mathearbeit schreiben und alle eine Punktzahl zwischen 97 % und 99 % erreichen. Basierend darauf würde man denken, dass sie alle gleichermaßen brillant sind.

Doch dann wandten die Forscher ihren neuen „Operator-on-F“-Test an. Dieser Test betrachtete nicht nur den endgültigen Score, sondern die interne Landkarte der Welt, während das Modell lief. Sie fragten: „Wenn der Roboter glaubt, nach 5 Schritten in Position X zu sein, ist er dann auch tatsächlich in Position X?“

Die Ergebnisse waren schockierend. Während die Vorhersagen für die Belohnung alle ähnlich waren, variierte der „Operator-Fehler“ (wie falsch die mentale Landkarte war) extrem stark.

• Die kleineren Modelle hatten niedrige Fehler, die zwischen 0,28 und 0,36 lagen. Ihre mentalen Landkarten waren passabel.
• Aber das riesige 317M-Modell? Sein Fehler schoss in die Höhe auf 2,62. Das ist eine Größenordnung schlechter als bei den anderen.

Hier liegt der Clou: Das riesige Modell mit der kaputten mentalen Landkarte (Fehler 2,62) stürzte tatsächlich im Spiel ab. Seine Leistung (Return) brach auf ein katastrophales 0,9 ein. Währenddessen liefen die kleineren Modelle mit besseren mentalen Landkarten viel schneller. Doch wenn man nur auf die Vorhersage der Belohnung geschaut hätte, hätte man diese Katastrophe komplett übersehen. Der Fehler der Belohnungsvorhersage für das riesige Modell lag immer noch bei nur 0,091 und befand sich damit genau in dem täuschend engen Bereich wie die anderen.

Die Autoren fanden eine sehr starke Verbindung zwischen diesem neuen Fehlermetrik und der Frage, wie gut der Roboter tatsächlich spielte. Die Korrelation zwischen dem Operator-Fehler und dem Versagen des Roboters lag bei -0,90. Das bedeutet, dass mit der Verschlechterung der mentalen Landkarte auch die Leistung des Roboters fast perfekt synchron sank. Im Gegensatz dazu hatte der alte Check der Vorhersage der Belohnung kaum eine Verbindung zum tatsächlichen Erfolg des Roboters (eine Korrelation von nur -0,30).

Warum der alte Check versagte

Das Paper argumentiert, dass die alte Methode der Überprüfung (Value Equivalence) „stumm“ sein kann, wenn Dinge schiefgehen. Es ist wie ein Automechaniker, der nur überprüft, ob das Radio funktioniert. Wenn der Motor kurz vor der Explosion steht, kann das Radio trotzdem noch perfekt spielen. Der Mechaniker sagt: „Alles bestens!“, während das Auto in Flammen steht.

In dieser Studie war das „Radio“ die Vorhersage der Belohnung. Der „Motor“ war die Fähigkeit des Modells, die Physik der Welt zu simulieren. Das riesige 317M-Modell hatte ein funktionierendes Radio, aber einen kaputten Motor. Der neue „Operator-on-F“-Test fungierte wie ein Mechaniker, der die Motorhaube öffnet und direkt den Motor prüft.

Die Forscher verglichen diesen neuen Test auch mit einer anderen gängigen Metrik namens „Bellman Residual“. Sie fanden heraus, dass der neue Test im Widerspruch zum Bellman Residual stand. Tatsächlich war der Bellman Residual so ähnlich zum unnormalisierten Belohnungsfehler, dass er nicht einmal half, die Modelle zu unterscheiden. Der neue Test war der einzige, der den Unterschied zwischen einem Modell, das wirklich gut war, und einem Modell, das nur mit seinen Score-Vorhersagen Glück hatte, aufzeigen konnte.

Test auf verschiedenen Architekturen

Um sicherzustellen, dass dies nicht nur ein Zufall mit einem spezifischen Typ von KI war, testeten die Forscher die Methode auf einem völlig anderen Modelltyp namens LeWM, das lernt, ohne gesagt zu bekommen, was der Score ist (ein „Pure-SSL“-Modell). Sie verglichen dieses neue Modell mit einem Standard-Single-Task-TD-MPC2-Modell.

Die Ergebnisse waren klar und deutlich. Das neue LeWM-Modell hatte einen Operator-Fehler von 0,384 ± 0,009, während das Standardmodell einen Fehler von 0,840 aufwies. Der Unterschied war so groß, dass sich ihre Konfidenzintervalle (der Bereich, in dem der wahre Wert wahrscheinlich liegt) nicht einmal berührten. Dies deutet darauf hin, dass das neue Diagnosewerkzeug über verschiedene Arten von KI-Gehirnen hinweg funktioniert, nicht nur bei dem, mit dem sie begonnen haben.

Das Fazit

Das Paper behauptet nicht, dass die alten Methoden nutzlos sind oder dass die neue Methode ein Wundermittel ist, das alles löst. Stattdessen legt es nahe, dass es gefährlich ist, sich nur auf die Vorhersage der Belohnung zu verlassen. Es ist, als würde man einen Koch nur danach beurteilen, wie lecker der Nachtisch schmeckt, während man ignoriert, dass er vielleicht die Hauptspeise verbrannt hat.

Die Autoren kommen zu dem Schluss, dass wir beide Checks verwenden sollten: den alten Belohnungs-Check und den neuen „Operator-on-F“-Check. Der neue Check fungt als Sicherheitsnetz, das Ausfälle im Verständnis der Welt abfängt, die der alte Check übersieht. Im Fall des riesigen 317M-Gepardenmodells war der neue Check das einzige Werkzeug, das erklären konnte, warum der Roboter scheiterte, obwohl er den Score scheinbar perfekt vorhersagte. Es stellt sich heraus: Man kann großartig darin sein, die zukünftige Punktzahl zu erraten, aber schrecklich darin, die zukünftige Welt zu verstehen.