The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

Das Dilemma des Detektivs: Wenn die Karte nicht zum Gelände passt

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch ein Labyrinth zu navigieren. Sie wollen nicht nur, dass der Roboter den Pfad auswendig lernt; Sie wollen, dass er ein „Weltmodell“ in seinem Gehirn aufbaut – eine mentale Karte, die vorhersagt, was passiert, wenn er nach links oder rechts abbiegt. Wenn der Roboter die Zukunft präzise vorhersagen kann, kann er vorausplanen und komplexe Rätsel lösen. Dies ist der Traum von latenten Weltmodellen: KI-Systemen, die die verborgenen Regeln ihrer Umgebung lernen, damit sie intelligent handeln können, ohne dass ein Mensch ihnen die Hand halten muss.

Aber hier liegt der knifflige Teil: Woher wissen Sie, ob die mentale Karte des Roboters tatsächlich gut ist? Normalenweise prüfen Wissenschaftler dies anhand der Frage, wie gut der Roboter den nächsten Schritt vorhersagt. Wenn er das nächste Frame eines Videos perfekt erraten kann, gehen wir davon aus, dass er die Welt versteht. Dieser Artikel stellt jedoch eine gefährliche Frage: Was ist, wenn der Roboter ein Genie darin ist, die nächste Sekunde vorherzusagen, aber ein totaler Versager beim Planen für die nächste Minute ist?

Diese Geschichte stammt aus der Welt des maschinellen Lernens, speziell aus der Untersuchung der Frage, wie KI lernt, die Realität zu simulieren. Es ist ein Feld, in dem Forscher digitale Gehirne bauen, um Physik, Bewegung und Ursache-Wirkungs-Prinzipien zu verstehen. Der Einsatz ist hoch, denn wenn wir Roboter oder selbstfahrende Autos auf Basis von Modellen bauen, die auf dem Papier gut aussehen, aber in der realen Welt versagen, könnten die Folgen verheerend sein. Dieser Artikel ist die Geschichte eines Teams unabhängiger Forscher, die beschlossen haben, „Detektiv“ zu spielen bei einer berühmten neuen KI-Methode namens LeWorldModel. Sie wollten sehen, ob der Zaubertrick tatsächlich funktionierte oder ob der Magier nur ein paar entscheidende Schritte in der Anleitung versteckt hatte.

---

Der Fall der fehlenden Anweisungen

Die Forscher machten sich daran, ein Ergebnis aus einer Arbeit zu reproduzieren, die behauptete, dass ihre neue KI, LeWorldModel, ein einfaches Zwei-Zimmer-Labyrinth in etwa 87 % der Fälle lösen könne. Dies schien gering im Vergleich zu anderen Methoden, die 97–100 % erreichten, aber der Autor behauptete, ihre Methode sei besonders, weil sie einfacher sei und keine ausgefeilten Tricks benötige, um zu funktionieren.

Das unabhängige Team unter der Leitung von Joyjeet Singh mietete Rechenleistung (etwa 24 $ an GPU-Zeit), um die KI von Grund auf neu aufzubauen. Sie erwarteten, dieselbe Erfolgsquote von 87 % zu sehen. Stattdessen stießen sie auf ein Chaos aus verborgenen Geheimnissen.

Die vier verborgenen Regeln
Das Team stellte fest, dass die Anweisungen des Originalartikels wie ein Rezept waren, bei dem die wichtigsten Zutaten vergessen wurden. Wenn man nur den veröffentlichten Konfigurationsdateien folgte, lernte die KI gar nichts. Die Forscher fanden vier „undokumentierte Konventionen“, die im Code vergraben waren und alles bestimmten:

1. Dichte Aktionssammlung (Dense Action Gathering): Die KI musste jede noch so kleine Bewegung des Roboters sehen, nicht nur einige wenige Schnappschüsse.
2. Programmatische Breite (Programmatic Width): Die Größe eines spezifischen Teils des Gehirns wurde durch eine verborgene mathematische Formel festgelegt, nicht durch eine Zahl in der Einstellungsdatei.
3. ImageNet-Normalisierung: Die Bilder, die in die KI eingespeist wurden, mussten auf eine ganz bestimmte Weise verarbeitet werden (unter Verwendung von „ImageNet“-Standards), statt nur die Farben durch 255 zu teilen.
4. Z-Score-Aktionen: Die Bewegungen des Roboters mussten mathematisch angepasst werden, basierend auf dem gesamten Datensatz, wobei seltsame „NaN“-Fehler (Not a Number) zuerst entfernt werden mussten.

Ohne diese vier verborgenen Korrekturen konnte der „Prädiktor“ der KI (der Teil, der die Zukunft errät) nicht einmal konvergieren. Es war, als wollte man einen Kuchen backen, aber das Rezept vergaß zu erwähnen: „Mehl hinzufügen“ oder „den Ofen vorheizen“.

Der Geist in der Maschine
Selbst nachdem das Rezept korrigiert worden war, stieß das Team auf eine Wand. Bei drei ihrer Trainingsläufe sah es so aus, als würde die KI scheitern. Der „Validierungsverlust“ (ein Wert, der misst, wie schlecht die KI ist) schwankte wild, was darauf hindeutete, dass das Modell defekt sei. Aber der „Trainingsverlust“ (wie schlecht sie bei den Daten war, die sie gerade lernte) verbesserte sich tatsächlich!

Sie fanden den Übeltäter: eine Batch-Normalisierungsschicht. Stellen Sie sich das wie einen Thermostat im Gehirn der KI vor. Im falschen Modus war dieser Thermostat defekt und verstärkte winzige Fehler um den Faktor 300. Es ließ die KI so aussehen, als würde sie scheitern, obwohl sie in Wirklichkeit perfekt lernte. Sobald sie diesen Thermostaten „rekalibrierten“, kam die wahre Leistung zum Vorschein.

Die zwei verschiedenen Karten
Das Team fand auch heraus, dass das Originaldokument zwei verschiedene Regelwerke für den Test der KI veröffentlicht hatte, die völlig unterschiedliche Ergebnisse lieferten:

• Der „kurze“ Test: Die Konfigurationsdatei des Codes besagte, die KI mit einem Ziel in 25 Schritten Entfernung und einem Budget von 50 Schritten zu testen. Unter dieser Regel erreichte die KI der ursprünglichen Autoren 84,0 %.
• Der „lange“ Test: Der Anhang des Papers besagte, das Ziel sei 100 Schritte entfernt bei einem Budget von 150 Schritten. Unter dieser Regel erreichte dieselbe KI nur 14,0 %.

Die Forscher erkannten, dass die im Paper behauptete Erfolgsquote von „87 %“ wahrscheinlich auf dem „kurzen“ Test basierte, aber der „lange“ Test (den der Anhang beschrieb) tatsächlich viel schwieriger war und die Schwäche der KI offenlegte.

Die große Überraschung: Genauigkeit bedeutet nicht Geschicklichkeit

Die schockierendste Entdeckung betraf nicht die verborgenen Regeln, sondern die Frage, was „gut“ eigentlich bedeutet.

Das Team trainierte drei verschiedene Versionen der KI:

1. Eine „schlechte“ Version mit hohen Vorhersagefehlern.
2. Eine „mittlere“ Version (die Version der ursprünglichen Autoren).
3. Eine „großartige“ Version mit sehr geringen Vorhersagefehlern (die korrigierte Version des Teams).

Der kurzfristige Sieg:
Als das Ziel nah war (25 Schritte entfernt), war die „großartige“ KI die beste und erreichte 94,0 % Erfolg. Die „schlechte“ war mit 78,0 % die schlechteste. Das ergab Sinn: bessere Vorhersage = besseres Planen.

Das langfristige Desaster:
Doch als das Ziel weit entfernt war (100 Schritte), kehrten sich die Regeln komplett um.

• Die „großartige“ KI (der präziseste Prädiktor) wurde zum schlechtesten Planer und erreichte nur 20,0 % Erfolg.
• Die „schlechte“ KI (der am wenigsten genaue Prädiktor) wurde zum besten Planer und erreichte 80,0 % Erfolg.

Die präziseste KI war so überzeugt von ihren perfekten Vorhersagen, dass sie extrem riskante Manöver vollführte und das Ziel überschoss, was dazu führte, dass sie 116,6 Einheiten entfernt landete (weiter als bei einer Zufallsbewegung!). Die „schlechte“ KI, die unsicher über ihre Vorhersagen war, bewegte sich vorsichtiger und erreichte tatsächlich das Ziel.

Was dies für die Zukunft bedeutet

Dieser Artikel sagt nicht, dass die KI-Methode nutzlos ist. Tatsächlich erreichte die KI des Teams, nachdem die verborgenen Regeln korrigiert worden waren, 94,0 % im kurzen Test und übertraf damit die ursprüngliche Behauptung. Die Repräsentation (die mentale Karte) war solide; der Roboter wusste, wo er war.

Dennoch liefert der Artikel eine deutliche Warnung: Man kann einen Planer nicht danach beurteilen, wie gut er den nächsten Schritt vorhersagt.

In diesem speziellen Labyrinth war es tatsächlich so, dass eine „perfekte Vorhersage“ die KI beim langfristigen Planen schlechter machte. Die Forscher fanden heraus, dass die genauesten Modelle so sicher in ihren Pfaden waren, dass sie sich auf extreme Aktionen festlegten, die sie vom Weg abbringen konnten.

Das Team stellte auch fest, dass ein vorregistiertes Experiment (ein im Voraus geplanter Test, um zu sehen, ob die KI besser im Navigieren zwischen Räumen gegenüber Zielen im selben Raum ist) bei einer Version der KI funktionierte, aber bei einer anderen völlig versagte. Dies deutet darauf darauf hin, dass die „Magie“ der KI spezifisch für die exakte Version des Modells sein könnte und keine allgemeine Eigenschaft der Methode ist.

Das Fazit
Der Artikel kommt zu dem Schluss, dass man, wenn man eine KI bauen will, die langfristig planen kann, nicht einfach diejenig wählen sollte, die die Zukunft am genauesten vorhersagt. In diesem speziellen Fall hätte die Wahl des genauesten Modells bedeutet, den schlechtesten Planer gewählt zu haben. Die Lehre für die Zukunft ist, dass wir neue Wege brauchen, um KI zu testen, die über einfache Vorhersagewerte hinausgehen, denn eine perfekte Karte bedeutet nicht immer, dass man weiß, wie man das Auto fährt.