🤖 machine learning

When a Verified World Model Still Loses: Play-Adequacy vs Prediction-Accuracy in LLM-Synthesized Code World Models

Diese Arbeit zeigt auf, dass durch Large Language Models synthetisierte Code-Weltmodelle eine nahezu perfekte Übergangspräzision auf Stichprobendaten erreichen können, jedoch systematisch bei der Planung scheitern, da sie seltene, aber entscheidende Regeln übersehen, was verdeutlicht, dass die Vorhersagegenauigkeit eine unzureichende Metrik für planungsorientierte Weltmodelle im Vergleich zur Spielleistung oder der Abdeckung der Suchverteilung ist.

Ursprüngliche Autoren: Javier Aguilar Martín

Veröffentlicht 2026-07-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Javier Aguilar Martín

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die magische Box und der blinde Fleck

Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, ein neues Brettspiel zu spielen. Sie wollen nicht, dass der Roboter einfach jeden einzelnen Zug auswendig lernt, den er je gesehen hat; Sie wollen, dass er die Regeln versteht, damit er vorausplanen und gewinnen kann. In der Welt der künstlichen Intelligenz gibt es einen cleveren Trick namens „Code World Model“. Anstatt dass der Roboter nur rät, bitten wir ein Large Language Model (wie jene, die Geschichten oder Code schreiben), das Regelwerk zu lesen und ein Computerprogramm zu schreiben, das das Spiel perfekt simuliert. Sobald der Roboter dieses Programm hat, kann er Millionen von imaginären Spielen in seinem Kopf durchspielen, um den besten Zug zu finden.

Aber hier liegt der knifflige Teil: Woher wissen wir, ob der Roboter das Programm korrekt geschrieben hat? Normalerweise testen wir es, indem wir ein paar zufällige Spiele gegen ihn spielen. Wenn das Programm des Roboters die Ergebnisse dieser zufälligen Spiele korrekt vorhersagt, sagen wir: „Großartig! Das Modell ist verifiziert!“ und lassen ihn wirklich spielen. Diese Arbeit stellt eine beängstigende Frage: Was ist, wenn das Programm des Roboters perfekt darin ist, zufällige Spiele vorherzusagen, aber in den spezifischen Momenten, die tatsächlich für den Sieg entscheidend sind, völlig falsch liegt? Es stellt sich heraus, dass es nicht ausreicht, wenn ein Modell einen Zufallstest besteht, um bereit für die große Liga zu sein.

Die Erzählung von der fehlenden Regel

Die Forscher in dieser Arbeit haben eine verborgene Falle entdeckt, die in der Art und Weise liegt, wie wir KI-Spieler testen. Sie fanden heraus, dass eine KI ein „Verifizierungstor“ mit Bravour passieren kann – indem sie 100 % der zufälligen Testspiele korrekt vorhersagt – und dennoch jedes einzelne echte Spiel gegen einen geschickten Gegner verliert.

Um zu verstehen, wie das passieren kann, stellen Sie sich vor, Sie testen eine neue Videospiel-Engine. Sie spielen 40 zufällige Partien, in denen Sie einfach nur wahllos Knöpfe drücken und Ihren Charakter im Kreis laufen lassen. Die Engine sagt exakt voraus, was in diesen 40 Partien passiert. Sie geben ihr einen goldenen Stern und sagen: „Perfekt!“ Aber suppose es gibt eine geheime Regel im Spiel: „Wenn das Spiel länger als 100 Züge dauert, gewinnt der Spieler mit dem meisten Gold.“ In diesen 40 zufälligen „Knopf-Drück-Spielen“ dauert das Spiel nie so lange, dass diese Regel überhaupt relevant wird. Die Engine wird durch diese Regel nie getestet. Sie besteht den Test.

Wenn jedoch ein geschickter Spieler (der Gegner der KI) spielt, weiß er jedoch, wie er das Spiel auf über 100 Züge hinzieht, um zu gewinnen. Die KI, die ihre „verifizierte“ Engine nutzt, weiß nicht, dass diese geheime Regel existiert. Sie denkt, das Spiel sollte unentschieden enden. Weil ihr diese eine winzige, seltene Regel fehlt, begeht sie einen fatalen Fehler und verliert. Die Forscher nennen dies die „Verified-vs-Correct Gap“ (die Lücke zwischen Verifizierung und Korrektheit). Das Modell ist verifiziert (es hat den Test bestanden), aber nicht korrekt (es scheitert in der realen Welt).

Das Gesetz des seltenen Fehlers

Die Arbeit besagt nicht nur, dass dies passiert; sie liefert uns eine mathematische Formel, um genau vorherzusagen, wann es passieren wird. Sie nennen es das „Danger Law“ (das Gefahrengesetz).

Betrachten Sie den Verifizierungstest als ein Fischernetz. Die „Seltenheit“ der geheimen Regel ist die Schwierigkeit, einen Fisch zu fangen, der diese Regel auslöst. Wenn die Regel in 50 % der Spiele auftritt, wird das Netz (selbst ein kleines) sie leicht einfangen. Aber wenn die Regel nur in 2,5 % der Spiele vorkommt (wie die „100-Züge-Regel“ in ihrem Experiment) und Sie Ihr Netz nur 40 Mal auswerfen, ist die Wahrscheinlichkeit sehr hoch, dass Sie sie komplett verpassen.

Die Formel lautet: Gefahr = (Wie schlimm der Fehler ist) × (Chance, dass der Test die Regel übersehen hat).

In ihren Experimenten erschufen sie ein Spiel namens army5x5a mit einer geheimen Regel darüber, was passiert, wenn das Spiel ein Zeitlimit erreicht. Sie fanden heraus, dass, als die Regel selten war (sie trat in nur etwa 2,5 % der zufälligen Spiele auf), die KI den Test bestand, aber die echten Spiele mit einer Gewinnrate von nur 0,404 (etwa 40 %) verlor, verglichen mit einer fairen Baseline von 0,495 (etwa 50 %). Das mag nicht nach einem riesigen Unterschied klingen, aber in der Welt des kompetitiven Gamings ist es eine Katastrophe, wenn man 1,6 Spiele verliert, für jedes eine, das man gewinnt. Das „verifizierte“ Modell wurde systematisch überlistet, weil es blind für das eine Element war, auf das es am meisten ankam.

Warum mehr Beispiele nicht helfen

Man könnte denken: „Okay, der Test war zu klein. Geben wir der KI einfach mehr Beispiele für diese seltene Regel!“ Die Forscher haben dies ebenfalls versucht. Sie fütterten die KI mit tausenden Beispielen eines Spielendes durch einen Tie-Breaker, in der Hoffnung, dass sie die Regel „lernen“ würde.

Aber hier kommt die überraschende Wendung: Es funktionierte nicht. Die KI agierte wie ein Übersetzer, nicht wie ein Detektiv. Wenn man ihr sagte: „Hier ist die Regel“, schrieb sie den Code perfekt. Aber wenn man ihr nur Beispiele zeigte und sagte: „Finde die Regel heraus“, scheiterte sie. Selbst mit hunderten von Beispielen konnte die KI die fehlende Regel nicht allein aus den Daten ableiten. Sie konnte schlichtweg nicht erraten, was nicht explizit in den Anweisungen stand. Dies deutet darauf hin, dass für diese KI-Systeme die „Spezifikationsvollständigkeit“ (ihnen das vollständige Regelwerk zu geben) weita-gemein wichtiger ist als das „Lernen aus Beispielen“.

Das Poker-Problem: Wenn man die Karten nicht sehen kann

Die Arbeit untersuchte auch Spiele, in denen man nicht alles sehen kann, wie zum Beispiel Poker. In diesen Spielen muss die KI erraten, welche Karten der Gegner hält. Dies ist der „Inferenz-Teil“ des Modells.

Die Forscher bewiesen, dass für einfache Poker-Spiele ein Zufallstest tatsächlich sicher ist, da das Spiel zu flach ist; man kann keine geheime Regel in einem kurzen Spiel verstecken. Aber sie bauten ein winziges, maßgeschneidertes Spiel namens Beacon, um zu beweisen, dass in tieferen, komplexeren Spielen dieselbe Falle existiert. In Beacon musste die KI den verborgenen Typ eines Gegners basierend auf dessen Zügen erraten. Die KI bestand den Test perfekt (0 Fehler in 8.156 Testfällen), verlor aber jedes einzelne echte Spiel (0 % Gewinnrate).

Warum? Weil der Test zufällige Züge verwendete, die fast nie den tiefen Teil des Spiels erreichten, in dem das Geheimnis verborgen war. Das „Raten“ der KI war falsch, aber der Test sah es nie, weil der Test zu oberflächlich war. Es ist, als würde man die Fähigkeit eines Detektivs, einen Mord aufzuklären, testen, indem man ihn bittet, einen Fall um eine verschwundene Socke zu lösen. Er mag den Socken-Fall richtig lösen, aber beim Mord scheitern.

Das Fazit

Die wichtigste Erkenntnis aus dieser Arbeit ist eine Warnung an jeden, der KIs baut, die Spiele spielen oder Pläne erstellen: Vertrauen Sie einem Modell nicht einfach deshalb, weil es einen Zufallstest besteht.

Wenn die KI von einem intelligenten Planer genutzt werden soll, der nach tiefen, strategischen Zügen sucht, können Sie sie nicht mit zufälligen, oberflächlichen Tests verifizieren. Sie müssen entweder:

Sie gegen die tatsächliche Strategie testen: Lassen Sie die KI gegen einen geschickten Gegner spielen und sehen Sie, ob sie gewinnt, nicht nur, ob sie zufällige Züge korrekt vorhersagt.
Ihr das vollständige Regelwerk geben: Stellen Sie sicher, dass die Anweisungen zu 100 % vollständig sind, bevor Sie die KI bitten, den Code zu schreiben.

Die Arbeit zeigt, dass ein Modell „verifiziert“ und dennoch gefährlich falsch liegen kann, einfach weil der Test den einen seltenen, entscheidenden Moment verpasst hat, in dem das Spiel tatsächlich gewonnen oder verloren wird. Es ist eine Erinnerung daran, dass in der Welt der KI das Bestehen eines Tests nicht dasselbe ist wie die Bereitschaft für die reale Anwendung.

Technisches Resümee: Verifizierte Weltmodelle vs. Spiel-Adäquanz in LLM-synthetisierten Code-Weltmodellen

1. Problemstellung

Die Arbeit untersucht das Paradigma der Code-Weltmodelle (CWM), bei dem Large Language Models (LLMs) ausführbaren Code synthetisieren, der die Übergangsdynamik eines Spiels repräsentiert, welcher anschließend von einem klassischen Planer (z. B. MCTS) zum Spielen verwendet wird. Das Standardprotokoll zur Verifizierung besteht darin, den synthetisierten Code so lange zu verfeinern, bis er eine 100%ige Übergangsgenauigkeit auf einer Menge zufällig ausgewählter Trajektorien (dem „Gate“) erreicht.

Das zentrale Problem ist, ob das Bestehen dieses Gates die Adäquanz für die Planung zertifiziert. Die Autoren argumentieren, dass eine hohe Vorhersagegenauigkeit auf Zufallsstichproben der falsche Metrik für die Planungsadäquanz ist. Sie postulieren eine strukturelle Lücke: Ein Planer konzentriert die Suche auf strategisch signifikante (oft tiefe oder seltene) Zustände, während Zufallsstichproben sich auf flache, häufig vorkommende Historien konzentrieren. Folglich kann ein CWM das Gate mit 100 % Genauigkeit passieren und dennoch im Spiel systematisch scheitern, wenn es eine „seltene, aber entscheidende“ Regel auslässt, die durch zufälliges Spiel selten ausgelöst, von kompetentem Spiel jedoch zuverlässig ausgenutzt wird.

2. Methodik

Die Studie verwendet ein rigoroses experimentelles und theoretisches Framework über Spiele mit perfekter und imperfekter Information hinweg:

Synthese-Pipeline: LLMs (GPT-5.x-Familie: mini, nano, large) werden mit Spielregeln und zufälligen Trajektorien gepromptet, um Python-Module zu synthetisieren, die ein Standard-CWM-Interface (initial_state, legal_actions, apply_action usw.) implementieren.
Das Gate: Eine Verfeinerungsschleife prüft den synthetisierten Code gegen die Ground-Truth-Trajektorien. Das Modell wird nur akzeptiert, wenn es eine 100%ige Übergangsgenauigkeit auf dem Stichproben-Set erreicht.
Instrumentierung:
- Perfekte Information: Die Autoren konstruierten eine Variante des Spiels army5x5a mit einer „Material-at-Cap“-Tiebreak-Regel. Diese Regel tritt unter Zufallsspiel selten auf (~~2,5 % Inzidenz), ist aber unter kompetentem Spiel entscheidend (~~50 % Inzidenz).
- Imperfekte Information: Sie führten Beacon ein, ein minimales, handinstrumentiertes Spiel, das darauf ausgelegt ist, Inferenzfehler zu isolieren. Es verfügt über eine „tiefe Region“, die nur durch optimale Überlebensstrategien erreichbar ist, welche durch Zufallsspiel fast nie erreicht wird.
Metriken:
- Gate-Linse: Übergangsgenauigkeit, Zustandsgenauigkeit, Beobachtungsrate und Inferenzrate.
- Entscheidungs-Linse: Gewinnrate im Arena-Spiel gegen einen Ground-Truth-Gegner, gemessen mit Wilson-95%-Konfidenzintervallen.
- Lückenmessung: Der Unterschied zwischen der Zustandsgenauigkeit auf der Gate-Verteilung gegenüber der Suchverteilung des Planers.
Reparaturversuche: Die Autoren testeten, ob die Bereitstellung diskriminierender Beispiele (via DAgger, gezielte On-Manifold-Übergänge oder künstliche Zustände) es dem LLM ermöglicht, die fehlende Regel zu inferieren.

3. Kernbeiträge und Ergebnisse

3.1 Die Lücke zwischen Verifizierung und Korrektheit

Die Arbeit zeigt, dass ein CWM das Übergangs-Gate passieren (100 % Genauigkeit) und $\ge$ 98 % zustandsgenau auf der Suchverteilung des Planers sein kann, aber im Spiel systematisch verliert.

Evidenz: In army5x5a mit der ausgelassenen „Material-at-Cap“-Regel erreichte das „regelblinde“ CWM eine Gewinnrate von 0,404 (95 % KI [0,384, 0,424]) gegen eine faire Baseline von 0,495. Die Wilson-Intervalle sind getrennt, was eine statistisch signifikante „Spielkosten“-Differenz von 0,091 bestätigt.
Ursache: Der Fehler liegt in den <1 % der Zustände, in denen die Regel Anwendung findet. Zufällige Stichproben verwässern diesen Fehler, wodurch die Zustandsgenauigkeit hoch erscheint, während die Suche des Planers auf diese entscheidenden Zustände konzentriert ist.

3.2 Das quantitative Gefahrengesetz

Die Autoren leiten ein geschlossenes Gesetz ab, das den erwarteten Schaden durch Stichprobenverifizierung regelt:
$\text{danger} = \text{play\_cost} \times (1 - \text{rarity})^N$

$(1 - \text{rarity})^N$ : Die exakte Wahrscheinlichkeit, dass ein Gate der Größe $N$ (i.i.d. Bernoulli-Stichproben) eine Regel mit der Seltenheit $r$ nicht beobachtet.
$\text{play\_cost}$ : Das empirische Leistungsdefizit unter der Bedingung, dass die Regel ausgelassen wurde.
Schwellenwertverhalten: Das Gesetz sagt ein Verhalten voraus: Der Schaden ist vernachlässigbar, wenn Regeln häufig genug sind, um vom Gate erfasst zu werden, steigt steil an, wenn Regeln seltener werden, und sättigt bei den vollen Spielkosten, wenn die Regel fast immer der Detektion entgeht.

3.3 Translation, nicht Inferenz

Die Arbeit untersucht, ob die Bereitstellung von Beispiel-Übergängen die fehlende Regel reparieren kann.

Befund: Die LLM-Synthese verhält sich wie Regel-Translation, nicht wie Regel-Inferenz.
Evidenz: Über mehrere Dataregime hinweg (naives DAgger, proper Dages, gezielte On-Manifold-Beispiele) und Modellgrößen hinweg scheiterte das LLM daran, die ausgelassene Regel zu inferieren, selbst wenn diskriminierende Übergänge in der Stichprobe vorhanden waren.
Beweiskern: Ein theoretisches Proposition zeigt, dass, wenn eine Regel nicht in der Stichprobe enthalten ist (Wahrscheinlichkeit $(1-r)^N$ ), kein Lerner sie allein aus diesen Übergängen inferieren kann. Selbst wenn die Regel vorhanden ist, scheiterten die getesteten LLMs (GPT-5.x) konsistent daran, sie zu kodieren, was auf eine Einschränkung bei der Inferenz von Regeln aus Beispielen hindeutet, statt nur auf eine mangelnde Translation von Spezifikationen.

3.4 Imperfektes Wissen und die Inferenzlücke

Der Mechanismus erweitert sich auf die Inferenzfunktion (Rekonstruktion verborgener Zustände) in Spielen mit imperfekter Information.

Coverage Bound: Die Autoren beweisen, dass ein zufälliges Inferenz-Gate identifizierend ist (alle relevanten Informationsmengen abdeckt), wenn $N \gtrsim b^{d_{max}} \cdot p_{chance}^{-1} \cdot \log |I|$ . Dies erklärt, warum flache Spiele wie Kuhn Poker keine Lücke zeigen.
Beacon-Experiment: Im konstruierten Spiel Beacon passierte eine „verifizierte, aber falsche“ Inferenzfunktion das Gate (0/8156 Mismatches), verlor aber jedes einzelne Spiel (Win Rate 0,000 vs. 0,500 Baseline). Der Fehler war auf eine tiefe Region beschränkt, die durch optimales Spiel erreichbar, aber für Zufallssampling unsichtbar ist.
Belief Blindness: Ein Übergangsgenauigkeits-Gate ist strukturell blind gegenüber falschen Belief-Modellen (Beobachtungs-/Inferenzfunktionen), da Belief-Partitionen nicht in Übergangstupeln $(s, a, s')$ erscheinen.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, eine rigorose negative Antwort auf die Frage zu liefern, ob Übergangsgenauigkeit auf Zufalls-Trajektorien die Planungsadäquanz zertifiziert.

Strukturelle Diagnose: Das Versagen ist kein Problem der Modellkapazität, sondern ein Reach-Distribution-Shift. Die Verifizierungspolitik (Uniform Random) und die Einsatzpolitik (kompetenter Planer) konzentrieren die Masse auf disjunkte Regionen des Zustandsraums. Dies ist analog zum Problem der unbeschränkten Off-Equilibrium-Path-Beliefs in der Spieltheorie.
Praktische Implikationen:
1. Verifizierung: Adäquanz muss auf der Suchverteilung oder durch direktes Spielen gemessen werden, nicht durch Vorhersagegenauigkeit auf Stichproben.
2. Spezifikation: Die Vervollständigung der Spezifikation ist effektiver als der Versuch, Lücken via Beispiele zu reparieren. Das Modell übersetzt, was gegeben ist; es inferiert nicht zuverlässig, was ausgelassen wurde.
Umfang: Diese Befunde gelten für die GPT-5.x-Familie unter spezifischen Regimen. Während das „Translation vs. Inference“-Verhalten über Modellgrößen und Reparaturstrategien hinweg beobachtet wurde, rahmen die Autoren die universelle Behauptung („kein Modell kann eine ausgelassene Regel inferieren“) als eine durch ihre Daten gestützte Konjektur ein, wobei angemerkt wird, dass stärkere Code-Reasoning-Modelle oder agentische Scaffolds dies ändern könnten.

Die Arbeit schließt mit der Feststellung, dass die „Verified-vs-Correct“-Lücke eine fundamentale Limitierung der samplingbasierten Verifizierung für synthetisierte Weltmodelle in der Planung ist, getrieben durch die statistische Unmöglichkeit, seltene, aber entscheidende Dynamiken mit Uniform-Random-Sampling zu erfassen.