🤖 machine learning

When a Verified World Model Still Loses: Play-Adequacy vs Prediction-Accuracy in LLM-Synthesized Code World Models

Dit artikel toont aan dat door Large Language Models gesynthetiseerde Code World Models een bijna perfecte transitienauwkeurigheid kunnen bereiken op gesamplede data, maar systematisch falen in planning omdat ze zeldzame maar cruciale regels missen, wat onthult dat voorspellingsnauwkeurigheid een inadequate metriek is voor planningsgerichte world models vergeleken met speelprestaties of de dekking van de zoekdistributie.

Oorspronkelijke auteurs: Javier Aguilar Martín

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Javier Aguilar Martín

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Magische Doos en de Blinde Vlek

Stel je voor dat je een superintelligente robot leert hoe hij een nieuw bordspel moet spelen. Je wilt niet dat de robot simpelweg elke zet die hij ooit heeft gezien uit het hoofd leert; je wilt dat hij de regels begrijpt, zodat hij vooruit kan denken en kan winnen. In de wereld van kunstmatige intelligentie bestaat er een slimme truc genaamd een "Code World Model". In plaats van dat de robot gokt, vragen we een Large Language Model (zoals de modellen die verhalen of code schrijven) om het regelboek te lezen en een computerprogramma te schrijven dat het spel perfect simuleert. Zodra de robot dit programma heeft, kan hij miljoenen denkbeeldige spellen in zijn hoofd spelen om de beste zet te vinden.

Maar hier komt het lastige deel: hoe weten we of de robot het programma correct heeft geschreven? Meestal testen we het door een paar willekeurige spelletjes tegen hem te spelen. Als het programma van de robot de uitkomst van die willekeurige spelletjes correct voorspelt, zeggen we: "Geweldig, het model is geverifieerd!" en laten we hem echt spelen. Dit artikel stelt een angstaanjagende vraag: wat als het programma van de robot perfect is in het voorspellen van willekeurige spelletjes, maar totaal fout zit op de specifieke momenten die er echt toe doen om te winnen? Het blijkt dat het feit dat een model een willekeurige test doorstaat, niet betekent dat het klaar is voor de grote competities.

Het Verhaal van de Ontbrekende Regel

De onderzoekers in dit artikel ontdekten een verborgen valstrik in de manier waarop we deze AI-spelers testen. Ze ontdekten dat een AI een "verificatiepoort" met vlag en wimpel kan passeren — waarbij hij 100% van de willekeurige testspelletjes correct uitvoert — maar toch elk echt spel tegen een bekwame tegenstander verliest.

Om te begrijpen hoe dit gebeurt, stel je voor dat je een nieuwe videogame-engine test. Je speelt 40 willekeurige wedstrijden waarin je gewoon op de knoppen ramt en met je personage in cirkels draait. De engine voorspelt exact wat er gebeurt in die 40 wedstrijden. Je geeft het een gouden ster en zegt: "Perfect!" Maar stel dat er een geheime regel in het spel zit: "Als het spel langer dan 100 beurten duurt, wint de speler met het meeste goud." In die 40 willekeurige wedstrijden waarbij op de knoppen wordt geramd, duurt het spel nooit zo lang, dus de engine wordt nooit getest op deze regel. Hij slaagt voor de test.

Wanneer een slimme speler (de tegenstander van de AI) echter speelt, weet hij hoe hij het spel naar 100 beurten kan slepen om te winnen. De AI, die gebruikmaakt van zijn "geverifieerde" engine, weet niet dat deze geheime regel bestaat. De AI denkt dat het spel in een gelijkspel moet eindigen. Omdat hij deze ene kleine, zeldzame regel mist, maakt hij een fatale fout en verliest hij. De onderzoekers noemen dit de "verified-vs-correct gap" (de kloof tussen geverifieerd en correct). Het model is geverifieerd (het heeft de test doorstaan) maar niet correct (het faalt in de echte wereld).

De Wet van de Zeldzame Fout

Het artikel zegt niet alleen dat dit gebeurt; het geeft ons een wiskundige formule om precies te voorspellen wanneer het zal gebeuren. Ze noemen het de "Danger Law" (de Gevaarwet).

Zie de verificatietest als een visnet. De "zeldzaamheid" van de geheime regel is hoe moeilijk het is om een vis te vangen die die regel activeert. Als de regel in 50% van de spellen voorkomt, vangt het net (zelfs een klein net) de regel gemakkelijk. Maar als de regel slechts in 2,5% van de spellen voorkomt (zoals de "100-beurten"-regel in hun experiment), en je werpt je net slechts 40 keer uit, is de kans zeer groot dat je hem volledig mist.

De formule luidt: Gevaar = (Hoe erg de fout is) × (Kans dat de test de regel mist).

In hun experimenten creëerden ze een spel genaamd army5x5a met een verborgen regel over wat er gebeurt wanneer het spel een tijdslimiet bereikt. Ze ontdekten dat wanneer de regel zeldzaam was (voorkomend in slechts ongeveer 2,5% van de willekeurige spellen), de AI de test doorstond maar de echte wedstrijden verloor met een winstpercentage van slechts 0,404 (ongeveer 40%), vergeleken met een eerlijke baseline van 0,495 (ongeveer 50%). Dat klinkt misschien niet als een enorm verschil, maar in de wereld van competitief gamen is het verliezen van 1,6 spellen voor elke gewonnen wedstrijd een ramp. Het "geverifieerde" model werd systematisch uitgespeeld omdat het blind was voor het ene ding dat er het meest toe deed.

Waarom Meer Voorbeelden Niet Helpen

Je zou kunnen denken: "Oké, de test was te klein. Laten we de AI gewoon meer voorbeelden geven van die zeldzame regel!" De onderzoekers probeerden dit ook. Ze voerden de AI duizenden voorbeelden van een spel dat eindigt in een beslissing na een tijdslimiet, in de hoop dat het de regel zou "leren".

Maar hier komt de verrassende wending: Het werkte niet. De AI gedroeg zich als een vertaler, niet als een detective. Als je tegen de AI zei: "Hier is de regel," schreef hij de code perfect. Maar als je hem alleen voorbeelden liet zien en zei: "Zoek de regel uit," dan faalde hij. Zelfs met honderden voorbeelden kon de AI de ontbrekende regel niet afleiden uit de data alleen. Hij kon simpelweg niet raden wat niet expliciet in de instructies stond geschreven. Dit suggereert dat voor deze AI-systemen "specificatie-volledigheid" (het geven van het volledige regelboek) veel belangrijker is dan "leren van voorbeelden".

Het Pokerprobleem: Wanneer Je de Kaarten Niet Kunt Zien

Het artikel keek ook naar spellen waarbij je niet alles kunt zien, zoals Poker. In deze spellen moet de AI raden welke kaarten de tegenstander vasthoudt. Dit wordt het "inferentie"-gedeelte van het model genoemd.

De onderzoekers bewezen dat voor eenvoudige pokerspellen een willekeurige test eigenlijk veilig is, omdat het spel te oppervlakkig is; je kunt geen geheime regel verbergen in een kort spel. Maar ze bouwden een klein, op maat gemaakt spel genaamd Beacon om te bewijzen dat in diepere, complexere spellen dezelfde valstrik bestaat. In Beacon moest de AI het type van een tegenstander raden op basis van diens zetten. De AI passeerde de test perfect (0 fouten in 8.156 testgevallen), maar verloor elk echt spel (0% winstpercentage).

Waarom? Omdat de test gebruikmaakte van willekeurige zetten die bijna nooit de diepe delen van het spel bereikten waar het geheim verborgen lag. De "vermoedens-hersenen" van de AI waren foutief, maar de test zag het nooit omdat de test te oppervlakkig was. Het is alsoast het testen van het vermogen van een detective om een moord op te lossen door hem een verdwaalde sok-zaak te laten oplossen. Hij kan de sok-zaak misschien goed oplossen, maar faalt bij de moord.

De Kern van het Verhaal

De belangrijkste les van dit artikel is een waarschuwing voor iedereen die AI bouwt die spellen speelt of plannen maakt: Vertrouw een model niet alleen omdat het een willekeurige test doorstaat.

Als de AI zal worden gebruikt door een slimme planner die op zoek is naar diepe, strategische zetten, kun je de AI niet verifiëren met willekeurige, oppervlakkige tests. Je moet ofwel:

Het testen op de werkelijke strategie: Zet de AI af tegen een slimme tegenstander en kijk of hij wint, niet alleen of hij willekeurige zetten correct voorspelt.
Het volledige regelboek geven: Zorg ervoor dat de instructies 100% compleet zijn voordat je de AI vraagt de code te schrijven.

Het artikel laat zien dat een model "geverifieerd" kan zijn en toch gevaarlijk fout kan zitten, simpelweg omdat de test het ene zeldzame, cruciale moment miste waarop het spel daadwerkelijk wordt gewonnen of verloren. Het is een herinnering dat in de wereld van AI, het slagen voor een test niet hetzelfde is als klaar zijn voor de echte zaak.

Technische Samenvatting: Geverifieerde Wereldmodellen vs. Speelgeschiktheid in door LLM gesynthetiseerde Code Wereldmodellen

1. Probleemstelling

Het paper onderzoekt het Code World Model (CWM) paradigma, waarbij Large Language Models (LLMs) uitvoerbare code synthetiseren die de transitiedynamiek van een spel representeert, welke vervolgens wordt gebruikt door een klassieke planner (bijv. MCTS) om te spelen. Het standaard verificatieprotocol behelst het verfijnen van de gesynthetiseerde code totdat deze 100% transitie-accuratesse bereikt op een set willekeurig gesamplede trajecten (de "gate").

Het centrale probleem is of het passeren van deze gate de geschiktheid voor planning certificeert. De auteurs stellen dat een hoge voorspellingsaccuratesse op willekeurige samples de verkeerde metriek is voor planningsgeschiktheid. Zij postuleren een structurele kloof: een planner concentreert de zoektocht op strategisch significante (vaak diepe of zeldzame) toestanden, terwijl willekeurige sampling concentreert op ondiepe, veelvoorkomende historieën. Bijgevolg kan een CWM de gate passeren met 100% accuratesse, maar toch systematisch falen in het spel als het een "zeldzame-maar-cruciale" regel weglaat die door willekeurig spel zelden wordt getriggerd, maar door competent spel consequent wordt geëxploiteerd.

2. Methodologie

De studie hanteert een rigoureus experimenteel en theoretisch kader over spellen met volledige informatie en imperfecte informatie:

Synthese Pipeline: LLMs (GPT-5.x familie: mini, nano, large) worden geprompt met spelregels en willekeurige trajecten om Python-modules te synthetiseren die een standaard CWM-contract implementeren (initial_state, legal_actions, apply_action, etc.).
De Gate: Een verfijningslus controleert de gesynthetiseerde code tegen de grondwaarheid (ground-truth) trajecten. Het model wordt geaccepteerd als het 100% transitie-accuratesse bereikt op de gesamplede set.
Instrumentatie:
- Volledige Informatie: De auteurs construeerden een variant van het spel army5x5a met een "material-at-cap" tiebreak-regel. Deze regel komt zeldzaam voor bij willekeurig spel (~~2,5% incidentie), maar is beslissend onder competent spel (~~50% incidentie).
- Imperfecte Informatie: Zij introduceerden Beacon, een minimaal hand-geinstrumenteerd spel ontworend om inferentie-fouten te isoleren. Het bevat een "diepe regio" die alleen bereikbaar is via optimale overlevingsstrategieën, die door willekeurig spel bijna nooit wordt bereikt.
Metrieken:
- Gate Lens: Transitie-accuratesse, staat-accuratesse, observatierate en inferentie-rate.
- Decision Lens: Winrate in arena-spel tegen een grondwaarheid-tegenstander, gemeten met Wilson 95% betrouwbaarheidsintervallen.
- Gap Measurement: Het verschil tussen de staat-accuratesse op de gate-distributie versus de zoekdistributie van de planner.
Repair Pogingen: De auteurs testten of het aanbieden van discriminerende voorbeelden (via DAgger, gericht op on-manifold transities, of kunstmatige staten) de LLM in staat stelt de ontbrekende regel te infereren.

3. Belangrijkste Bijdragen en Resultaten

3.1 De Verified-vs-Correct Kloof

Het paper demonstreert dat een CWM de transitie-gate kan passeren (100% accuratesse) en $\ge$ 98% staat-accuraat kan zijn op de zoekdistributie van de planner, maar toch systematisch verliest tijdens het spelen.

Bewijs: In army5x5a met de weggelaten "material-at-cap" regel, bereikte de "regel-blinde" CWM een winrate van 0,404 (95% CI [0,384, 0,424]) tegen een eerlijke baseline van 0,495. De Wilson-intervallen zijn gescheiden, wat een statistisch significante "speelkosten" van 0,091 bevestigt.
Oorzaak: De fout ligt in de <1% van de toestanden waar de regel van toepassing is. Willekeurige sampling verdunt deze fout, waardoor de staat-accuratesse hoog lijkt, terwijl de zoektocht van de planner zich juist concentreert op deze cruciale toestanden.

3.2 De Kwantitatieve Gevaarswet

De auteurs leiden een gesloten wet af die de verwachte schade van sampling-verificatie reguleert:
$\text{danger} = \text{play\_cost} \times (1 - \text{rarity})^N$

$(1 - \text{rarity})^N$ : De exacte kans dat een gate van grootte $N$ (i.i.d. Bernoulli samples) een regel met zeldzaamheid $r$ niet observeert.
$\text{play\_cost}$ : Het empirische prestatiedeficiet onder de conditie dat de regel is weggelaten.
Drempelgedrag: De wet voorspelt een drempel: schade is verwaarloosbaar wanneer regels algemeen genoeg zijn om door de gate te worden gevangen, stijgt scherp naarmate regels zeldzamer worden, en verzadigt bij de volledige speelkosten wanneer de regel bijna altijd detectie ontwijkt.

3.3 Translatie, Geen Inferentie

Het paper onderzoekt of het aanbieden van voorbeeld-transities de ontbrekende regel kan repareren.

Bevinding: LLM-synthese gedraagt zich als regel-translatie, niet als regel-inferentie.
Bewijs: Over meerdere data-regimes (naïeve DAgger, correcte DAgver, gerichte on-manifold voorbeelden) en modelgroottes, faalde de LLM om de ontbrekende regel te infereren, zelfs wanneer discriminerende transities aanwezig waren in de sample.
Bewijsbaar Kernpunt: Een theoretisch propositie toont aan dat als een regel afwezig is uit de sample (kans $(1-r)^N$ ), geen enkele leerling de regel enkel uit die transities kan infereren. Zelfs wanneer de regel wel aanwezig is, faalden de geteste LLMs (GPT-5.x) consistent in het coderen ervan, wat wijst op een beperking in het infereren van regels uit voorbeelden in plaats van enkel het vertalen van specificaties.

3.4 Imperfecte Informatie en de Inferentie-kloof

Het mechanisme strekt zich uit tot de inferentiefunctie (reconstructie van verborgen staten) in spellen met imperfecte informatie.

Coverage Bound: De auteurs bewijzen dat een willekeurige inferentie-gate identificerend is (dekt alle relevante informatie-sets af) wanneer $N \gtrsim b^{d_{max}} \cdot p_{chance}^{-1} \cdot \log |I|$ . Dit verklaart waarom eenvoudige spellen zoals Kuhn poker geen kloof vertonen.
Beacon Experiment: In het geconstrueerde spel Beacon, passeerde een "geverifieerd-maar-foutieve" inferentiefunctie de gate (0/8156 mismatches), maar verloor het elk enkel spel (winrate 0,000 vs. 0,500 baseline). De fout was geconcentreerd in een diepe regio die alleen bereikbaar is via optimaal spel, maar onzichtbaar is voor willekeurige sampling.
Belief Blindness: Een transitie-accuratesse gate is structureel blind voor incorrecte belief-modellen (observatie/inferentie functies) omdat belief-partities niet voorkomen in transitie-tuples $(s, a, s')$ .

4. Betekenis en Claims

Het paper claimt een rigoureus negatief antwoord te bieden op de vraag of transitie-accuratesse op willekeurige trajecten planningsgeschiktheid certificeert.

Structurele Diagnose: De fout is geen kwestie van modelcapaciteit, maar een reach-distributie verschuiving. Het verificatiebeleid (uniform willekeurig) en het deploymentbeleid (competente planner) concentreren massa op disjuncte regio's van de toestandsruimte. Dit is analoog aan het probleem van onbeperkte off-equilibrium-path beliefs in speltheorie.
Praktische Implicaties:
1. Verificatie: Geschiktheid moet worden gemeten op de zoekdistributie of door direct spel, niet door voorspellingsaccuratesse op gesamplede transities.
2. Specificatie: Het voltooien van de specificatie is effectiever dan het proberen te repareren van gaten via voorbeelden. Het model vertaalt wat gegeven wordt; het infereert niet betrouwbaar wat is weggelaten.
Scope: De bevindingen zijn vastgesteld voor de GPT-5.x familie onder specifieke regimes. Hoewel het "translatie vs. inferentie" gedrag wordt waargenomen over verschillende modelgroottes en reparatiestrategieën, presenteren de auteurs de universele claim ("geen model kan een ontbrekende regel infereren") als een conjectuur ondersteund door hun data, waarbij zij opmerken dat sterkere code-reasoning modellen of agentic scaffolds de uitkomst zouden kunnen veranderen.

Het paper concludeert dat de "verified-vs-correct" kloof een fundamentele beperking is van sampling-gebaseerde verificatie voor gesynthetiseerde wereldmodellen in planning, gedreven door de statistische onmogelijkheid om zeldzame-maar-cruciale dynamieken te vangen met uniforme willekeurige sampling.