🤖 machine learning

How Should World Models Be Evaluated? A Decision-Making-Centric Position

Dit artikel betoogt dat wereldmodellen voor belichaamde besluitvorming geëvalueerd moeten worden via een op besluitvorming gecentreerd kader met behulp van een L0–L7 ladder, waarbij de prioriteit ligt bij bewijs van contrafactisch redeneren, planning en beleidsoptimalisatie boven oppervlakkige metrieken zoals visuele realisme, om de veelvoorkomende discrepantie tussen de claims van modellen en hun evaluatiecapaciteiten aan te pakken.

Oorspronkelijke auteurs: Yang Yu, Shiyuan Zhang, Yifei Sheng, Haoxiang Ren, Haoxin Lin

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Yu, Shiyuan Zhang, Yifei Sheng, Haoxiang Ren, Haoxin Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: "World Models" Dragen Te Veel Petten

Stel je een nieuw type AI voor die een "World Model" wordt genoemd. De naam klinkt alsof het alles weet over hoe de wereld werkt. Maar op dit moment gebruiken wetenschappers deze naam voor zes zeer verschillende dingen:

Een video-generator die nep-toekomstvideo's maakt die er echt uitzien.
Een simulator die robots helpt bij het plannen van hun bewegingen.
Een hulpmiddel dat voorspelt wat er hierna gebeurt in een spel.
Een systeem dat nepdata creëert om andere robots te trainen.
Een "brein" dat abstracte concepten begrijpt zonder plaatjes te tonen.
Een planner die uitzoekt hoe je van punt A naar punt B komt.

Het Probleem: Omdat iedereen ze allemaal "World Models" noemt, worden ze beoordeeld met de verkeerde regels.

Als je een video-generator bouwt, moet je beoordeeld worden op hoe mooi de video eruitziet.
Als je een robot-planner bouwt, moet je beoordeeld worden op de vraag of de robot de taak daadwerkelijk volbrengt.

Het artikel stelt dat veel onderzoekers een fout maken: ze bouwen een robot-planner, laten een prachtige video zien die de planner heeft gegenereerd (die er geweldig uitziet) en beweren dan: "Kijk! Onze robot-planner is fantastisch!" Maar de video kan perfect zijn, terwijl het plan van de robot eigenlijk waardeloos is. Ze gebruiken bewijs voor een film om te bewijzen dat een machine werkt.

De Oplossing: De "L0 tot L7" Ladder

Om deze verwarring op te lossen, hebben de auteurs een Evaluatieladder bedacht. Denk hierbij aan een videogame met levels. Je kunt niet zeggen dat je het spel hebt uitgespeeld omdat je door de tutorial bent gelopen (Level 1); je moet de eindbaas verslaan (Level 7).

Dit is wat elk level betekent in gewone mensentaal:

Levels 0–3 (De "Kunstcriticus" Levels):
- L0 (Visuele Geloofwaardigheid): Ziet de video er echt uit? (Bijv. Is de belichting goed? Zien de personages er menselijk uit?)
- L1 (Gelogde Toekomstvoorspelling): Als de robot doet wat hij normaal doet, komt de video dan overeen met wat er echt gebeurde?
- L2 (Semantische Afstemming): Heeft de video de instructies gevolgd? (Bijv. Als je zei "pak de rode beker", pakte hij dan de rode beker?)
- L3 (Fysieke Geloofwaardigheid): Voldoet de video aan de wetten van de natuurkunde? (Bijv. Viel de beker naar beneden toen hij werd losgelaten, of zweefde hij?)
- De visie van het artikel: Deze zijn goed om te controleren of de AI hallucineert of slechte kunst maakt. Maar ze bewijzen niet dat de AI goede beslissingen kan nemen. Een video kan perfect zijn, maar nog steeds een slecht kompas zijn voor een robot.
Level 4 (Het "Wat als?" Level):
- Actie-controleerbaarheid: Als ik de actie van de robot verander, verandert de video dan correct mee?
- Analogie: Stel je een film voor. Als de held besluit om naar links te gaan in plaats van naar rechts, verandert het verhaal dan? Als de AI dezelfde video genereert ongeacht wat je de robot vertelt, is het nutteloos voor planning. Dit is de eerste echte test van een "beslissingsmodel".
Levels 5–7 (De "Besluitvormer" Levels):
- L5 (Beloning/Resultaat Getrouwheid): Voorspelt de AI correct of de robot zal slagen of falen?
- L6 (Beleid-rangschikking): Als je twee verschillende robotstrategieën hebt, kan de AI je vertellen welke beter is?
- L7 (Beleid-optimalisatie): Als je deze AI gebruikt om een robot te trainen, wordt de robot dan daadwerkelijk beter in de echte taak?
- De visie van het artikel: Dit zijn de enige levels die er echt toe doen als je beweert dat je model bedoeld is voor besluitvorming.

De Kern van het Argument: Beoordeel een Boek Niet op de Kaft

De auteurs zeggen: "Als je beweert dat je model robots helpt bij het nemen van beslissingen, moet je bewijzen dat het hen helpt beslissingen te nemen."

De Fout: Een prachtige video (Level 0) laten zien om te bewijzen dat je robot een puzzel kan oplossen (Level 7).
De Realiteit: Een robot kan een verbluffende video genereren van het oppakken van een beker, maar als de robot dit in het echt probeert te doen, kan hij de beker omverwerpen omdat de video geen rekening hield met het specifieke gewicht van de beker.

De "Counterfactual" Test:
De belangrijkste test is de "Wat als?" test.

Slecht Model: "Als je tegen de blok duwt, beweegt hij." (Waar, maar alleen als je er zachtjes tegen duwt).
Goed Model: "Als je hard tegen het blok duwt, breekt het. Als je er zachtjes tegen duwt, schuift het."
Een echt World Model voor besluitvorming moet begrijpen hoe het veranderen van een actie de uitkomst verandert.

De Voorgestelde Oplossing: Een Nieuw "Rapportcijfer"

Het artikel suggereert dat telkens wanneer iemand een nieuw World Model publiceert, zij een specifiek Rapportcijfer (een "Evaluation Card") moeten invullen. In plaats van alleen een mooie video te tonen, moeten ze verklaren:

Waar is dit voor? (Is het voor het maken van films, of voor het besturen van robots?)
Welk level heb je getest? (Heb je alleen gecontroleerd of de video er echt uitzag, of heb je getest of de robot er beter door werd?)
Heb je "Wat als?" getest? (Heb je geprobeerd de acties te veranderen om te zien of het model daarop reageerde?)

De Gouden Regel:
Als een model beweert een Besluitvormings-World Model te zijn, moet het de Level 4, 5, 6 en 7 tests halen.

Je kunt de test niet halen simpelweg omdat je video er prachtig uitziet (Levels 0–3).
Als het model faalt voor de "Wat als?" test (Level 4), maakt het niet uit hoe mooi de video is; het is dan geen nuttig hulpmiddel voor besluitvorming.

Samenvatting

Het artikel is een oproep om te stoppen met het verwarren van mooie plaatjes met slimme beslissingen.

Video-generators moeten beoordeeld worden op hoe echt ze eruitzien.
Beslissingsmodellen moeten beoordeeld worden op de vraag of ze een agent (zoals een robot) helpen om betere keuzes te maken, om te gaan met onverwachte veranderingen en daadwerkelijk taken te volbrengen.

Als je wilt weten of een World Model echt "slim" is, vraag dan niet: "Ziet het er echt uit?" Vraag: "Als ik van gedachten verander, weet het model dan wat er daarna gebeurt?"

Technische Samenvatting: "Hoe moeten wereldmodellen worden geëvalueerd? Een besluitvormingsgecentreerd standpunt"

1. Probleemstelling

De term "wereldmodel" (world model) is in de moderne AI geprolifereerd en verwijst nu naar een heterogene verzameling objecten, waaronder actie-geconditioneerde omgevingsmodellen, latente verbeeldingsmodellen, toekomstige video-voorspellers, interactieve neurale simulators, latente predictieve representaties en synthetische data-engines. Hoewel deze diversiteit wetenschappelijk productief is, heeft het geleid tot aanzienlijke ambiguïteit in de evaluatie.

Het kernprobleem dat wordt geïdentificeerd, is een terugkerende claim/bewijs-mismatch. Papers maken vaak sterke claims over de bruikbaarheid van een model voor belichaamde besluitvorming (bijv. planning, beleidsoptimalisatie, veiligheidstesten), terwijl het geleverde bewijs primair gericht is op lagere-orde generatieve artefacten (bijv. video-realisme, perceptuele gelijkenis, instructieopvolging). De auteurs stellen dat metrieken die geschikt zijn voor het evalueren van een video-generator (visuele plausibiliteit) vaak onvoldoende of misleidend zijn wanneer het gestelde doel een hulpmiddel voor besluitvorming is (betrouwbare contrafactuele redenering). Een model kan visueel overtuigende toekomsten genereren die echter falen in het ondersteunen van betrouwbare beleidsevaluatie of -optimalisatie onder interventie en distributieverschuiving.

2. Methodologie en Raamwerk

Het paper hanteert een uitgebreide literatuurstudie en stelt een gestructureerd evaluatieraamwerk voor dat gecentreerd is rond het beoogde gebruik van het model.

2.1 De L0–L7 Evaluatieladder

De auteurs organiseren de literatuur en evaluatiedoelen in een hiërarchische ladder die varieert van visuele plausibiliteit tot de bruikbaarheid voor beleidsoptimalisatie. Deze ladder dient als een diagnostisch instrument om verschillende soorten wereldmodellen te onderscheiden en de kracht van het bewijs dat zij leveren voor besluitvormingsclaims te bepalen.

L0 (Visuele Plausibiliteit): Ziet de output er realistisch uit? (Metrieken: FID, FVD, esthetiek).
L1 (Voorspelling van Geregistreerde Toekomsten): Komt de voorspelling overeen met uitgesloten trajecten uit de gedragsdistributie? (Metrieken: MSE, PSNR, SSIM, LPIPS).
L2 (Semantische Afstemming): Komt de rollout overeen met instructies en scène-semantiek? (Metrieken: CLIPScore, VLM-judges).
L3 (Fysieke Plausibiliteit): Voldoet de rollout aan intuïtieve fysica en geometrische beperkingen? (Metrieken: Physics QA, diepteconsistentie).
L4 (Actiecontrole / Contrafactuele Getrouwheid): Produceert het veranderen van de actie de juiste taakrelevante veranderingen? Dit wordt geïdentificeerd als de eerste echt interventionele test, die een beslissingswereldmodel onderscheidt van een loutere toekomstige video-prior.
L5 (Beloning, Waarde en Uitkomstgetrouwheid): Voorspelt het model succes, beloning of waarde nauwkeurig genoeg voor besluitvorming?
L6 (Beleirsevaluatie en Rangschikking): Komt de model-gebaseerde evaluatie overeen met de prestaties van het echte/simulator-beleid? (Metrieken: Correlatie, rangschikkingsnauwkeurigheid).
L7 (Beleidsoptimalisatie / Planning Bruikbaarheid): Verbetert het gebruik van het model daadwerkelijk de beslissingen in de echte omgeving of een vertrouwde simulator?

De auteurs stellen dat L0–L3 het best geïnterpreteerd kunnen worden als diagnostiek van gegenereerde artefacten, L4 de drempel markeert voor echte interventionele testen, en L5–L7 het meest directe bewijs leveren van besluitvormingsbruikbaarheid.

2.2 Besluitvormingsgecentreerd Evaluatieraamwerk

Het paper stelt een raamwerk voor waarbij de evaluatie voorwaardelijk is aan een verklaard "besluitvormingscontract" (Taalfamilie, Beleidsklasse, Actie-interface, Horizon, Besluitvormingsgebruik). De belangrijkste componenten van dit raamwerk zijn:

Contrafactuele Actiegetrouwheid: Het evalueren van het vermogen van het model om $P(o_{t+1:H} | h_t)$ te onderscheiden van $P(o_{t+1:H} | h_t, do(a_{t:t+H-1}))$ . Dit omvat het meten van de interventionalistische voorspellingsfout (IPE) en de overeenstemming tussen actie en effect.
Beleidsgeïnduceerde Distributieverschuiving: Het testen van het model onder doelbeleids die verschillen van het gedragsbeleid dat gebruikt is voor de trainingsdata, in plaats van uitsluitend te vertrouwen op open-loop rollouts van het gedragsbeleid.
Volledige Horizon Uitkomstgetrouwheid: Prioriteit geven aan taakrelevante uitkomsten (beloningen, succespredicaten) boven korte-horizon pixelreconstructie, aangezien kleine lokale fouten kunnen cumuleren of irrelevant kunnen zijn voor het uiteindelijke doel.
Closed-Loop Rollout Validiteit: Het evalueren van het model wanneer het beleid handelt op basis van door het model gegenereerde historie, in plaats van enkel op teacher-forced grondwaarheid-prefixes.
Exploitabiliteit en Onzekerheid: Testen of een optimizer trajecten kan vinden die er goed uitzien voor het model, maar falen in de werkelijkheid (exploitabiliteitskloof), en of de onzekerheidsschattingen van het model gekalibreerd zijn.

2.3 Benchmark Protocol

De auteurs stellen een operationeel benchmarkprotocol voor (Stappen 0–8) dat het volgende omvat:

Het verklaren van het besluitvormingscontract.
Het construeren van beleidssplitsingen (gedrag, anker, verschuiving, optimalisatie).
Het rapporteren van L0–L3 als hulpdiagnostiek.
Het evalueren van de interventionalistische actiegetrouwheid (L4).
Het evalueren van closed-loop fixed-policy rollouts (L5–L6).
Het evalueren van beleidsoptimalisatie onder vaste budgetten (L7).
Het testen van adversariële exploitabiliteit en onzekerheidskalibratie.
Het rapporteren van een "besluitvormingsbruikbaarheidsprofiel" (een vector van scores over de niveaus) in plaats van een enkele scalaire waarde, waarbij mogelijk poorten worden gebruikt (bijv. het vereisen van L4–L6 pass/fail) om te voorkomen dat lagere-orde metrieken hogere-orde falen compenseren.

3. Belangrijkste Bijdragen

Literatuuronderzoek en Diagnose: Een paper-voor-paper survey van recente wereldmodel-literatuur, georganiseerd volgens wat er daadwerkelijk wordt geëvalueerd, waarbij het hardnekkige probleem van de claim/bewijs-mismatch wordt geïdentificeerd, waarbij lagere-orde bewijs wordt gebruikt om sterkere besluitvormingsclaims te ondersteunen.
De L0–L7 Ladder: Een conceptueel raamwerk dat evaluatietargets organiseert van visuele plausibiliteit tot beleidsoptimalisatie-bruikbaarheid, waarbij wordt geargeerd dat L4 de minimale interventionele vereiste is voor besluitvormingsclaims en L5–L7 het sterkste bewijs leveren.
Besluitvormingsgecentreerd Raamwerk: Een voorstel voor een nieuw evaluatieparadigma dat de nadere focus legt op contrafactuele actiegetrouwheid, closed-loop rollout validiteit, belonings-/waardevoorspelling, beleidsrangschikkingsovereenkomst, optimalisatieverbetering, model-exploitabiliteit en onzekerheidskalibratie.
Benchmark Protocol: Een modulair, operationeel protocol voor het evalueren van wereldmodellen bedoeld voor belichaamde besluitvorming, inclusief specifieke aanbevelingen voor beleidssplitsingen, interventietests en rapportagestandaarden (bijv. de "World-Model Evaluation Card").

4. Resultaten en Bevindingen

Het paper presenteert geen nieuwe experimentele resultaten of een nieuw model. In plaats daarvan zijn de "resultaten" analytische bevindingen afgeleid van de survey van de bestaande literatuur:

Divergerende Evaluatieculturen: De literatuur bevat meerdere evaluatieculturen (benchmark/diagnostiek, omgeving-model/beleidsoptimalisatie, beleidsevaluatie/uitvoerbaarheid, latent/fundamenteel) die vaak onder de enkele term "wereldmodel-evaluatie" worden samengevoegd.
Prevalentie van Mismatch: Veel papers evalueren lagere-orde artefact-eigenschappen (L0–L3) maar bespreken deze alsof ze sterkere besluitvormingsclaims (L6–L7) vestigen. Omgekeerd kunnen sommige latente modellen (bijv. V-JEPA) nuttig zijn voor planning zonder fotorealistische pixels te produceren, wat de noodzaak van hoge visuele metrieken uitdaagt.
Onvoldoendeheid van Huidige Metrieken: Metrieken zoals FVD, PSNR en VLM-gebaseerde fysieke QA zijn nuttig voor debugging en interfaces, maar zijn vaak slechte proxies voor beleidsbruikbaarheid, rangschikking of optimalisatieverbetering. Een model kan visueel sterk lijken terwijl het een slecht omgevingmodel voor controle is.
Noodzaak van Interventie: Voor belichaamde besluitvorming zijn observationele metrieken (L1–L3) onvoldoend; interventionalistische metrieken (L4+) zijn vereist om te verifiëren dat het model de gevolgen van acties correct modelleert.

5. Betekenis en Claims

De betekenis van het paper ligt in de oproep tot een verschuiving in hoe wereldmodellen worden geëvalueerd, specifiek voor diegenen die beweren de belichaamde besluitvorming te ondersteunen.

Voorwaardelijke Claim: De auteurs beweren niet dat elk systeem dat een "wereldmodel" wordt genoemd, moet worden beoordeeld op beleidsoptimalisatie. Als het beoogde gebruik toekomstige video-generatie is, is visuele kwaliteit de primaire doelstelling. Echter, wanneer een model wordt gepresenteerd als een hulpmiddel voor belichaamde besluitvorming (planning, beleidsoptimalisatie, veiligheid), verandert de vereiste bewijsvoering fundamenteel.
Primair Argument: Voor besluitvormingsclaims bieden actie-, uitkomst- en beleidsniveau-evaluaties (L4–L7) sterker bewijs dan alleen de kwaliteit van het artefact (L0–L3). Lagere-orde metrieken mogen niet worden toegestaan om falen op hogere niveaus te compenseren.
Praktische Impact: Het voorgestelde raamwerk beoogt te voorkomen dat er wordt geoptimaliseerd voor "mooie maar strategisch onbetrouwbare" modellen. Het moedigt de gemeenschap aan om duidelijke besluitvormingscontracten te verklaren en prioriteit te geven aan bewijs van contrafactuele redenering, beleidsrangschikking en optimalisatieverbetering boven visuele getrouwheid.
Bescheidenheid: De auteurs erkennen dat volledige interventionistische evaluatie (bijv. exacte reset-gematchte takken) moeilijk is op echte robots en dat lagere-orde metrieken in sommige domeinen kunnen correleren met hogere-orde bruikbaarheid. Hun voorstel wordt gepresenteerd als een modulair, aspiratieel protocol om bewijs te verhelderen in plaats van een rigide set universele axioma's.

Concluderend stelt het paper dat het veld verschillende objecten onder één naam heeft geëvalueerd. De L0–L7 ladder en het voorgestelde besluitvormingsgecentreerde raamwerk dienen om deze objecten te scheiden en de specifieke bewijslast te definiëren die nodig is om de bruikbaarheid van een model voor besluitvorming te valideren.