💻 computer science

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

Dit artikel introduceert "What-If World", een nieuwe benchmark bestaande uit 319 promptparen die videogeneratiemodellen evalueren op hun vermogen om fysiek consistente, causaal divergente uitkomsten te produceren als reactie op veranderingen in één variabele, en onthult dat huidige state-of-the-art-modellen grotendeels falen in het betrouwbaar simuleren van belichaamde scenario's voor planning en besturing.

Oorspronkelijke auteurs: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer getalenteerde kunstenaar voor die ongelooflijk realistische scènes kan schilderen. Als je hen vraagt "een auto die zachtjes remt" te schilderen, doen ze een uitstekend werk. Als je hen vraagt "een auto die hard remt" te schilderen, doen ze ook een uitstekend werk. Beide schilderijen zien er op zichzelf perfect uit.

Maar hier zit de adder onder het gras: What-If World stelt een andere vraag. Het vraagt: "Als je de instructie verandert van 'zachtjes' naar 'hard', verandert het resultaat dan daadwerkelijk op de manier die de natuurkunde voorspelt?"

In de echte wereld stopt een harde rem een auto veel sneller dan een zachte. Maar in de wereld van huidige AI-videogeneratoren kan de kunstenaar twee bijna identieke remafstanden schilderen, zelfs als de instructies totaal verschillend waren. De AI is goed in het schilderen van de uitstraling van een auto, maar slecht in het begrijpen van de logica van hoe de auto beweegt.

Het Probleem: De "Valkuil van de Gelijkenis"

Huidige tests voor AI-videomodellen lijken op het nakijken van het huiswerk van een leerling door elke pagina afzonderlijk te bekijken.

Pagina 1: "Teken een auto die zachtjes remt." (De tekening ziet er goed uit. Geslaagd.)
Pagina 2: "Teken een auto die hard remt." (De tekening ziet er goed uit. Geslaagd.)

De leraar vergelijkt de twee pagina's nooit naast elkaar. Dus krijgt de AI een A, zelfs als beide tekeningen tonen dat de auto op precies dezelfde plek stopt, waarbij het verschil in instructies volledig wordt genegeerd. Dit wordt het Contrastieve Knelpunt genoemd. De AI kan dingen er echt laten uitzien, maar kan ze niet anders laten handelen wanneer je de regels verandert.

De Oplossing: What-If World

De onderzoekers bouwden een nieuwe test genaamd What-If World. In plaats van één video per keer te nakijken, dwingen ze de AI om paren van video's te genereren op basis van dezelfde startscène, maar dan met één kleine verandering in de instructies.

Stel je het voor als een "Zoek het Verschil"-spel, maar dan moet de AI de verschillen zelf creëren op basis van de natuurkunde.

De Opzet:

Het Anker: Ze nemen een echte foto van een auto of een robotarm net voordat deze beweegt. Dit is het "bevroren moment" waarin alles voor beide video's hetzelfde is.
De Twist: Ze geven de AI twee prompts die identiek zijn, behalve één fysiek detail.
- Prompt A: "De robotarm duwt het blok zachtjes."
- Prompt B: "De robotarm duwt het blok hard."
De Test: De AI moet twee video's genereren. De onderzoekers (met behulp van een super-slimme AI-jury) controleren:
- Heeft de robot daadwerkelijk geduwd? (Naleving)
- Bewoog het blok op een fysiek mogelijke manier? (Natuurkunde)
- Bleef de achtergrond hetzelfde? (Omgeving)
- Cruciaal: Toonde de video met de "harde duw" het blok verder of sneller bewegen dan de video met de "zachte duw"? (Uitkomst)

De Zes Regels van het Spel

Om de test eerlijk en wetenschappelijk te maken, hebben de onderzoekers de veranderingen georganiseerd in zes specifieke "regels" van de natuurkunde, verdeeld in twee categorieën:

1. De Omgeving (Het Toneel):

Oppervlaktewrijving: Is de weg glad of droog? (Glijdt de auto?)
Materiaal/Medium: Is het object een spons of een baksteen? (Vervormt het of blijft het hard?)
Obstakels: Staat er een kegel in de weg? (Rijdt de auto er tegenaan of eromheen?)

2. De Actie (De Acteur):

Kracht/Grado: Hoe hard is de duw of de rem?
Ruimtelijke Uitlijning: Waar grijpt de robot precies?
Temporele Sequencing: Grijpt de robot voor of na het bewegen?

De Resultaten: De AI is Nog Steeds een Novice

De onderzoekers testten 9 van de slimste video-AI-modellen ter wereld (zowel open-source als dure gesloten bron-modellen). De resultaten waren nuchter:

Het Plafond: Zelfs het beste model slaagde slechts voor ongeveer 52% van de tests. Dat betekent dat het bijna de helft van de tijd faalde.
De Kloof: De open-source modellen waren nog slechter, met een clustering rond de 28%.
De Illusie: De meeste modellen scoorden hoog op "single video"-tests (de video's zagen er geweldig uit), maar crashten op de "gepaarde" tests (de video's verschilden niet genoeg). Ze nepden de natuurkunde voor.
Visuele Bias: De AI deed het beter wanneer de verandering voor het oog duidelijk was (zoals een auto die snel versus langzaam voorbij schiet), maar faalde jammerlijk wanneer de verandering subtiel of onzichtbaar was (zoals hoe glad de weg is).

De Grote Conclusie

Het paper concludeert dat hoewel deze AI-modellen geweldig zijn in het renderen (mooie plaatjes maken), ze nog niet betrouwbaar simulatoren zijn (het begrijpen van hoe de wereld werkt).

Als je een AI wilt gebruiken om de bewegingen van een robot te plannen of een zelfrijdende auto te simuleren, moet je dat het begrijpt dat "harde rem" betekent "kortere stop". Op dit moment gokt de AI alleen hoe een harde rem er uitziet, niet wat het doet. Totdat ze de What-If World-test kunnen doorstaan, kunnen we ze niet volledig vertrouwen om beslissingen te nemen in de echte wereld.

Technische Samenvatting: What-If World: Een causale benchmark voor algemene wereldmodellen in belichaamde scenario's

Probleemstelling

Video-generatiemodellen worden steeds vaker voorgesteld als universele wereldsimulatoren voor belichaamde toepassingen zoals autonoom rijden en robotische manipulatie. Echter, bestaande evaluatieparadigma's falen in het beoordelen van een kritieke vaardigheid die voor deze omgevingen vereist is: causale gevoeligheid. Huidige benchmarks (bijv. VBench, EvalCrafter, VideoPhy) evalueren gegenereerde video's geïsoleerd, waarbij ze worden beoordeeld op visuele realisme of fysieke plausibiliteit ten opzichte van één enkele prompt. Deze aanpak kan een fundamentele faalmodus niet detecteren waarbij een model twee visueel plausibele video's produceert die bijna identiek zijn, ondanks het ontvangen van prompts die verschillende fysieke ingrepen beschrijven (bijv. "zacht remmen" versus "hard remmen").

Voor actie-geconditioneerde simulatoren en modelgebaseerde planners is een systeem dat geen veranderingen in gecontroleerde invoer bijhoudt, onbruikbaar, omdat uitrollingen die niet divergeren volgens de ingreep niet kunnen worden gebruikt om alternatieve acties te vergelijken. Bestaande causale benchmarks (bijv. CLEVRER, NExT-QA) testen de vaardigheid van een model om causale structuur in een gegeven video te waarnemen, niet zijn vermogen om fysiek correcte causale dynamiek vanaf nul te genereren op basis van invoervariaties.

Methodologie

1. De What-If World Benchmark

De auteurs introduceren What-If World, de eerste benchmark die specifiek is ontworpen voor contrastieve interventie in video-wereldmodellen. De benchmark is opgebouwd via een drie-traps proces:

Taxonomie-definitie (Wat te testen): Twee domeinexperts (autonoom rijden en robotische manipulatie) analyseerden 1.000 real-world video's van nuScenes en DROID. Zij identificeerden fysieke variabelen die uitkomsten bepalen en voegden deze samen tot een uniforme taxonomie van zes primitieven die twee domeinen bestrijken:
- Omgevingsdomein ( $D_{env}$ ): Oppervlaktefrictie, Materiaal & Medium, Obstakelconfiguratie.
- Interactiedomein ( $D_{int}$ ): Ruimtelijke uitlijning, Kracht/Grado, Temporele sequentiëring.
  Deze primitieven werden geselecteerd op basis van het feit dat ze fysiek fundamenteel zijn, gedeeld worden tussen verschillende belichamingen, en operationeel isoleerbaar zijn.
Datasetconstructie (Hoe te testen): De benchmark bestaat uit 319 gepaarde testinstanties. Elke instantie wordt opgebouwd door:
1. Een echte videoclip te selecteren en een frame $x_0$ te extraheren op het causale aftakkingpunt (het moment direct voorafgaand aan het begin van de actie) om de initiële staat vast te leggen.
2. Het construeren van een contrastieve promptpaar $(p^+, p^-)$ dat het cameraperspectief en de initiële scenesituatie deelt, maar verschilt in precies één semantische variabele (de interventie).
3. De fysieke uitkomst in de prompt achter te houden om het model te dwingen de consequentie te simuleren in plaats van deze op te halen uit tekstuele priors.
  De dataset beslaat 18 subcategorieën binnen autonoom rijden en robotarm-manipulatie.
Evaluatieprotocol (Hoe te evalueren): De auteurs stellen het APEO-framework voor, dat videoparen beoordeelt op vier dimensies:
- Volgzaamheid (A): Voert de video de geprompte actie uit?
- Fysica (P): Respecteert de beweging fysieke beperkingen?
- Omgeving (E): Is de achtergrond en niet-doel-scene stabiel?
- Uitkomst (O): Divergeren de twee video's in de richting die door de interventie wordt voorspeld?
Cruciaal zijn A, P en E beoordeeld in zowel single-video (onafhankelijke plausibiliteit) als gepaarde (comparatieve consistentie) modus. Uitkomst (O) is uitsluitend gepaard. Dit ontwerp scheidt per-video plausibiliteit van causale correctheid. Een VLM-rechter (Gemini 3.1-Pro), gevalideerd tegen menselijke annotatie (82,3% overeenstemming), voert de scoring uit.

Belangrijkste Resultaten

De benchmark werd toegepast op negen state-of-the-art video-generatiemodellen (vier open-source, vijf gesloten-bron). De resultaten onthullen aanzienlijke beperkingen in huidige wereldmodellen:

Lage Causale Gevoeligheid: Geen enkel model overschrijdt 52% op de primaire gepaarde metric (pAvg). Het best presterende model, Grok Imagine, behaalt 51,7%, terwijl open-source modellen clusteren rond 28%.
De Contrastieve Bottleneck: Er is een aanzienlijke kloof tussen single-video scores en gepaarde scores. Bijvoorbeeld, HunyuanVideo-1.5 behaalt een single-video fysica-score ( $P_s$ ) van 64,4%, maar daalt naar 12,2% op de gepaarde fysica-score ( $P_p$ ). Dit geeft aan dat modellen individueel overtuigende video's kunnen genereren die niet differentiëren op basis van invoerveranderingen.
Visuele Prominentie versus Fysieke Behandelbaarheid: Prestaties correleren sterker met de visuele prominentie van de gevolgen van de interventie dan met de onderliggende fysica.
- Kracht/Grado (het produceren van dramatische bewegingsverschillen) scoort het hoogst met 40,4%.
- Oppervlaktefrictie (het produceren van subtiele trajectverschillen op latente variabelen) scoort het laagst met 14,2%.
- Temporele Sequentiëring toont een gecomprimeerd prestatiebereik over alle modellen, wat suggereert dat dit een fundamentele uitdaging is die nog niet is opgelost door schaling.
Verborgen Faalmodi: In 13,1% van de gevallen waarin elke single-video check slaagde, faalde de gepaarde fysica-check. Deze "verborgen falen" vormen een hoog risico voor downstream-toepassingen zoals contrafactuele planning, aangezien de simulatie geldig lijkt maar geen causaal onderscheid biedt.

Betekenis en Claims

Het artikel stelt dat What-If World het eerste uniforme en reproduceerbare kader biedt voor het diagnosticeren van waar huidige generatieve videosystemen als wereldmodellen worstelen. De betekenis hiervan ligt in:

Blootleggen van een Blinde Vlek: Het toont aan dat bestaande per-video evaluatiemetrics ontoereikend zijn voor belichaamde toepassingen omdat ze de "contrastieve bottleneck" niet kunnen detecteren – het falen om gecontroleerde invoerveranderingen bij te houden.
Definiëren van een Standaard: Het vestigt een taxonomie van zes primitieven die fysieke interventievariabelen unifyert over autonoom rijden en robotische manipulatie, en voorbijgaat aan ad-hoc testcases.
Kwantificeren van de Kloof: Het biedt kwantitatief bewijs dat huidige modellen, zelfs de meest geavanceerde gesloten-bron systemen, nog niet betrouwbaar zijn voor actie-geconditioneerde simulatie of modelgebaseerde planning, aangezien ze falen bij een groot deel van de causale interventies.

De auteurs concluderen dat hoewel modellen enige vaardigheid tonen in visueel voor de hand liggende scenario's, ze geen generaliseerbare fysieke gevoeligheid bezitten, met name voor latente variabelen (zoals wrijving of massa) en relationeel redeneren (zoals temporele sequentiëring). Het werk benadrukt een kritiek vaardigheidsgat dat moet worden aangepakt voordat deze modellen veilig kunnen worden ingezet in veiligheidskritieke belichaamde systemen.