VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction

Dit artikel introduceert VisPhyWorld en VisPhyBench, een execution-based framework dat multimodale grote taalmodellen evalueert op hun fysieke redeneervermogen door hen code te laten genereren voor videoreconstructie, waarbij blijkt dat hoewel deze modellen sterke semantische begrip tonen, ze moeite hebben met het nauwkeurig simuleren van fysieke dynamica.

De kern

Stel je voor dat je een groep zeer slimme, maar soms wat dromerige kunstenaars hebt. Ze kunnen prachtige verhalen vertellen over wat ze zien en ze kunnen ook prachtige tekeningen maken. Maar als je ze vraagt: "Hoe zou een bal echt rollen als hij tegen een muur stoot?", dan kunnen ze een mooi verhaal bedenken over de bal, maar hun tekening van de beweging is vaak onrealistisch. De bal glijdt misschien door de muur heen of stopt plotseling zonder reden.

Dit is precies het probleem dat de onderzoekers van VisPhyWorld hebben aangepakt. Ze wilden weten: Begrijpen deze slimme computers (AI-modellen) echt hoe de wereld werkt, of maken ze alleen maar mooie plagerijen?

Hier is een uitleg van hun werk, vertaald naar alledaags taal:

1. Het oude probleem: "Kijk en klik"

Vroeger vroegen onderzoekers aan deze AI's: "Zie je dat de bal door de muur gaat? Ja of nee?"
Dit is als een meerkeuzetoets. De AI kan het juiste antwoord raden omdat het heeft geleerd dat "ballen" en "muren" vaak samen voorkomen in boeken. Het hoeft niet echt te begrijpen waarom de bal door de muur gaat; het hoeft alleen maar het juiste kruisje te zetten. Het is alsof je een kind vraagt of het water nat is, en het kind zegt "ja" omdat het dat heeft gehoord, zonder ooit een druppel water te hebben aangeraakt.

2. De nieuwe oplossing: "Bouw het zelf"

De onderzoekers bedachten een slimme truc. In plaats van alleen een antwoord te vragen, zeggen ze tegen de AI:
"Kijk naar deze video van een bal die rolt. Schrijf nu een computerprogramma (code) dat deze situatie precies nadoet. Als je het programma start, moet de bal op je scherm echt rollen, botsen en stoppen, net als in het echte leven."

Dit is alsof je een kind niet vraagt: "Wat gebeurt er als je een blokje laat vallen?"
Maar wel: "Bouw een machine die een blokje laat vallen en laat zien hoe het landt."

Als de AI het programma schrijft, moet het de zwaartekracht, de wrijving en de botsingen echt begrijpen. Als de AI het niet begrijpt, zal het programma falen of een rare animatie maken (bijvoorbeeld een bal die door de grond zakt).

3. De testbaan: VisPhyBench

De onderzoekers bouwden een enorme testbaan met 209 verschillende situaties, van simpele ballen die rollen tot complexe stapels blokken die omvallen. Ze noemen dit VisPhyBench.
Ze gaven de beste AI's van dit moment (zoals GPT-5, Gemini en Claude) deze test.

4. Wat ontdekten ze?

De resultaten waren verrassend en een beetje teleurstellend:

• Goede verhalen, slechte bouwers: De AI's waren fantastisch in het beschrijven van de scène. Ze konden perfect vertellen: "Er is een rode bal die tegen een blauwe muur botst."
• De "Fysiek" ontbreekt: Maar toen ze moesten bouwen (de code schrijven), faalden ze. De ballen in hun gegenereerde video's deden vaak onmogelijke dingen. Ze zweefden, gingen door muren heen, of stopten plotseling alsof ze in de lucht bleven hangen.

Het is alsof je een regisseur hebt die een perfect script schrijft voor een film over een auto-ongeluk, maar als hij de auto's moet besturen, botsen ze niet op de juiste manier of vliegen ze door de lucht als raketten.

5. Waarom is dit belangrijk?

Deze studie laat zien dat AI's momenteel heel goed zijn in het herkennen van patronen (visueel patroonherkenning), maar nog niet in het begrijpen van de onderliggende regels van de natuur (fysica).

Dit is cruciaal voor de toekomst. Als we AI's willen gebruiken voor robots die in onze huizen werken, of voor zelfrijdende auto's, kunnen we ze niet alleen vertrouwen op "gokken". Een robot die denkt dat een glas water door de tafel heen valt, is gevaarlijk.

Conclusie

VisPhyWorld is een nieuwe manier om AI's te testen. In plaats van ze te laten gokken op meerkeuzevragen, dwingen we ze om hun kennis te "bewijzen" door een werkend programma te schrijven. Het bewijs is duidelijk: onze slimste computers zijn nog steeds meer "dromers" dan "bouwers" als het gaat om de fysieke wetten van onze wereld. Ze kunnen de wereld beschrijven, maar ze begrijpen nog niet hoe hij echt werkt.

Technische samenvatting

1. Het Probleem

Het evalueren van whether Multimodal Large Language Models (MLLM's) werkelijk redeneren over fysische dynamica (zoals zwaartekracht, botsingen en wrijving) blijft een uitdaging. Bestaande benchmarks vertrouwen vaak op herkenningstaken zoals Visual Question Answering (VQA) of Violation of Expectation (VoE).

• Beperkingen: Deze methoden kunnen vaak worden beantwoord zonder dat het model een expliciete, testbare fysische hypothese moet formuleren. Correcte antwoorden kunnen voortkomen uit oppervlakkige visuele patronen of dataset-bias in plaats van echt causaal fysisch inzicht.
• Het tekort bij MLLM's: Omdat MLLM's voornamelijk tekst produceren, ontbreken er voorspellende waarschijnlijkheidsverdelingen die nodig zijn om generatieve wereldmodellen te evalueren. Het is moeilijk te onderscheiden of een model de fysica begrijpt of alleen visuele correlaties heeft geleerd.

2. Methodologie: VisPhyWorld

De auteurs introduceren VisPhyWorld, een uitvoeringsgebaseerd framework dat fysiek redeneren test door modellen te dwingen uitvoerbare simulatorcode te genereren op basis van visuele waarnemingen.

• Kernprincipe: In plaats van een antwoord te kiezen of een video direct te genereren, moet het model een uitvoerbaar script (code) schrijven dat de scène reconstrueert en de toekomstige beweging simuleert.
• Input: Het model ontvangt twee sleutelframes (een startframe en een later frame) en optioneel een detectiecontext (objecten, bounding boxes).
• Output: Het model produceert vier artefacten:
  1. Een tekstuele analyse van de beweging.
  2. Een JSON-specificatie van de scène (objecten, posities, parameters).
  3. Uitvoerbare code (bijv. in Three.js of P5.js) die de fysica simuleert.
  4. Een gerenderde video gegenereerd door het uitvoeren van die code.
• Voordeel: Door de code te genereren, wordt de "wereldrepresentatie" inspecteerbaar, bewerkbaar en weerlegbaar (falsifieerbaar). Dit scheidt het redeneren van het renderen.
• Backends: Het framework test verschillende rendering-engines. Engines met ingebouwde fysica (zoals Three.js en P5.js met Cannon.js) presteren aanzienlijk beter dan niet-fysische engines (zoals SVG of Manim), omdat laatstgenoemden geen echte rigid-body dynamica ondersteunen.

3. VisPhyBench (Het Benchmark)

Om dit framework te evalueren, stellen de auteurs VisPhyBench voor:

• Dataset: Bestaat uit 209 evaluatiescènes afgeleid van 108 fysieke templates (2D en 3D).
• Omvang: De scènes dekken diverse interacties zoals ballenbotsingen, blokken die glijden, en stapels die omvallen.
• Metingen: Een multi-metric protocol dat vijf categorieën evalueert:
  1. Reconstructie & Perceptuele Kwaliteit: (LPIPS, PSNR, SSIM).
  2. Visuele Semantische Consistentie: (CLIP-Img, DINO).
  3. Tekst-Video Consistentie: (CLIP-Cap, BERTScore).
  4. Beweging & Fysische Plausibiliteit: (RAFT-EPE voor optische flow, gecombineerd met een menselijke/judge-score).
  5. Totale Kwaliteit: Een holistische score (1-10) gegeven door een geavanceerde AI-judge (Gemini-2.5-Pro) die specifiek let op fysieke wetten.

4. Belangrijkste Resultaten

Experimenten met state-of-the-art MLLM's (zoals GPT-5, Gemini-3-Pro, Claude 4.5, Qwen3-VL) tonen een kritiek inzicht:

• Semantiek vs. Fysica: Moderne modellen excelleren in semantische scèneherkenning (ze kunnen objecten en kleuren correct beschrijven), maar falen vaak bij het nauwkeurig infereren van fysische parameters.
• Fysieke Dynamica: Zelfs in eenvoudige 2D-scènes hebben modellen moeite om Newtoniaanse dynamica correct te parametriseren. Ze genereren vaak bewegingen die visueel plausibel lijken maar fysisch onmogelijk zijn (bijv. objecten die door elkaar heen gaan of niet reageren op botsingen).
• Code-Engine Invloed: Modellen die gebruikmaken van Three.js (met een fysica-engine) presteren aanzienlijk beter dan die met P5.js of niet-fysische backends. Dit bevestigt dat de expressiviteit van de simulator direct invloed heeft op de kwaliteit van het fysische redeneren.
• Vergelijking met Pixel-baselines: Pixel-gebaseerde video-generatiemodellen (zoals Veo-3.1 en SVD) kunnen soms hoge semantische scores behalen, maar hun fouten zijn moeilijk te diagnosticeren. Ze genereren vaak "hallucinaties" in de dynamica zonder dat dit duidelijk is in de tekstuele output.
• Succesratio: De pipeline produceert in 97,7% van de gevallen geldige gereconstrueerde video's, mede dankzij een iteratief zelf-reparatiemechanisme (retry) bij code-fouten.

5. Bijdragen en Significantie

De belangrijkste bijdragen van het paper zijn:

1. VisPhyWorld Framework: Een nieuw paradigma dat fysiek redeneren test via uitvoerbare code-reconstructie in plaats van passieve herkenning. Dit maakt het fysische redeneren van het model direct inspecteerbaar.
2. VisPhyBench: Een gestandaardiseerde benchmark met een systematisch protocol dat zowel 2D als 3D-scènes omvat en gebruikmaakt van een combinatie van automatische metrics en holistische beoordeling.
3. Diepgaande Analyse: Het paper toont aan dat er een groot gat bestaat tussen linguïstische/semantische bekwaamheid en fundamenteel fysisch inzicht bij huidige MLLM's. Modellen vertrouwen op oppervlakkige visuele patronen in plaats van een onderliggend begrip van causale fysica.

Significantie voor de Veld:
Dit werk is cruciaal voor de ontwikkeling van betrouwbare wereldmodellen, vooral in veiligheidskritieke domeinen zoals robotica. Door het genereren van uitvoerbare code, wordt "black-box" video-predictie omgezet in transparante, verifieerbare hypothesen. Dit biedt een mechanisme om fysieke hallucinaties te auditeren en verifieert of een model de wetten van de natuurkunde daadwerkelijk begrijpt, wat een noodzakelijke stap is voor het bouwen van robuuste AI-systemen die in de echte wereld opereren.