💻 computer science

Evaluating Newtonian Mechanics in Video Generative Models with Real Physical Systems

Dit artikel introduceert Morpheus, een natuurkundig geïnformeerd evaluatiekader dat gebruikmaakt van 130 real-world video's en behoudswetten om aan te tonen dat hedendaagse video-generatiemodellen er niet in slagen om Newtoniaanse dynamica nauwkeurig te coderen, ondanks het produceren van visueel aantrekkelijke resultaten.

Oorspronkelijke auteurs: Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep ongelooflijk talentvolle kunstenaars hebt die bewegende beelden (video's) kunnen schilderen die er zo echt uitzien dat je zult zweren dat je ze kunt aanraken. Deze kunstenaars zijn de nieuwe "Video Generatieve Modellen" (zoals SORA, Veo of Kling). Iedereen is enthousiast omdat mensen hopen dat deze kunstenaars niet alleen mooie plaatjes schilderen, maar ook begrijpen hoe de wereld werkt—zoals een "wereldsimulator" die weet hoe de zwaartekracht dingen naar beneden trekt of hoe een bal stuitert.

Maar hier zit de crux: Kennen ze werkelijk de regels van de natuurkunde, of zijn ze gewoon heel goed in het simuleren ervan?

Dit artikel introduceert een nieuwe test genaamd Morpheus om dit uit te zoeken. Zie Morpheus niet als een kunstcriticus, maar als een natuurkundige detective.

Het Probleem: De "Het ziet er goed uit"-valstrik

Voorheen, om te controleren of een video "echt" was, vroegen mensen of AI-chatbots simpelweg: "Lijkt dit op een echte vallende bal?"

De fout: Dit is alsoals een goocheltruc beoordelen door te vragen: "Lijkt het alsof er een konijn verscheen?" Het konijn is misschien verschenen, maar misschien was het een nepkonijn van papier.
Het probleem: Een video kan vloeiend en prachtig zijn (esthetisch), maar nog steeds de wetten van de natuurkunde breken (bijv. een bal die bergopwaarts rolt zonder geduwd te worden, of een bal die energie verliest wanneer dat niet zou moeten gebeuren). Huidige tests missen deze subtiele fouten vaak omdat ze alleen naar het "plaatje" kijken, en niet naar de "wiskunde".

De Oplossing: De Morpheus-test

De auteurs bouwden een laboratorium met 130 echte experimenten (zoals vallende ballen, rollende blikjes, zwaaiende pendules en stuiterende objecten). Ze hebben deze zorgvuldig gefilmd in een gecontroleerde ruimte.

Vervolgens vroegen ze de video-AI-modellen om deze video's te recreëren op basis van het eerste frame of een tekstbeschrijving.

In plaats van alleen te vragen: "Ziet het er echt uit?", vraagt Morpheus: "Klopt de wiskunde?"

Hier is hoe de test werkt, met behulp van een eenvoudige analogie:

1. De "Trajectorie" (Het Pad)

Stel je een vallende bal voor. In de echte wereld trekt de zwaartekracht de bal in een zeer speciciieke curve naar beneden.

De oude manier: Vergelijk het pad van de AI-bal met het pad van de echte bal pixel voor pixel.
De Morpheus-manier: Dit is te streng. Als de bal van de AI iets zwaarder is of de wind iets anders staat, verandert het pad, maar het is nog steeds een geldig natuurkundig pad. Morpheus geeft niet om het feit of het pad identiek is; het geeft erom of het pad de regels volgt.

2. De "PINN" (De Natuurkundeleraar)

Het artikel gebruikt een speciale AI-tool genaamd een Physics-Informed Neural Network (PINN). Denk aan deze als een strenge natuurkundeleraar die de wetten van beweging uit zijn hoofd kent.

De leraar kijkt naar de video van de AI en probeert de beweging van de bal aan te passen aan de wetten van Newton (zoals $F=ma$).
Als de bal beweegt op een manier die de zwaartekracht of behoud van energie schendt, geeft de leraar een onvoldoende.
Als de beweging de wetten perfect volgt, geeft de leraar een A+.

3. De "Conservering" (De Energiebank)

In de echte wereld is energie als geld op een bankrekening. Je kunt het niet creëren of vernietigen; je kunt het alleen verplaatsen (bijv. van hoogte naar snelheid).

Morpheus controleert de "bankrekening" van de AI-video.
Echte video: De totale energie blijft constant (of neemt licht af door wrijving, wat normaal is).
AI-video: Vaak gaat de "bankrekening" wild te werk. De bal krijgt plotseling energie uit het niets of verliest het te snel. Morpheus vangt dit direct op.

Wat hebben ze gevonden?

De resultaten waren een beetje een reality check voor de AI-gemeenschap:

De "Mooie Leugen": Zelfs de meest geavanceerde AI-modellen (zo zoals Veo3 en Kling) kunnen video's maken die er prachtig en vloeiend uitzien.
De Natuurkundige Fout: Echter, toen Morpheus de wiskunde controleerde, faalden bijna alle modellen.
- Ze hadden moeite om de energie constant te houden.
- Ze lieten objecten vaak verdwijnen, zichzelf dupliceren, of simpelweg stoppen met bewegen wanneer ze dat eigenlijk zouden moeten rollen.
- Zelfs wanneer ze een video van een vallende bal kregen om mee te beginnen, kon de AI de volgende paar seconden niet correct voorspellen volgens de natuurkunde.

De "Prompt" Power-Up

De onderzoekers probeerden de AI betere instructies (prompts) te geven en meer frames te tonen (niet alleen het begin, maar ook het einde).

Resultaat: Het hielp een beetje. Als je de AI het begin én het einde van een video laat zien, doet het een beter werk bij het raden van het middenstuk. Maar zelfs met de beste hulp konden de modellen de natuurkundige nauwkeurigheid van de echte wereld niet evenaren.

De Kern van het Verhaal

Het artikel concludeert dat hoewel deze AI-modellen geweldige kunstenaars zijn, ze momenteel verschrikkelijke natuurkundigen zijn. Ze kunnen een plaatje schilderen van een vallende appel dat er perfect uitziet, maar ze begrijpen niet echt waarom hij valt of hoe snel hij zou moeten gaan.

Totdat ze de Morpheus-test halen, kunnen we hen niet vertrouwen als "wereldmodellen" voor zaken als zelfrijdende auto's of robots, waarbij het begrijpen van echte natuurkunde een kwestie is van veiligheid, niet alleen van kunst.

Kortom: De AI is geweldig in het faken van het uiterlijk van de werkelijkheid, maar heeft de regels van de werkelijkheid nog niet geleerd.

Technische Samenvatting: Evaluatie van Newtoniaanse Mechanica in Video Generatieve Modellen met Echte Fysische Systemen

Probleemstelling

Recente video generatieve modellen (VGMs), zoals SORA, COSMOS en Veo3, hebben ongekende visuele getrouwheid bereikt, wat interesse heeft gewekt in hun potentieel als "wereldmodellen" die in staat zijn om fysieke dynamica te begrijpen en te voorspellen. De huidige evaluatieparadigma's leunen echter zwaar op subjectieve menselijke oordelen, Vision-Language Model (VLM) beoordelingen of trajectvergelijking met de grondwaarheid. Deze methoden lijden aan significante beperkingen:

Subjectiviteit: Menselijke en VLM-evaluaties zijn kwalitatief en gevoelig voor hallucinaties; ze falen vaak in het detecteren van subtiele schendingen van natuurwetten (bijv. incorrecte massaverdeling of krachtkoppeling) terwijl ze visueel plausibele maar fysiek incorrecte bewegingen belonen.
Ambiguïteit van Trajectvergelijking: Het vergelijken van gegenereerde trajecten met een enkelvoudig grondwaarheidstraject is fysiek ambigu. Meerdere verschillende begincondities (bijv. variërende massa of wrijving) kunnen verschillende maar even geldige fysieke trajecten opleveren. Trajectvergelijkingsmetrieken kunnen geldige fysieke realisaties bestraffen die simpelweg afwijken van een specifiek referentiepad.
Gebrek aan Kwantitatieve Fysische Redenering: Bestaande benchmarks richten zich op perceptuele metrieken (visuele coherentie, temporele consistentie) in plaats van op de naleving van de leidende fysieke vergelijkingen en behoudswetten.

Concluderend is er een kritiek gat in het rigoureus kwantificeren of VGMs werkelijk Newtoniaanse mechanica coderen of slechts het uiterlijk van fysieke beweging nabootsen.

Methodologie: Het Morpheus Framework

Om deze hiaten aan te pakken, introduceren de auteurs Morpheus, een natuurkunde-geïnformeerd evaluatieframework ontworpen om het vermogen van VGMs te meten om de Newtoniaanse dynamica te begrijpen in gecontroleerde rigide-lichaam settings. Het framework bestaat uit drie kerncomponenten:

1. Dataset en Conditionering

Real-World Data: De auteurs hebben een dataset samengesteld van ongeveer 130 echte video's die negen verschillende fysische verschijnselen vastleggen: vallen, projectielbeweging, rollen, glijden, holonische pendel, dubbele pendel, stuiteren, botsing en veeroscillatie.
Gecontroleerde Condities: Experimenten worden uitgevoerd onder gecontroleerde condities om specifieke natuurwetten te isoleren (bijv. behoud van energie, impuls, periodieke beweging).
Augmentatie: Om robuustheid tegen specifieke visuele opstellingen te garanderen, is de dataset uitgebreid met style transfer (Cosmos-Transfer1) geleid door objectmaskers. Dit creëert diverse visuele varianten terwijl de onderliggende fysieke dynamica behouden blijft, waardoor de conditioneringstypen tienvoudig worden uitgebreid.
Prompting Strategieën: Het framework evalueert modellen onder drie conditioneringsniveaus: tekstuele prompts, single-image prompts en multi-frame (video) prompts, om te beoordelen hoe de precisie van de input de fysieke getrouwheid beïnvloedt.

2. Trajectextractie en Preprocessing

Segmentatie: Objectmaskers worden geëxtraheerd met behulp van SAM-2 (Segment Anything 2) en Depth Anything voor diepteverificatie.
Toestandschatting: Centroids worden getraceerd om 2D-trajecten te genereren. Snelheden en versnellingen worden geschat met centrale differentiemethoden, gevolgd door Savitzky-Golay smoothing en lineaire regressie binnen sliding windows om ruis door tracking-imperfecties te verminderen.
Filtering: Een discard rate metriek wordt berekend om video's te filteren met objectverdwijning, duplicatie of onvoldoende beweging, om alleen geldige trajecten te scoren.

3. Physics-Informed Evaluation Metrics

Morpheus gaat verder dan pixel-niveau vergelijking en evalueert de naleving van fysieke invarianten en leidende vergelijkingen:

Dynamical Score: Maakt gebruik van Physics-Informed Neural Networks (PINNs) om de geëxtraheerde trajecten aan te passen aan de bekende Ordinary Differential Equations (ODEs) van het specifieke fysieke systeem (bijv. $\ddot{y} + g = 0$ voor vrije val). De score wordt afgeleid van de Normalized Mean Squared Error (NMSE) tussen het door de PINN geleerde traject en de data, genormaliseerd zodat deze schaalinvariant is.
Physical Invariance Score: Kwantificeert de stabiliteit van geconserveerde grootheden (bijv. totale energie, impulsmoment, oscillatieperiode) over de tijd. De score wordt berekend op basis van de standaarddeviatie van deze invarianten; een perfecte score (1.0) duidt op constante conservering, terwijl een hoge variantie wijst op een schending van de natuurwetten.

Belangrijkste Bijdragen

Morpheus Framework: De introductie van een systematisch, interpreteerbaar en kwantitatief evaluatieframework dat gebruikmaakt van physics-informed neural networks en behoudswetten om VGMs te beoordelen, waarmee men voorbij gaat aan subjectieve of puur geometrische metrieken.
Uitgebreide Benchmarking: Een grootschalige evaluatie van state-of-the-art modellen (inclusief closed-source modellen zoals Veo3, Kling, en COSMOS, en open-source modellen zoals Wan2.1, CogVideoX, en LTX-Video) over diverse Newtoniaanse scenario's.
Empirische Bevindingen over Fysische Getrouwheid: De studie onthult een aanzienlijke disconnect tussen visueel realisme en fysieke correctheid. Zelfs de best presterende modellen worstelen met het accuraat coderen van Newtoniaanse mechanica, ondanks het genereren van esthetisch aantrekkelijke video's.
Analyse van Conditionering en Failure Modes: Het paper demonstreert dat multi-frame en keyframe conditionering de fysieke consistentie aanzienlijk verbetert ten opzichte van single-image prompts. Het identificeert ook specifieke failure modes, zoals "stillness" (objecten die niet bewegen) en object hallucinatie (duplicatie/verdwijning), die prevalent zijn in huidige modellen.

Experimentele Resultaten

Prestatiekloof: Real-world video's behalen bijna perfecte scores (Dynamical Score: 0.96–0.99; Invariance Score: ≥0.90). In schril contrast hiermee behalen de best presterende VGMs een gecombineerde score van slechts ~0.66, wat de significante kloof in fysiek redeneren benadrukt.
Impact van Conditionering:
- Keyframe Interpolation: Modellen die geconditioneerd zijn op start- en eindframes (bijv. Wan2.1 Keyframe) presteren het best, met de hoogste geaggregeerde scores en laagste discard rates. Het definiëren van randvoorwaarden beperkt de generatieruimte effectief.
- Multi-Frame vs. Single-Frame: Multi-frame conditionering presteert beter dan single-frame extrapolatie, omdat de temporele context helpt bij het afleiden van snelheid en versnelling die in statische beelden ambigu zijn.
- Beperkingen van Single-Frame: Zelfs top-tier closed-source modellen worstelen met single-image extrapolatie, wat vaak resulteert in hoge discard rates door statische of erratische beweging.
Modelvergelijking: Open-source modellen zoals Wan2.1 (met keyframe conditionering) en Cosmos-Predict2 zijn competitief met, en presteren soms zelfs beter dan, propriëtaire modellen zoals Veo3 en Kling-2.5, wat suggereert dat fysieke redeneerkracht afhangt van architectuur en conditioneringstrategieën in plaats van enkel model schaal of propriëtaire data.
VLM Evaluatie Falen: Het paper demonstreert dat sterke VLM evaluatoren (bijv. VideoPHY2-AUTOEVAL) er niet in slagen om echt fysica van gegenereerde fysica betrouwbaar te onderscheiden. Ze kennen vaak lage scores toe aan schone real-world opnames (hallucineren schendingen) en belonen gegenereerde video's die specifieke natuurwetten schenden, wat de noodzaak van physics-informed metrieken boven VLM-gebaseerde oordelen bevestigt.

Betekenis en Claims

Het paper claimt dat Morpheus een noodzakelijke stap is naar het aligneren van video generatie met de "wereldmodellen" die vereist zijn voor embodied AI en robotica. De auteurs stellen dat hoewel de visuele getrouwheid is verbeterd, de huidige modellen verre van zijn van het accuraat coderen van de Newtoniaanse mechanica die nodig is om vertrouwd te kunnen worden als simulatoren voor fysieke interactie.

De betekenis van dit werk ligt in de verschuiving van perceptuele evaluatie naar kwantitatieve fysieke verificatie. Door vast te stellen dat huidige modellen er niet in slagen fundamentele behoudswetten (energie, impuls) te respecteren, zelfs in eenvoudige rigid-body scenario's, onderstreept het paper de beperkingen van het behandelen van VGMs als wereldmodellen zonder verdere architecturale of training-innovaties. Het framework biedt een reproduceerbare stress test voor fundamentele natuurwetten en vormt een solide basis voor toekomstig onderzoek naar modellen die in staat zijn tot betrouwbare fysieke redenering.