💻 computer science

Physics-IQ Verified

Dit artikel introduceert Physics-IQ Verified, een verbeterde benchmark die de oorspronkelijke Physics-IQ dataset systematisch auditeert en verfijnt om een betrouwbaardere evaluatie van fysiek begrip in video-generatieve modellen te bieden door de kwaliteit van prompts en de nauwkeurigheid van de grondwaarheid te verbeteren en een gebalanceerd scoring-systeem op sampelniveau te implementeren.

Oorspronkelijke auteurs: Tim Rädsch, Yuki M Asano, Hilde Kuehne, Stefan Bauer, Priyank Jaini, Robert Geirhos, Carsten T. Lüth

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tim Rädsch, Yuki M Asano, Hilde Kuehne, Stefan Bauer, Priyank Jaini, Robert Geirhos, Carsten T. Lüth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een docent bent die een natuurkundeproject van een student moet beoordelen. De student moet voorspellen wat er vervolgens gebeurt in een natuurkundig experiment, zoals een vallende bal of een magneet die een paperclip aantrekt.

Lama tijd lang was de "Physics-IQ" benchmark de standaardtest voor video-genererende AI. Het werkte als volgt: je liet de AI een beginfoto en een zin (een prompt) zien, vroeg de AI om de volgende paar seconden video te genereren, en vergeleek die video vervolgens met een echte video van het experiment. Als de video van de AI op de echte video leek, kreeg het een goed cijfer.

Echter, de auteurs van dit artikel realiseerden zich dat het beoordelingssysteem zelf gebrekkig was. Ze ontdekten dat de test de AI soms beoordeelde op zaken die niets te maken hadden met het begrijpen van natuurkunde. Ze besloten de test te auditeren, de fouten te herstellen en een "Verified" versie te creëren.

Hier is een eenvoudige uitsplitsing van de drie belangrijkste verbeteringen die ze hebben doorgevoerd, met behulp van alledaagse analogieën:

1. Het verbeteren van de "Examenvragen" (Promptkwaliteit)

Het Probleem: De oorspronkelijke testvragen (prompts) waren soms vaag of verwarrend.

Analogie: Stel je voor dat je een student vraagt: "Wat gebeurt er met de bal?" zonder te vertellen of de bal rood of blauw is, of dat de bal wordt gedropt of gegooid. Als de student de verkeerde kleur raadt, kan hij de natuurkunde wel goed hebben, maar toch de test missen omdat zijn beschrijving niet overeenkwam met de specifieke opstelling.
De Oplossing: De auteurs hebben de vragen herschreven om ze kristalhelder te maken. Ze voegden specifieke details toe over de scène, de camerahoek en precies welke acties zouden plaatsvinden, terwijl ze verwarrende of tegenstrijdige instructies verwijderden. Ze zorgten er ook voor dat de vragen op een manier werden geschreven die de specifieke AI-modellen het beste kunnen begrijpen.
Resultaat: De AI wordt niet langer gestraft voor het raden van de verkeerde kleur of camerahoek; het wordt strikt beoordeeld op het begrijpen van de natuurkunde van de beweging.

2. Het opschonen van de "Visuele Ruis" (Artefactverwijdering)

Het Probleem: De echte video's die voor vergelijking werden gebruikt (de "antwoordsleutel") bevatten soms accidentele glitches.

Analogie: Stel je voor dat je een tekening van een student beoordeelt van een vallende appel. Maar in de referentiefoto van de docent vloog er een vlieg voor de lens, of flikkerde een schaduw omdat de gloeilamp los zat. Als de tekening van de student de vlieg of het flikkeren niet bevatte, zou het computersysteem dat de score berekent het fout markeren, ook al viel de appel perfect. De "ruis" verwarde de beoordeling.
De Oplossing: De auteurs zijn door de referentievideo's gegaan en hebben deze accidentele glitches (zoals een draaiende standaard die niet deel uitmaakte van het experiment of een camerabeweging) digitaal "weggeveegd". Ze hebben ervoor gezorgd dat de "antwoordsleutel" alleen de eigenlijke fysieke gebeurtenis toont.
Resultaat: De AI wordt niet langer gestraft voor het niet voorspellen van willekeurige, accidentele gebeurtenissen die niemand had kunnen voorspellen.

3. Het veranderen van het "Rapport" (Score-systeem)

Het Probleem: De oorspronkelijke manier van het berekenen van de eindscore was een beetje alsof je het gemiddelde van een heel semester in één groot getal samenvat, wat specifieke fouten verborg.

Analogie: Stel je voor dat een student een 100% haalt voor een moeilijke wiskundetoets, maar een 0% voor een makkelijke spellingtoets. Als je die twee simpelweg middelt, krijg je een 50%. Je kunt niet zien of ze slecht zijn in spelling of dat ze gewoon een slechte dag hadden. De oorspronkelijke test deed dit door scores over de hele dataset te middelen, wat betekende dat sommige makkelijke experimenten evenveel gewicht hadden als moeilijke experimenten, en sommige mislukte experimenten werden verborgen in het gemiddelde.
De Oplossing: Ze hebben een nieuw scoresysteem gemaakt dat naar elk individueel experiment kijdt en ze een gelijk gewicht geeft. Het is alsolijk het geven van een rapportcijfer voor elke afzonderlijke vraag op de toets, en dan het gemiddelde daarvan te nemen.
Resultaat: Dit maakt het veel gemakkelijker om precies te zien waar een AI faalt. Is het slecht in vloeistofdynamica? Is het slecht in magnetisme? De nieuwe score vertelt je precies dat.

Wat gebeurde er toen ze opnieuw testten?

De auteurs namen zes verschillende AI-videogeneratoren en lieten ze zowel door de oude test als door de nieuwe "Verified" test gaan.

De Ranglijsten Veranderden: Net zoals een docent een toets opnieuw beoordeelt met duidelijkere instructies en een betere antwoordsleutel, verschoof de "klasranglijst". Sommige AI-modellen die goed leken op de oude test, zakten in rang omdat ze eigenlijk leunden op de gebreken van de oude test. Andere modellen die voorheen ondergewaardeerd waren, klommen omhoog omdat ze de natuurkunde daadwerkelijk beter begrepen.
De Conclusie: De nieuwe "Physics-IQ Verified" benchmark geeft een eerlijker en nauwkeuriger beeld van welke AI-modellen echt leren hoe de fysieke wereld werkt, in plaats van alleen patronen te memoriseren of geluk te hebben met vage vragen.

Kortom, het artikel heeft geen nieuwe AI uitgevonden; het heeft een betere liniaal uitgevonden om de modellen te meten die we al hebben, zodat we zeker weten dat we meten wat we denken te meten.

Technische Samenvatting: Physics-IQ Verified

Probleemstelling

Video Generatieve Modellen (VGMs) worden steeds vaker gepositioneerd als "wereldmodellen" die in staat zijn om de fysieke realiteit te simuleren voor robotica en algemeen visueel redeneren. Het beoordelen of deze modellen echter werkelijk fysiek redeneren hebben geleerd of slechts hebben geleerd om plausibel ogende bewegingen te produceren, blijft een kritieke uitdaging. De bestaande Physics-IQ benchmark [1] werd ontworpen om dit aan te pakken door gegenereerde videovoortzettingen van modellen te vergelijken met grondwaarheid-opnames van echte fysieke experimenten in de echte wereld.

Ondanks de adoptie ervan als een standaard evaluatieprotocol, identificeren de auteurs dat de oorspronkelijke Physics-IQ benchmark systematische meetfouten bevat die de beoordeling van fysiek begrip vertroebelen. Deze fouten ontstaan uit drie primaire bronnen:

Ambigue Prompts: Oorspronkelijke tekstprompts missen vaak helderheid, bevatten feitelijke onjuistheden, laten cruciale informatie weg of voldoen niet aan de modelspecifieke prompting-best practices. Dit introduceert vrijheidsgraden in de output die orthogonaal staan aan fysiek begrip, waardoor de metriek-variantie wordt opgeblazen.
Spurieuze Metriek-activaties (Artefacten): Grondwaarheid-video's bevatten visuele gebeurtenissen die niet gerelateerd zijn aan de doelstelling van de fysieke fenomenen (bijv. roterende onderdelen van een apparaat, cameraruis of opnamefouten). Deze "artefacten" triggeren activatiemappen die worden gebruikt door de metrieken van de benchmark, waardoor de evaluatie ongerelateerde gebeurtenissen meet in plaats van het fysieke effect zelf.
Gebrekkige Score-aggregatie: De oorspronkelijke score aggregeert metrieken op datasetniveau. Deze aanpak maskeert foutmodi op sampleniveau en wijst ongelijke gewichten toe aan samples op basis van hun fysieke variatie, waarbij experimenten met een lage natuurlijke variabiliteit mogelijk ondergewaardeerd worden en die met een hoge variabiliteit juist overgewaardeerd.

Methodologie

De auteurs stellen Physics-IQ Verified voor, een verfijnde benchmark die de oorspronkelijke evaluatiepipeline systematisch auditeert en corrigeert. De methodologie omvat drie onderscheidende verbeteringen:

1. Verbeteren van de Promptkwaliteit

De auteurs hebben de tekstprompts opnieuw ontworpen om te fungeren als precieze "examenvragen" die de experimentele opstelling en de katalysator voor het fysieke fenomeen duidelijk specificeren zonder de uitkomst te onthullen.

Correctie van Onduidelijke Prompts: Prompts werden gescreend en gecorrigeerd op vier ernstgraden: feitelijke onjuistheid, temporele onnauwkeurigheid, weggelaten cruciale informatie en vage taal.
Getemplateerde Structuur: Om consistente conditionering over verschillende VGMs te garanderen, werden prompts gedecomposed in zes gestructureerde velden: SETUP, SCENE, ACTION, CAM, STYLE, en SCOPE.
- CAM, STYLE, en SCOPE zijn vaste velden die een realistische wetenschappelijke demonstratiestijl, statische camerasturing en een beperking tegen het hallucineren van nieuwe actoren waarborgen.
- Instructies werden herschreven in positieve termen om negatie te vermijden, wat veel modellen slecht afhandelt.

2. Opschonen van Artefacten

De auteurs hebben een gerichte verwijderingsstrategie geïntroduceerd voor "spurieuze metriek-activaties" in de grondwaarheid-video's.

Definitie van Artefacten: Artefacten worden gedefinieerd als metriek-activaties veroorzaakt door visuele gebeurtenissen die geen deel uitmaken van het geobserveerde fysieke effect. Ze worden gecategoriseerd als deterministisch (voorspelbaar, bijv. draaiende machines) of niet-deterministisch (willekeurige opnamefouten).
Verwijderingsstrategie: Met behulp van handmatige annotaties worden artefacten verwijderd via frame freezing:
- Post-effect verwijdering: Frames na het einde van het fysieke fenomeen worden bevroren om tail-end artefacten te verwijderen.
- Mid-effect verwijdering: Ruimtelijke regio's die tijdens het fenomeen artefacten bevatten, worden bevroren om het fysieke effect te isoleren.
- Dit proces zorgt ervoor dat metrieken het fysieke fenomeen beoordelen in plaats van ongerelateerde visuele ruis.

3. Verbeteren van Metriek-aggregatie

De auteurs hebben de scoremechanisme hergedefinieerd om op sampleniveau te opereren in plaats van op datasetniveau.

Sample-Level Scoring: Een score wordt berekend voor elk individueel videosample ( $n$ ) door de genormaliseerde metrieken te middelen.
Gelijke Weging: Deze aanpak zorgt ervoor dat elk sample en elke metriek even zwaar meeweegt in de uiteindelijke score, waardoor wordt voorkomen dat experimenten met een hoge fysieke variatie de aggregatie domineren.
MSE Interpretatie: De Mean Squared Error (MSE) metriek wordt geïnverteerd (ratio van fysieke variatie tot gegenereerde fout) zodat hogere waarden een betere prestatie aangeven, in lijn met de Intersection over Union (IoU) metrieken.
Clipping: Sub-scores worden afgeknipt naar het bereik $[0, 1]$ vóór aggregatie om te voorkomen dat een enkele uitzonderlijke metriek de totale score onevenredig hoog doet uitvallen.

Belangrijkste Resultaten

De auteurs evalueerden zes image-to-video (I2V) modellen (drie open-source: Wan 2.2, HunyuanV-1.5, Cosmos3-N; drie closed-source: Sora 2, P-Video, Grok Imagine Video) met zowel de oorspronkelijke als de geverifieerde protocollen.

Scoreveranderingen: De geverifieerde evaluatie verhoogde over het algemeen de scores voor de meeste modellen (door verbeterde prompts), maar verlaagde de scores voor anderen (door artefactverwijdering).
- Sora 2 vertoonde de grootste scoreverhoging, waarbij het significant profiteerde van de verbeterde prompts.
- Wan 2.2 was het enige model dat een prestatievermindering liet zien, wat suggereert dat de oorspronkelijke hoge scores deels werden gedreven door verwarrende factoren (ambigue prompts of artefacten).
Rangschikkingverschuivingen: De verfijningen leidden tot matige maar betekenisvolle veranderingen in de modelranglijsten.
- Wan 2.2 daalde van de 1e naar de 3e plaats.
- Sora 2 bewoog van de 6e naar de 5e plaats.
- Cosmos3-N verbeterde van de 5e naar de 4e plaats.
- P-Video zakte van de 4e naar de laatste plaats.
Statistische Significantie: De correlatie tussen de oorspronkelijke en de geverifieerde rangschikkingen was matig ( $\text{Kendall's } \tau = 0.46$ , $\text{Spearman's } \rho = 0.65$ ), wat aangeeft dat het evaluatieprotocol de beoordeling van modellen aanzienlijk beïnvloedt. Bootstrap-analyse bevestigde dat deze verschillen in rangschikking statistisch betekenisvol zijn en niet het gevolg zijn van willekeurige variantie.

Betekenis en Claims

Het artikel claimt dat Physics-IQ Verified een betrouwbaarder signaal biedt voor het meten van het fysieke begrip van VGMs. Door verwarrende factoren zoals prompt-ambiguïteit en grondwaarheid-artefacten te verwijderen, en door een gelijke weging van samples te garanderen, biedt de benchmark een fijnmazigerere analyse van de modelcapaciteiten.

De auteurs benadrukken dat de getrouwheid van de oorspronkelijke benchmark aan het werkelijke fysieke begrip werd aangetast door meetfouten. De voorgestelde verfijningen passen niet alleen de scores aan, maar veranderen fundamenteel het evaluatielandschap, waarbij wordt onthuld dat sommige modellen die voorheen hoog scoorden, mogelijk profiteerden van evaluatie-artefacten. Het werk beoogt de gemeenschap vooruit te helpen door een robuuste, traceerbare en fysiek accurate evaluatiestandaard te bieden, wat de ontwikkeling van de volgende generatie fysiek gegronde video-generatieve modellen faciliteert.

De code en data voor de benchmark zijn beschikbaar op de Physics-IQ Verified GitHub repository.