🤖 AI

PhyGround: Benchmarking Physical Reasoning in Generative World Models

Oorspronkelijke auteurs: Juyi Lin, Arash Akbari, Yumei He, Lin Zhao, Haichao Zhang, Arman Akbari, Xingchen Xu, Zoe Y. Lu, Enfu Nan, Hokin Deng, Edmund Yeh, Sarah Ostadabbas, Yun Fu, Jennifer Dy, Pu Zhao, Yanzhi Wang

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juyi Lin, Arash Akbari, Yumei He, Lin Zhao, Haichao Zhang, Arman Akbari, Xingchen Xu, Zoe Y. Lu, Enfu Nan, Hokin Deng, Edmund Yeh, Sarah Ostadabbas, Yun Fu, Jennifer Dy, Pu Zhao, Yanzhi Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robot hebt gebouwd die video's kan dromen. Het kan een kat een laserpointer laten jagen of een auto door een stad laten rijden. Maar hier is het probleem: soms, in zijn dromen, zweeft de kat als een ballon, rijdt de auto door een bakstenen muur of verdwijnt het water in een kopje in de lucht. De video lijkt cool, maar het breekt de basisregels van hoe onze echte wereld werkt.

Het artikel PhyGround is als een streng, zeer gedetailleerd "fysica-rapport" voor deze video-makende robots. De onderzoekers wilden stoppen met alleen te vragen: "Ziet dit er cool uit?" en beginnen met vragen: "Voldoet dit eigenlijk aan de wetten van de fysica?"

Hier is hoe ze dit rapport hebben opgebouwd, simpel uitgelegd:

1. Het probleem met oude rapporten

Voorheen was het controleren of een video aan de fysica voldeed, als een leraar die een student één cijfer geeft voor een heel wetenschapsexamen. Als de student de wiskunde goed had maar de scheikunde faalde, gaf de leraar gewoon een "7" voor het hele examen. Je wist niet wat ze fout hadden.

Ook leunden de oude tests op een paar vermoeide mensen die urenlang video's bekeken. Soms raakt de beoordelaar slaperig, verward of raadt hij gewoon. En de computerprogramma's die werden gebruikt om de video's te beoordelen, waren als algemene kennis-bots: ze waren goed in het opmerken of een plaatje er "mooi" uitzag, maar ze konden niet vertellen of een schaduw de verkeerde kant op wees.

2. De nieuwe oplossing: Een fysica-detectiveset

De onderzoekers creëerden PhyGround, wat als een detectiveset is met drie speciale hulpmiddelen:

Hulpmiddel #1: De "Specifieke Wet"-checklist
In plaats van één groot cijfer, hebben ze de fysica opgesplitst in 13 specifieke wetten (zoals Zwaartekracht, Schaduwen, Vloeistoffen en Bottingen).
- De Analogie: Stel je voor dat je een voetbalwedstrijd beoordeelt. In plaats van gewoon te zeggen "Goed spel", controleert de scheidsrechter specifieke dingen: "Bleef de bal op het veld?" "Raakte de doelman de bal met zijn handen?" "Liepen de spelers de juiste afstand?"
- Ze schreven 250 specifieke prompts (instructies) voor de robots, zoals "Gooi een bal zodat hij tegen een muur botst en terugkaatst". Dit dwingt de robot om een specifieke fysieke actie te proberen, zodat de beoordelaar precies weet waar hij naar moet kijken.
Hulpmiddel #2: Het "Super-Beoordelaar"-menselijke team
Ze vroegen niet gewoon een paar vrienden om de video's te bekijken. Ze rekruteerden 459 mensen (een mix van fysica-experts en gewone mensen) om te fungeren als een enorme jury.
- De Analogie: In plaats van dat één rechter de winnaar van een talentenjacht bepaalt, hadden ze een stadion vol mensen dat stemde. Om ervoor te zorgen dat niemand zomaar willekeurig op knoppen drukte, gebruikten ze strenge regels: iedereen moest aan een bureau zitten (geen telefoons), de video's zorgvuldig bekijken, en ze kregen alleen een klein aantal video's om te beoordelen zodat ze niet moe werden.
- Ze ontdekten dat wanneer je zoveel mensen hebt, de resultaten ongelooflijk stabiel en betrouwbaar zijn.
Hulpmiddel #3: De "Fysica-Specialist"-robotrechter (PhyJudge-9B)
Mensen zijn geweldig, maar ze zijn traag. Dus trainden de onderzoekers een nieuwe AI-robot, genaamd PhyJudge-9B, met de antwoorden van de 459 mensen.
- De Analogie: Denk hierbij aan een student die het antwoordblad van de 459 menselijke rechters heeft bestudeerd. Nu kan deze studenten-robot duizenden video's direct beoordelen.
- Het artikel toont aan dat deze robot veel beter is dan andere beroemde AI-rechters (zoals Gemini). Terwijl andere robots misschien verward raken en zeggen: "Oh, die schaduw ziet er raar uit, ik geef het een nul!" zelfs als het prima is, heeft PhyJudge-9B geleerd om naar de specifieke regels te kijken (zoals "Beweegt de schaduw met het object?") en veel nauwkeuriger te beoordelen.

3. Wat ze ontdekten

Toen ze 8 verschillende video-makende robots met dit nieuwe systeem testten, ontdekten ze enkele verrassende dingen:

Geen robot is perfect: Geen enkele robot haalde een perfect cijfer. Ze breken allemaal nog steeds soms de regels van de fysica.
Specialisten versus Generalisten: Sommige robots waren geweldig in het laten stromen van water (Vloeistoffen) maar vreselijk in het laten stuiteren van vaste objecten (Vaste-Stof). Anderen waren het omgekeerde.
De "Verborgen" gebreken: Als je alleen naar het "Totale cijfer" keek, leken twee robots gelijk te spelen. Maar toen ze naar de specifieke wetten keken, faalde de ene eigenlijk bij de zwaartekracht terwijl de andere faalde bij schaduwen. Dit gedetailleerde beeld helpt ontwikkelaars om precies te weten wat ze moeten oplossen.

De conclusie

PhyGround is een nieuwe, open-source manier om video-AI te testen. Het gaat weg van vage "lijkt goed"-cijfers en maakt gebruik van een enorm team van mensen en een gespecialiseerde robotrechter om te controleren of de video's voldoen aan de 13 specifieke wetten van de fysica. Het is als video-AI een eindexamen geven waarbij je precies kunt zien welke vragen ze fout hadden, waardoor ze leren om werelden te dromen die echt echt aanvoelen.

Technische Samenvatting: PhyGround – Benchmarken van Fysisch Redeneren in Generatieve Wereldmodellen

1. Probleemstelling

Generatieve wereldmodellen worden steeds vaker ingezet voor videogeneratie, met de verwachting dat ze de fysische regels vastleggen die de dynamiek van de echte wereld beheersen. Echter, huidige modellen schenden vaak basisfysische principes (bijvoorbeeld objecten die zweven zonder steun, vloeistoffen die verdwijnen, of schaduwen die in strijd zijn met lichtbronnen), wat hun authenticiteit en toepasbaarheid ondermijnt in domeinen die een betrouwbare simulatie vereisen.

Bestaande op fysica gerichte videobenchmarks staan voor drie kritieke beperkingen:

Grove Evaluatiekaders: Ze opereren vaak op domeinniveau (bijvoorbeeld een enkele score voor "vloeistofdynamica"), waardoor specifieke fouten op wet-niveau worden gemaskeerd en het onderscheid tussen kleine afwijkingen en ernstige schendingen ontbreekt.
Annotatiebias en Vermoeidheid: Menselijke evaluatie is kwetsbaar voor responsbias, vermoeidheid en volgorde-effecten, vooral wanneer kleine pools van annotatoren worden gebruikt zonder strikt experimenteel ontwerp.
Onvoldoende Geautomatiseerde Evaluatie: Standaardmetrieken (FVD, SSIM) meten distributieve gelijkenis in plaats van fysische adherentie. Bestaande benaderingen waarbij VLM's als rechter fungeren, vertrouwen vaak op gesloten-bronmodellen met evoluerende architecturen, waardoor resultaten moeilijk reproduceerbaar of controleerbaar zijn, en ontberen specialisatie voor fijnmazige fysische diagnose.

2. Methodologie

PhyGround adresseert deze uitdagingen via een criterium-gegronde benchmarkontwerp, een grootschalige kwaliteitsgecontroleerde menselijke studie en een open-source gespecialiseerde rechter.

2.1 Benchmarkontwerp

Prompt-suite: De benchmark bestaat uit 250 gecureerde prompts afgeleid van vier bronnen (VideoPhy-2, Physics-IQ, OpenVid, WorldModelBench). In tegenstelling tot eerdere werken die impliciete prompts gebruikten, verrijkt PhyGround elke prompt met een expliciet verwachte fysische uitkomst (bijvoorbeeld het specificeren dat een bal van een tafel moet vallen) om ervoor te zorgen dat het model een scoorbaar fysisch evenement probeert.
Fysica-taxonemie: De evaluatie ontbindt fysisch redeneren in 13 distincte wetten over drie domeinen:
- Vaste-stofmechanica (6 wetten): Zwaartekracht, Traagheid, Momentum, Ondoordringbaarheid,botsing, Materiaaleigenschappen.
- Vloeistofdynamica (5 wetten): Drijfvermogen, Verplaatsing, Stroomdynamica, Grensvlakinteractie, Continuïteit.
- Optica (2 wetten): Reflectie, Schaduw.
Scoremechanisme: Elke wet wordt geoperationaliseerd via 2–3 waarneembare subvragen (bijvoorbeeld "Zweven niet-ondersteunde objecten omhoog?"). Annotatoren en rechters scoren elke wet op een Likert-schaal van 1–5, waarmee de ernst van schendingen wordt vastgelegd in plaats van binaire pass/fail-oordelen.

2.2 Grootse Menselijke Evaluatie

Schaal en Protocol: De studie rekruteerde 459 annotatoren (waaronder 35 fysica-experts en niet-experts) om 2.000 video's te evalueren gegenereerd door 8 modellen. Dit resulteerde in 5.796 volledige annotaties en meer dan 37.400 fijnmazige labels.
Kwaliteitscontrole: Geput uit sociaalwetenschappelijk experimenteel ontwerp, hanteerde de studie randomisatie van videovolgorde en annotator-toewijzing, capteerde werklasten (~12,6 video's per annotator) en verbergt modelidentiteiten om vraag-effecten te verminderen. Een kwaliteitscontrole-pipeline in twee rondes filterde kwalitatief slechte annotaties op basis van scoreconsistentie, dimensiediscriminatie, peer-overeenstemming en gedragsengagement, waarbij 352 annotatoren behouden bleven.
Betrouwbaarheid: Het behouden dataset vertoonde hoge split-half modelrangschikkingscorrelaties (Spearman's $\rho > 0,90$ ), wat stabiele geaggregeerde rangschikkingen garandeert.

2.3 Geautomatiseerde Rechter: PhyJudge-9B

Training: PhyJudge-9B is een Vision-Language Model (VLM) met 9 miljard parameters, fijngefineerd via Supervised Fine-Tuning (LoRA) op de gestructureerde menselijke annotaties van PhyGround.
Architectuur: Het model is getraind om scores uit te geven voor specifieke wetten op basis van videoframes, verrijkte prompts en een criterium-specifieke rubriek met de subvragen.
Reproduceerbaarheid: In tegenstelling tot gesloten-bronrechters is PhyJudge-9B volledig open-source met vaste gewichten, wat onafhankelijke auditing en reproduceerbaarheid mogelijk maakt.

3. Belangrijkste Resultaten

De benchmark evalueerde acht moderne videogeneratiemodellen (één gesloten-bron: Veo-3.1; zeven open-source).

Algemene Prestatie: Geen enkel model bereikte sterke fysische adherentie. De hoogste "Overall"-score (combinatie van algemene en fysica-dimensies) was 3,28/5 (ongeveer 66%), gedeeld door Wan2.2-27B-A14B en Veo-3.1.
Domein-decompositie: Holistische scores verhulden significante verschillen op domeinniveau:
- Wan2.2-27B-A14B excelleerde in Vaste-stof (3,23) en temporele coherentie, maar bleef achter bij Vloeistoffen (3,18).
- Veo-3.1 leidde overtuigend in de domeinen Vloeistof (3,65) en Optica (3,69), maar scoorde lager in Vaste-stof (3,12).
- Cosmos-Predict2.5-2B toonde een "spikes"-profiel, met een 7e plaats overall maar een hoge Optica-score (3,35), terwijl het worstelde met Vloeistoffen (2,77).
Moeilijkheidsprofiel: Geaggregeerd over modellen bleek Vaste-stofmechanica (2,79) het meest uitdagende domein, gevolgd door Vloeistof (3,08) en Optica (3,24). Binnen Vaste-stof waren Momentum en Botsing de moeilijkste wetten, wat suggereert dat huidige modellen moeite hebben met contactresolutie en rebound-dynamiek.
Rechterprestatie: PhyJudge-9B bereikte een significant lagere geaggregeerde relatieve bias vergeleken met de gesloten-bron Gemini-3.1-Pro (3,3% vs. 16,6%). Het presteerde ook beter dan andere baselines (Claude, Qwen) en toonde aan dat het toevoegen van subvragen aan prompts de nauwkeurigheid van VLM-rechters aanzienlijk verbeterde, terwijl Chain-of-Thought (CoT)-redenering niet consequent verdere voordelen opleverde.

4. Bijdragen

Criterium-gegronde Per-wet Taxonomie: Een nieuw evaluatiekader dat fysisch redeneren ontbindt in 13 specifieke wetten met waarneembare subvragen, waardoor diagnostische inzichten mogelijk worden die holistische scores niet kunnen bieden.
Grootschalige, Kwaliteitsgecontroleerde Menselijke Dataset: De grootste gerapporteerde pool van menselijke annotatoren (459 annotatoren) voor een op fysica gerichte videobenchmark, ontworpen met protocollen uit de sociale wetenschappen om betrouwbaarheid en stabiliteit te garanderen ( $\rho > 0,90$ ).
PhyJudge-9B: Een open, op fysica gespecialiseerde VLM-rechter die aanzienlijk lagere bias bereikt dan state-of-the-art gesloten-bronmodellen en reproduceerbare, controleerbare geautomatiseerde evaluatie ondersteunt.
Uitgebreide Benchmark-release: Volledige release van 250 prompts, menselijke annotaties, modelcheckpoints en evaluatiecode.

5. Betekenis

PhyGround verbetert de evaluatie van generatieve wereldmodellen door over te schakelen van grove, holistische beoordelingen naar fijnmazige, wet-specifieke diagnostiek. Door te onthullen dat modellen vaak specifieke sterke en zwakke punten hebben over verschillende fysieke beperkingen (bijvoorbeeld een model dat sterk is in vloeistofdynamica maar zwak in botsingsfysica), biedt de benchmark een solide fundament voor gerichte modelverbetering. Bovendien adresseert de release van PhyJudge-9B de kritieke behoefte aan reproduceerbare en controleerbare geautomatiseerde evaluatie, waardoor het veld zich verwijdert van afhankelijkheid van ondoorzichtige, gesloten-bron API's. Het werk onderstreept dat hoewel huidige videogeneratiemodellen veelbelovend zijn, er aanzienlijke gaten blijven in hun vermogen om complexe fysieke interacties te simuleren, met name in contactdynamiek en vloeistofcontinuïteit.