Inferring Dynamic Physical Properties from Video Foundation Models

Dit artikel introduceert nieuwe videodatasets en onderzoekt verschillende methoden, waaronder het gebruik van video-foundationmodellen en multimodale grote taalmodellen, om dynamische fysieke eigenschappen zoals elasticiteit, viscositeit en dynamische wrijving uit video's te voorspellen.

De kern

Stel je voor dat je naar een video kijkt van een rubberen bal die van een trapje valt en stuitert. Je hoeft geen natuurkundige te zijn om te weten: "Die bal is erg veerkrachtig!" Of je ziet honing die langzaam over een bord stroomt en denkt: "Die is erg stroperig."

Mensen doen dit instinctief. We kunnen de "zwaarte" van een vloeistof of de "glijdendheid" van een oppervlak voelen, alleen door te kijken hoe dingen bewegen. Maar kunnen computers dat ook? Kunnen ze de fysica van de wereld begrijpen, alleen door naar pixels op een scherm te staren?

Dit is precies wat de onderzoekers van de Universiteit van Oxford in dit paper hebben onderzocht. Ze hebben een nieuwe manier bedacht om te testen of moderne AI-modellen echt "voelen" hoe de wereld werkt, of dat ze gewoon slimme gokkers zijn.

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. De Proef: Een Nieuw Speeltuintje (De Dataset)

Om te testen of AI fysica begrijpt, hadden ze een speciale "speeltuin" nodig. Bestaande datasets waren niet goed genoeg; ze misten de echte antwoorden (zoals de exacte veerkracht van een bal).

Dus bouwden ze PhysVid. Dit is een verzameling video's van drie soorten situaties:

• De Springende Bal (Elasticiteit): Hoe hoog stuitert een bal?
• De Stroomende Vloeistof (Viscositeit): Hoe snel verspreidt honing of water zich?
• De Glijdende Doos (Wrijving): Hoe snel stopt een blokje dat over de vloer schuift?

Ze maakten twee soorten video's:

1. Computer-gemaakte video's: Perfecte simulaties waar ze precies weten wat de antwoorden zijn.
2. Echte video's: Opnames van de echte wereld (met een iPhone of van YouTube), waar de antwoorden handmatig zijn gemeten.

Het doel? Kijken of de AI het verschil ziet tussen een video van een bal die stuitert in een perfecte computerwereld, en een video van een echte bal in een echte kamer.

2. De Drie Kandidaten: Wie is de Slimste?

De onderzoekers testten drie verschillende soorten "hersenen" (AI-modellen) om te zien wie het beste de fysica kon raden.

A. De "Orakel" (De Cheater)

Dit is geen echte AI, maar een referentiepunt. Stel je voor dat je een superkrachtige camera hebt die direct de snelheid en hoogte van de bal meet, zonder te hoeven "kijken". De Orakel weet het antwoord direct uit de data.

• Resultaat: De Orakel doet het bijna perfect. Dit bewijst dat de taak oplosbaar is als je de juiste hints hebt.

B. De "Generatieve" en "Zelflerende" Modellen (De Kunstenaars)

Dit zijn de grote, moderne video-modellen (zoals DynamiCrafter en V-JEPA-2).

• De Vergelijking: Stel je voor dat je een kunstenaar hebt die duizenden films heeft gemaakt en een fotograaf die duizenden foto's heeft geanalyseerd om patronen te leren. Ze hebben nooit expliciet natuurkunde geleerd, maar ze hebben wel gezien hoe dingen bewegen.
• De Methode: De onderzoekers gaven deze modellen een "vraag" (een prompt) en een klein, trainbaar knopje (een vector) dat de AI moest leren welke details in de video belangrijk zijn.
• Resultaat: Het verrassend goed! Ze deden het bijna net zo goed als de Orakel op de computer-video's. Ze konden zelfs redelijk goed generaliseren naar de echte wereld. Het lijkt erop dat deze modellen, door simpelweg video's te genereren of te voorspellen, een ingebouwd gevoel voor fysica hebben ontwikkeld.

C. De Meertalige Taalmodellen (De Vertellers)

Dit zijn de bekende "chatbots" die video's kunnen zien (zoals GPT-4o, Gemini, Qwen).

• De Vergelijking: Stel je voor dat je een zeer geleerde professor vraagt om de fysica van een bal te beschrijven. Hij kent alle woorden, maar heeft misschien nooit echt gekeken hoe een bal beweegt. Hij probeert het te raden op basis van wat hij in boeken heeft gelezen.
• Het Probleem: In het begin deden ze het slecht. Ze keken vaak naar de objecten ("Oh, dat is een honingpot, dus het is stroperig") in plaats van naar de beweging.
• De Oplossing: De onderzoekers gaven hen een "handleiding" (prompting). Ze zeiden: "Kijk niet naar de pot, maar meet hoe snel de vloeistof verspreidt!"
• Resultaat: Met de juiste instructies werden ze veel beter, vooral bij echte video's. Maar zonder die handleiding waren ze vaak in de war. Ze zijn nog niet zo goed als de gespecialiseerde videomodellen.

3. Wat is de Grote Leerervaring?

De belangrijkste conclusie is als volgt:

• Video-modellen zijn fysici geworden: Modellen die zijn getraind om video's te maken of te voorspellen, hebben onbewust een heel goed inzicht gekregen in hoe de wereld werkt. Ze kunnen de "zwaarte" van een object voelen door alleen naar de pixels te kijken.
• De "Orakel" is nog steeds de baas: Hoewel de AI's goed zijn, zijn ze nog niet perfect. Ze maken fouten, vooral bij complexe situaties zoals wrijving (glijden), waar de camera-hoek en het licht een grote rol spelen.
• De taalmodellen hebben hulp nodig: Ze zijn slim, maar ze moeten worden geleerd hoe ze moeten kijken. Als je ze vertelt wat ze moeten zoeken, worden ze veel beter.

Samenvattend

Deze studie laat zien dat we AI niet alleen hoeven te leren "wat" er op een video te zien is (een bal, een vloeistof), maar ook "hoe" het zich gedraagt. De moderne videomodellen hebben een soort "intuïtieve fysica" ontwikkeld, net als een kind dat leert dat een steen zwaarder is dan een veer, alleen door te kijken.

Het is een grote stap richting robots die niet alleen kunnen kijken, maar ook begrijpen waarom dingen vallen, stuiten of glijden. Dat is essentieel voor robots die in onze echte, chaotische wereld moeten werken.

Technische samenvatting

Titel: Het afleiden van Dynamische Fysieke Eigenschappen uit Video Foundation Models

Auteurs: Guanqi Zhan, Xianzheng Ma, Weidi Xie, Andrew Zisserman (University of Oxford & Shanghai Jiao Tong University)

---

1. Probleemstelling

Mensen zijn uitzonderlijk bedreven in het intuïtief schatten van fysieke eigenschappen op basis van visuele waarnemingen, zonder directe interactie. Ze kunnen bijvoorbeeld inschatten hoe veerkrachtig een bal is, hoe viskeus een vloeistof is, of hoe slipper een oppervlak is, puur door te kijken hoe objecten bewegen.

Het huidige onderzoek richt zich op de vraag of moderne Video Foundation Models (zoals generatieve modellen, zelftoezichtende modellen en Multimodale Grootte Taalmodellen of MLLMs) dit vermogen hebben om dynamische fysieke eigenschappen uit ruwe video's te infereren. Specifiek worden drie eigenschappen onderzocht die niet direct zichtbaar zijn in statische frames, maar ontstaan door temporale dynamiek:

1. Elasticiteit: De veerkracht van een springend object.
2. Viscositeit: De dikte/flow-weerstand van een stromende vloeistof.
3. Dynamische Wrijving: De wrijvingscoëfficiënt tussen een object en een oppervlak tijdens het glijden.

De uitdaging ligt in het feit dat deze eigenschappen subtiele visuele aanwijzingen vereisen (zoals vervorming, vertraging, spreiding of oscillatie) en temporale redenering.

---

2. Methodologie

De auteurs introduceren een gestructureerde aanpak bestaande uit een nieuw dataset, drie inferentiemethoden en een uitgebreide evaluatie.

A. De PhysVid Dataset

Om deze taak te evalueren, hebben de auteurs PhysVid ontwikkeld, een dataset specifiek ontworpen voor dynamische fysieke eigenschappen.

• Opbouw: De dataset bevat synthetische video's (gegenereerd met de Genesis-fysicasimulator) en real-world video's (verzameld via internet of met een iPhone).
• Splits:
  • Train: Synthetisch.
  • Test-1 & Test-2: Synthetisch (Test-2 introduceert een distributiewijziging in verstorende parameters zoals camera-hoek en belichting).
  • Test-3: Real-world video's voor evaluatie van generalisatie buiten simulatie.
• Ground Truth: De waarden voor elasticiteit, viscositeit en wrijving zijn exact bekend uit de simulatie of handmatig geschat/gedefinieerd op basis van fysieke formules voor de real-world data.

B. Inferentiestrategieën

Drie verschillende benaderingen worden vergeleken:

1. Oracle-methode (Klassieke Computer Vision):

   • Een bovenste grens (upper bound) die gebruikmaakt van klassieke technieken om de specifieke visuele aanwijzingen direct te extraheren.
   • Elasticiteit: Verhouding van valhoogte en springhoogte (via trajectanalyse).
   • Viscositeit: Groeisnelheid van het oppervlak van de vloeistof (via segmentatie).
   • Wrijving: Versnelling van het glijdende object (via projectie naar een vogelperspectief en paraboolfitting).
   • Een GRU-netwerk of regressiemodel wordt gebruikt om de fysieke waarde te voorspellen op basis van deze gemeten kenmerken.

2. Video Foundation Models (Generatief & Zelftoezichtend):

   • Modellen: DynamiCrafter (generatief, diffusion-based) en V-JEPA-2 (zelftoezichtend, ViT-gebaseerd).
   • Methode: De backbone-modellen worden "bevroren" (frozen). Er wordt een eenvoudige read-out mechanisme toegevoegd: een leerbaar query-vector (visual prompt) die via cross-attention de interne representaties van het model selecteert.
   • Een MLP-netwerk voorspelt vervolgens de fysieke eigenschap op basis van deze samengevoegde features. Dit is lichtgewicht en trainings-efficiënt.

3. Multimodale Grootte Taalmodellen (MLLMs):

   • Modellen: Qwen2.5-VL, GPT-4o, en Gemini 2.5 Pro.
   • Methode: Directe inferentie via tekstprompts. Er worden verschillende prompting-strategieën getest:
     • Baseline: Eenvoudige vraag.
     • Few-Shot: Voorbeelden van video's met antwoorden.
     • Oracle Teaching: Het model krijgt stap-voor-stap instructies over hoe de eigenschap fysiek berekend moet worden (gebaseerd op de oracle-methode).
     • Frame Index: Het toevoegen van tijdstippen aan de frames.
     • Zwarte Frames: Tussen twee video's in voor vergelijkingstaken.

---

3. Belangrijkste Resultaten

De resultaten worden gepresenteerd voor zowel absolute voorspelling (het voorspellen van een numerieke waarde) als relatieve vergelijking (bepalen welke van twee video's een hogere eigenschapswaarde heeft).

• Oracle vs. Foundation Models:

  • De Oracle-methode presteert bijna perfect (AUC > 0.99), wat aantoont dat de taak oplosbaar is met visuele cues en fysica.
  • De video foundation models (DynamiCrafter en V-JEPA-2) presteren aanzienlijk goed op synthetische data (Test-1 en Test-2), maar hun prestaties dalen bij real-world data (Test-3), vooral bij wrijving.
  • Er is een vergelijkbare prestatie tussen generatieve en zelftoezichtende modellen, hoewel beide achterblijven bij de Oracle.

• MLLMs:

  • MLLMs presteren over het algemeen slechter dan de gespecialiseerde video-modellen, vooral op synthetische data.
  • Ze presteren echter beter op real-world data (Test-3) dan op synthetische data, waarschijnlijk omdat ze vertrouwd zijn met real-world visuele semantiek.
  • Prompting is cruciaal: Strategieën zoals Oracle Teaching (voor relatieve taken) en Few-Shot Examples (voor absolute taken) verbeteren de prestaties aanzienlijk. Zonder goede prompts presteren MLLMs vaak willekeurig.

• Specifieke uitdagingen:

  • Wrijving blijkt het moeilijkst te zijn voor alle modellen, waarschijnlijk vanwege de complexiteit van projectieve geometrie en het ontbreken van visuele referenties (zoals een raster) in real-world video's.
  • Elasticiteit en Viscositeit worden beter voorspeld, vooral door de video foundation modellen, omdat deze gebaseerd zijn op relatief eenvoudige geometrische verhoudingen (hoogteverhoudingen, oppervlaktegroei).

---

4. Bijdragen en Significance

De belangrijkste bijdragen van dit werk zijn:

1. Nieuwe Dataset (PhysVid): Een uitgebreide benchmark met ground-truth annotaties voor dynamische fysieke eigenschappen, inclusief zowel synthetische als real-world splits voor generalisatietests.
2. Efficiënte Read-out Mechanismen: Een bewezen methode om dynamische eigenschappen uit bestaande, bevroren video foundation modellen te extraheren met slechts een klein aantal trainbare parameters (visual prompts).
3. Evaluatie van MLLM-capaciteiten: Een grondige analyse van hoe goed MLLMs fysiek redeneren en hoe prompting-strategieën hun prestaties kunnen verbeteren.
4. Inzicht in Fysiek Begrip: De studie toont aan dat huidige video foundation modellen een zekere mate van fysiek begrip hebben, maar dat ze nog niet de precisie van klassieke computer vision-methoden of menselijke intuïtie bereiken, vooral bij complexe eigenschappen zoals wrijving en in real-world scenario's.

Conclusie:
Hoewel video foundation modellen een veelbelovende basis vormen voor fysiek redeneren, blijft het nauwkeurig voorspellen van kwantitatieve fysieke waarden uit video een significante uitdaging. De resultaten benadrukken de noodzaak van verdere verbetering in het fysiek redeneren van video-modellen, een cruciale stap voor de ontwikkeling van robuuste robotica en geïntegreerde AI-systemen. De dataset, modellen en code zijn openbaar beschikbaar gemaakt.