🤖 machine learning

PhyCo: Learning Controllable Physical Priors for Generative Motion

PhyCo is een framework dat videodiffusiemodellen verbetert met controleerbare, fysiek consistente beweging door gebruik te maken van een groot-schaal simulatiegegevensset, fysisch-toezicht fijnafstemming via ControlNet en door VLM-gestuurde beloningsoptimalisatie om realistische fysieke gedragingen te genereren zonder dat er bij inferentie simulatoren of geometrische reconstructie nodig zijn.

Oorspronkelijke auteurs: Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film bekijkt waarin een bal stuitert, een doos schuift of een persoon op een trampoline springt. In de meeste tegenwoordig gegenereerde AI-video's voelen deze bewegingen vaak "verkeerd" aan. De bal kan zweven als een spook, met de verkeerde hoeveelheid energie stuiteren, of over de vloer glijden alsof hij van ijs is gemaakt, terwijl hij van rubber zou moeten zijn. De AI is uitstekend in het laten zien dat dingen echt zijn (de kleuren, de belichting), maar het begrijpt niet helemaal hoe dingen zich bewegen volgens de wetten van de fysica.

PhyCo is een nieuw systeem dat is ontworpen om dit op te lossen. Denk er als het ware aan als het geven van een "cheatsheet voor fysica" aan de AI, zodat het video's kan genereren waarin objecten zich precies zo gedragen als ze dat in de echte wereld zouden moeten doen.

Hier is hoe PhyCo werkt, opgesplitst in drie eenvoudige stappen:

1. Het Trainingskamp (De Dataset)

Voordat PhyCo een AI kan onderwijzen, moet het zelf de regels van het spel leren. De onderzoekers bouwden een enorme bibliotheek van 100.000 gesimuleerde video's.

De Analogie: Stel je een gigantische sportschool voor waar robots oefenen met vallen, stuiteren en schuiven. In deze sportschool kunnen de onderzoekers de "knoppen" van elk object aanpassen. Ze kunnen een bal superveel laten stuiteren, een vloer superglibberig maken, of een muur superzacht.
Het Resultaat: De AI bekijkt deze video's en leert dat "als ik de knop 'wrijving' hoger zet, het object minder moet schuiven", of "als ik de knop 'deformatie' hoger zet, het object meer moet vervormen". Dit creëert een enorme database van oorzaak-en-gevolg-relaties.

2. Het Bedieningspaneel (ControlNet)

Zodra de AI de trainingsvideo's heeft bekeken, geven de onderzoekers het een speciaal bedieningspaneel.

De Analogie: Denk aan een videospel waarin je een kaart op het scherm kunt tekenen om de personage te vertellen waar het heen moet. Met PhyCo kun je een "kaart" van fysieke eigenschappen tekenen. Je kunt een plek op het scherm beschilderen om te zeggen: "Dit gebied is plakkerig", of "Dit object is zwaar".
Hoe het werkt: De AI neemt deze kaarten en gebruikt ze om de video te genereren. In plaats van alleen maar te raden hoe een object beweegt, kijkt het naar jouw kaart en zegt: "Oké, je hebt me gezegd dat dit hoge wrijving is, dus ik zal het object langzaam laten schuiven." Dit zorgt voor continue controle, wat betekent dat je de wrijving soepel kunt op- of afregelen, niet alleen aan- of uitschakelen.

3. De Strenge Trainer (VLM Reward Optimization)

Zelfs met het bedieningspaneel kan de AI nog steeds kleine fouten maken. Om dit op te lossen, hebben de onderzoekers een "Strenge Trainer" toegevoegd.

De Analogie: Stel je een trainer voor die de oefenvideo's van de AI bekijkt en specifieke vragen stelt: "Stuitert die bal hoog genoeg?" "Glijdt die doos ver genoeg?" Als de AI het antwoord verkeerd heeft, geeft de trainer een "straf" (een wiskundige penalty) om zijn gedrag te corrigeren.
De Magie: Deze trainer is een Vision-Language Model (VLM). Het kijkt niet alleen naar de pixels; het begrijpt het concept van fysica. Het leest de video en controleert of de beweging overeenkomt met de regels die je hebt ingesteld. Als de bal te laag stuitert terwijl je om een hoge stuitering vroeg, vertelt de trainer de AI om het opnieuw te proberen. Na verloop van tijd leert de AI om de trainer tevreden te stellen, wat resulteert in video's die niet alleen visueel mooi zijn, maar ook fysiek accuraat.

Wat kan PhyCo doen?

Het artikel toont aan dat PhyCo het volgende aankan:

Wrijving: Dingen laten gemakkelijk schuiven of aan de grond plakken.
Restitutie (Stuiterend vermogen): Dingen laten stuiteren als een rubberen bal of als een steen neerkomen.
Deformatie: Zachte objecten laten vervormen en terugveren, terwijl harde objecten stijf blijven.
Kracht: Objecten in specifieke richtingen duwen met specifieke kracht.

De Grote Overwinning

Het meest indrukwekkende deel is dat PhyCo dit alles heeft geleerd in een gesimuleerde wereld (de "sportschool"), maar dat het net zo goed werkt in de echte wereld. Je kunt het vragen om een video te genereren van een persoon die op een trampoline springt, en hoewel het tijdens de training nooit een echte trampoline heeft gezien, weet het precies hoe de trampoline zou moeten vervormen en hoe de persoon zou moeten stuiteren, omdat het de principes van de fysica heeft geleerd.

Kortom, PhyCo leert de AI om te stoppen met raden hoe de wereld beweegt en begint de regels te begrijpen die het regeren, waardoor we video's kunnen maken waarbij de fysica net zo echt is als de beelden.

1. Probleemstelling

Moderne video-diffusiemodellen hebben opmerkelijk succes geboekt bij het synthetiseren van realistische texturen, belichting en continuïteit van beweging. Ze kampen echter aanzienlijk met fysische consistentie. Veelvoorkomende fouten zijn:

Objecten die onder invloed van de zwaartekracht met onrealistische snelheden wegdrijven of vallen.
Botstingen die ontbreken aan realistische terugveerkracht (restitutie).
Zachte objecten die niet vervormen volgens materiaaleigenschappen.
Gebrek aan Controleerbaarheid: Hoewel fundamentele modellen zijn getraind op enorme datasets, kunnen ze niet op gecontroleerde wijze worden gemanipuleerd om specifieke variaties in fysische eigenschappen te genereren (bijvoorbeeld het veranderen van wrijving of krachtskracht) zonder hertraining of complexe externe begeleiding.

Bestaande oplossingen vallen in twee categorieën, beide met beperkingen:

Expliciete Simulatie: Methoden die diffusiemodellen koppelen aan fysische solvers (bijvoorbeeld dynamica van starre lichamen, MPM) vereisen 3D-geometrische reconstructie of vooraf gedefinieerde materialen tijdens inferentie, wat schaalbaarheid en generalisatie beperkt.
Impliciete Priors: Methoden die taal- of trajectprompts gebruiken, verbeteren de semantische consistentie maar missen continue, fijnmazige controle over diverse fysische attributen zoals vervorming, restitutie en wrijving.

2. Methodologie

PhyCo introduceert een kader dat continue, interpreteerbare en fysisch onderbouwde controle over videogeneratie mogelijk maakt zonder dat er tijdens inferentie simulatoren of geometrische reconstructie nodig zijn. De aanpak bestaat uit drie kerncomponenten:

A. Groot Schaal Fysisch Onderbouwd Dataset

Schaal & Diversiteit: De auteurs hebben een dataset van meer dan 100.000 fotorealistische simulatievideo's samengesteld met behulp van het Kubric-framework, PyBullet (fysica) en Blender (rendering).
Scenario's: De dataset bestrijkt zes gecontroleerde scenario's (bijvoorbeeld schuivende bakstenen, terugveerende ballen, impacten van zachte lichamen) die variëren van starre botsingen tot vervormbare dynamica.
Annotaties: In tegenstelling tot eerdere datasets, biedt PhyCo pixel-gealigneerde fysische eigenschapskaarten voor vier sleutelattributen:
1. Wrijving ( $\mu_f$ )
2. Restitutie ( $e$ )
3. Vervorming (Neo-Hookean parameters: $\mu, \lambda, \gamma$ )
4. Aangebrachte Kracht (Grootte en richting)
Ontwerp: De simulaties zijn visueel schoon maar fysisch rijk, waardoor het model visuele verschijning kan ontkoppelen van onderliggende dynamica.

B. Fysica-Gesuperviseerde Fine-Tuning (Fase 1)

Architectuur: De auteurs fine-tunen een voorgeïmplementeerd diffusie-ruggengraat (Cosmos-Predict2-2B) met behulp van een ControlNet-architectuur.
Conditionering: Het ontroeiingsproces is geconditioneerd op ruimtelijk gealigneerde fysische eigenschapskaarten ( $p$ ). Deze kaarten worden getokeniseerd en geprojecteerd via een adapternetwerk om overeen te komen met de DiT (Diffusion Transformer)-ruggengraat.
Trainingsstrategie: Alleen de ControlNet-lagen worden gefine-tuned; de basismodel- en tokenizer-weights blijven bevroren om voorgeïmplementeerde representaties te behouden. Het model wordt getraind op subsets van de dataset waar specifieke fysische eigenschappen tot uiting komen in de dynamica.

C. VLM-Geleide Belangsoptimalisatie (Fase 2)

Motivatie: Supervised fine-tuning alleen garandeert mogelijk geen sterke controletrouw. Om dit te overbruggen, wordt een Vision-Language Model (VLM) gebruikt als een differentieerbaar beloningssignaal.
Proces:
1. Rollout: In plaats van ruisige tussenstappen te evalueren, voert het model een $N$ -staps ontroeiingsrollout uit om een voorspelde video $\hat{x}_0$ te genereren.
2. Evaluatie: Een gefine-tuned VLM (Qwen2.5-VL-3B) analyseert de gegenereerde video met behulp van een gecureerde "Physics Question Bank". Vragen zijn binair (Ja/Nee) of regressie-gebaseerd (bijvoorbeeld "Is de krachtskracht tussen 0,2 en 0,4?" of "Ligt de beweging binnen het blauwe sector?").
3. Beloningssignaal: De logits van de VLM voor juiste versus onjuiste antwoorden worden omgezet in een differentieerbaar verlies voor beloning ( $L_{VLM}$ ).
4. Optimalisatie: De ControlNet wordt verder gefine-tuned met behulp van dit verlies voor beloning om de gegenereerde dynamica af te stemmen op de beoogde fysische eigenschappen.

3. Belangrijkste Bijdragen

PhyCo Dataset: Een nieuw, groot schaal (100K+ video's) dataset met continue annotaties voor wrijving, restitutie, vervorming en kracht, ontworpen om visuele verschijning te ontkoppelen van fysische dynamica.
Gecontroleerde Fysische Conditionering: Een methode om ruimtelijk gealigneerde fysische eigenschapskaarten in een diffusiemodel te injecteren via ControlNet, waardoor continue controle over meerdere fysische attributen tegelijkertijd mogelijk is.
VLM-Geleide Uitlijning: Een nieuwe trainingsfase waarbij een gefine-tuned VLM differentieerbare feedback geeft over fysische consistentie, wat de controletrouw aanzienlijk verbetert zonder dat er tijdens inferentie expliciete fysische solvers nodig zijn.
Generalisatie: Het kader toont sterke compositie-generalisatie, waarbij fysiek consistente beweging wordt gegenereerd in gestileerde of real-world scènes (bijvoorbeeld een persoon die op een trampoline springt), ondanks dat het uitsluitend is getraind op synthetische data.

4. Experimentele Resultaten

De auteurs hebben PhyCo geëvalueerd op de Physics-IQ-benchmark en via menselijke voorkeursonderzoeken.

Physics-IQ Benchmark:
- PhyCo presteerde aanzienlijk beter dan sterke baselines (SVD-XT, LTX-Video, CogVideoX, VLIPP) over vijf domeinen: Vastestoffysica, Vloeistofdynamica, Optica, Magnetisme en Thermodynamica.
- Score: Het volledige PhyCo-model (ControlNet + VLM Loss) behaalde een IQ-score van 43,6 (tegenover 34,6 voor VLIPP en 29,7 voor SG-I2V).
- Generalisatie: Zelfs wanneer getest op 120-kaderssequenties (langer dan de 57-kaders trainingsdata), behield het model superieure fysieke realisme.
Gebruikersstudies (2AFC):
- In paarwise vergelijkingen gaven menselijke beoordelaars de voorkeur aan PhyCo boven baselines voor fysisch realisme en controleerbaarheid.
- PhyCo toonde voorkeurspercentages van 90,9% voor wrijving, 93,2% voor restitutie en 91,3% voor vervorming ten opzichte van het basismodel Cosmos.
Ablatiestudies:
- VLM Impact: Het toevoegen van VLM-beloningsoptimalisatie verlaagde de hoekafwijking van de krachtsrichting van ~38° (alleen ControlNet) naar 22,5°.
- Krachtrichting: PhyCo behaalde een gemiddelde richtingsfout van 15,2°, aanzienlijk beter dan Force-Prompting (40,5°).
- Compositie Controle: Het model slaagde erin combinaties van attributen te hanteren (bijvoorbeeld Kracht + Wrijving) en generaliseerde naar ongezette objecten en scenario's.

5. Betekenis

PhyCo vertegenwoordigt een schaalbare weg naar fysisch consistente generatieve wereldmodellen. De betekenis ligt in:

Inferentie-efficiëntie: Het elimineert de noodzaak van expliciete fysische solvers of 3D-reconstructie tijdens inferentie, waardoor het sneller en flexibeler is dan hybride simulatiebenaderingen.
Interpreteerbaarheid: Door het gebruik van expliciete fysische eigenschapskaarten is de controle interpreteerbaar en sluit deze aan bij standaard fysische simulatieparameters.
Schaalbaarheid: De methode generaliseert van synthetische trainingsdata naar real-world scenario's en diverse objectcategorieën, wat suggereert dat het inbedden van fysische prioren een levensvatbare strategie is voor het bouwen van intelligente visuele modellen die de wetten van de fysica begrijpen.

Kortom, PhyCo overbrugt succesvol de kloof tussen visueel realisme en fysieke plausibiliteit, en biedt een controleerbaar kader voor het genereren van video's die de wetten van de fysica gehoorzamen via continue attribuutmanipulatie.