🤖 AI

DiReCT: Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation

Het paper introduceert DiReCT, een lichtgewicht post-training framework dat semantische en fysische dynamica ontkoppelt via een gedesentraliseerde contrastieve regularisatie, waardoor video-generatiemodellen zoals Wan 2.1-1.3B aanzienlijk betere fysieke consistentie bereiken zonder extra trainingstijd of kwaliteitsverlies.

Oorspronkelijke auteurs: Abolfazl Meyarian, Amin Karimi Monsefi, Rajiv Ramnath, Ser-Nam Lim

Gepubliceerd 2026-03-30

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Abolfazl Meyarian, Amin Karimi Monsefi, Rajiv Ramnath, Ser-Nam Lim

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent die een magische AI-filmstudio runt. Deze studio kan prachtige video's maken op basis van wat je zegt, zoals "een auto rijdt door de regen". De AI is geweldig in het maken van beelden die eruitzien als echte films: de kleuren zijn mooi, de bewegingen zijn vloeiend en het ziet er allemaal heel realistisch uit.

Maar er is één groot probleem: de AI begrijpt de natuurwetten niet.

Als je de AI vraagt om een bal te laten stuiteren, kan het zijn dat de bal na het raken van de grond juist sneller wordt, of dat twee objecten door elkaar heen bewegen alsof ze van spookstof zijn gemaakt. De AI leert alleen hoe dingen er uitzien, maar niet hoe ze zich gedragen.

Dit artikel introduceert een nieuwe methode, genaamd DiReCT, die deze AI leert om niet alleen mooi, maar ook fysiek logisch te denken.

Hier is hoe het werkt, vertaald in alledaagse taal:

Het Probleem: De "Verwarde" Leraar

Stel je voor dat je een student (de AI) wilt leren hoe een auto rijdt.

De oude methode: Je laat de student naar een foto van een auto kijken en zegt: "Teken dit na." De student leert de auto te tekenen, maar als je vraagt: "Wat gebeurt er als hij remt?", tekent hij misschien dat de auto naar achteren schiet.
De contrastieve methode (de oude poging): Je zegt: "Teken een auto die rijdt, en zorg dat het niet lijkt op een auto die stilstaat."
- Het probleem: Als je de student vraagt om een auto te tekenen die rijdt, en als "fout voorbeeld" een auto te tonen die ook rijdt maar net iets anders (bijvoorbeeld in de regen), raakt de student in de war. De AI denkt: "Oh, ze willen dat ik de auto in de regen teken, maar dan moet ik hem juist niet tekenen?" De leerkracht (de AI) krijgt tegenstrijdige signalen. Dit noemen de auteurs verstrengeling: de inhoud (auto) en de fysica (regen) zijn zo door elkaar gehaald dat de AI niet weet wat hij moet leren.

De Oplossing: DiReCT (De Slimme Leraar)

DiReCT is een slimme trainingstechniek die de AI leert om twee soorten fouten te onderscheiden, alsof je twee verschillende soorten "niet-doe-dit" voorbeelden gebruikt.

1. De "Macro" Methode: Ver weg kijken

Stel je voor dat je de AI leert over auto's.

Fout voorbeeld: Een boot op zee.
Waarom dit werkt: Een boot en een auto zijn totaal verschillend. De AI weet direct: "Ah, dit is een boot, dat is niet wat ik moet doen." Hierdoor leert de AI heel duidelijk waar de grens ligt tussen een auto en een boot. Er is geen verwarring.
In het artikel: Dit noemen ze Macro-contrast. Je pakt voorbeelden die semantisch heel ver van elkaar liggen (een auto vs. een boom) om de AI te leren dat ze totaal verschillende bewegingen moeten hebben.

2. De "Micro" Methode: De "Hard" Fouten

Dit is het slimme deel. Soms wil je de AI leren dat een bal wel moet stuiteren en niet vast moet blijven plakken.

Fout voorbeeld: Een bal die net zo'n bal is, maar die plakt in plaats van stuitert.
Het risico: Als je dit zomaar doet, raakt de AI weer in de war (zie het probleem hierboven).
De DiReCT-truc: Ze gebruiken een andere AI (een taalmodel) om de opdracht heel subtiel te veranderen.
- Origineel: "Een bal stuitert."
- Veranderd: "Een bal plakt aan de grond."
- De AI leert nu: "Oké, de bal is hetzelfde, maar de fysica is anders." Ze leren specifiek het verschil tussen "stuiteren" en "plakken", zonder dat de rest van de scène verandert. Dit noemen ze Micro-contrast.

De "Anker" (Om niet te vergeten)

Er is nog een risico: als je de AI te hard traint om fysiek correct te zijn, kan hij vergeten hoe hij mooie beelden moet maken. Het wordt dan raar en wazig.

De oplossing: DiReCT houdt een "veiligheidsanker" vast. Het vergelijkt de nieuwe AI voortdurend met de oude, getrainde AI. Zolang de nieuwe AI niet te ver afwijkt van de oude (wat zorgt voor de mooie beelden), mag hij de fysica verbeteren. Dit voorkomt dat de AI "vergeet" hoe hij een mooie film moet maken.

Wat levert dit op?

De auteurs hebben deze methode getest op een bestaande video-AI (Wan 2.1).

Resultaat: De AI maakt nu video's die er niet alleen mooi uitzien, maar ook logisch zijn.
- Een auto rijdt vooruit, niet achteruit.
- Een surfplank drijft op het water, niet erdoorheen.
- Een stuk hout drijft stroomafwaarts, niet stil in de stroming.

Zelfs met een relatief klein model (1,3 miljard parameters) doet deze AI het beter dan veel grotere modellen (soms 5 tot 10 keer groter) die geen speciale fysica-training hebben gehad.

Samenvatting in één zin

DiReCT is als een slimme filmcoach die een AI leert om niet alleen te kijken naar wat er op het scherm staat, maar ook naar hoe de dingen zich moeten gedragen volgens de natuurwetten, door slimme voorbeelden te geven van wat er niet mag gebeuren.

1. Het Probleem: Semantisch-Fysische Verstrengeling

Huidige video-generatiemodellen, gebaseerd op Flow Matching, produceren visueel overtuigende en temporair coherente video's. Ze hebben echter een fundamenteel tekortkoming: ze negeren vaak elementaire natuurwetten. Objecten kunnen door elkaar heen bewegen, botsen zonder reactie, of bewegen in strijd met de zwaartekracht.

De kern van het probleem ligt in het trainingdoel en de aard van tekstconditionering:

Reconstructie-objctieven: Bestaande loss-functies straffen per-frame afwijkingen, maar onderscheiden niet tussen fysisch consistente dynamiek en onmogelijke dynamiek.
Semantisch-Fysische Verstrengeling (Semantic-Physics Entanglement): In tekst-geconditioneerde video-generatie zijn de inhoud van de scène (semantiek) en het gedrag van objecten (fysica) in de prompt onlosmakelijk met elkaar verbonden.
Het falen van naive Contrastive Learning: Traditionele contrastieve methoden (zoals $\Delta$ FM) duwen de snelheidsveld-trajecten van verschillende condities uit elkaar. Echter, bij tekst-prompten delen "positieve" en "negatieve" samples vaak een groot deel van hun snelheidsveld-structuur omdat de scènes visueel vergelijkbaar zijn. Dit leidt tot een gradiëntconflict: de contrastieve gradiënt (die de trajecten uit elkaar duwt) werkt direct tegen de flow-matching gradiënt (die de reconstructie verbetert), wat de training verslechtert in plaats van verbetert.

2. Methodologie: DiReCT Framework

De auteurs introduceren DiReCT (Disentangled Regularization of Contrastive Trajectories), een lichtgewicht post-training framework dat dit conflict oplost door het contrastieve signaal te ontleden in twee complementaire schalen: Macro-contrast en Micro-contrast.

A. Macro-Contrastief Leren (MaNS)

Doel: Het creëren van een schone, globale scheiding van trajecten zonder gradiëntinterferentie.
Methode: De tekst-embeddings van de prompts worden gepartitioneerd in semantisch coherente clusters (via K-means). Voor een gegeven positieve prompt worden negatieve samples uitsluitend getrokken uit andere semantische clusters.
Effect: Omdat de negatieve samples semantisch ver verwijderd zijn, is hun snelheidsveld-structuur sterk verschillend van die van de positieve sample. Dit garandeert dat de gradiënten compatibel zijn en de globale structuur van het snelheidsveld worden versterkt zonder de reconstructie te verstoren.

B. Micro-Contrastief Leren (MiNS)

Doel: Het oplossen van fijne, fysische onderscheidingen tussen semantisch zeer vergelijkbare prompts.
Methode: Er worden "harde negatieve" samples gegenereerd die dezelfde scène-inhoud hebben als de positieve prompt, maar waarbij één specifieke fysische dimensie is gemanipuleerd. Dit gebeurt met behulp van een LLM (Qwen2.5-7B-Instruct) die de prompt aanpast op basis van vijf dimensies:
1. Kinematica (tijdsprofiel van beweging)
2. Krachten (richting/type van kracht)
3. Materiaal (viscositeit, elasticiteit, etc.)
4. Interactie (botsingsreactie: stuiteren vs. plakken)
5. Grootte/Magnitude (intensiteit van de beweging)
Effect: Hoewel de semantische overlap groot is, is het snelheidsverschil ( $\delta$ ) geconcentreerd op de fysisch relevante subruimte. Dit zorgt ervoor dat de contrastieve gradiënt nuttige, fysisch specifieke correcties levert zonder de reconstructie te saboteren.

C. Distributie-Anchoring (Regularisatie)

Om te voorkomen dat het model zijn visuele kwaliteit verliest (catastrophic forgetting) tijdens het leren van nieuwe fysische regels, wordt een KL-straf toegevoegd. Dit houdt het getrainde model dicht bij het snelheidsveld van het oorspronkelijk voorgeprogrammeerde model, maar laat gerichte verbeteringen toe.

De totale loss-functie combineert:

Flow Matching (reconstructie).
Macro-contrast (globale scheiding).
Micro-contrast (fijne fysische scheiding).
Anchoring (behoud van visuele kwaliteit).

3. Belangrijkste Bijdragen

Formalisatie van Gradiëntconflict: De auteurs bewijzen wiskundig dat naive contrastieve learning faalt bij tekst-geconditioneerde video's wanneer positieve en negatieve samples te veel overlap hebben in hun snelheidsveld-structuur. Ze leiden een precieze voorwaarde af voor wanneer contrastief leren helpt versus wanneer het schadelijk is.
DiReCT Framework: Een innovatieve post-training aanpak die het contrastieve doel decomposeert in macro- en micro-schalen om semantische verstrengeling te omzeilen.
Efficiëntie: Het framework vereist geen extra inferentie-tijd tijdens het trainen (negatieve samples zijn vooraf gegenereerd) en voegt geen significante rekentijd toe ten opzichte van standaard Supervised Fine-Tuning (SFT).

4. Resultaten

De methode is getest op het Wan 2.1-1.3B model en geëvalueerd op benchmarks zoals VideoPhy en WorldModelBench.

Verbetering in Fysische Plausibiliteit:
- Op VideoPhy steeg de "Physical Commonsense" score met 16,7% ten opzichte van de baseline en 11,3% ten opzichte van standaard SFT.
- De totale score op WorldModelBench bedroeg 5.68, wat het hoogste is van alle vergeleken modellen.
Vergelijking met State-of-the-Art:
- DiReCT (1.3B parameters) presteerde beter dan veel grotere modellen, waaronder CogVideoX-5B (5.68 vs 5.33) en Mochi (10B parameters, 4.91).
- Dit bewijst dat gerichte fysische fine-tuning effectiever is dan het simpelweg vergroten van het model.
Visuele Kwaliteit: De methode behoudt de instructie-opvolging en visuele kwaliteit van het basismodel, zonder degradeerend effect.

5. Betekenis en Impact

DiReCT biedt een fundamentele oplossing voor een van de grootste uitdagingen in generatieve AI: het leren van "wereldmodellen" die niet alleen er realistisch uitzien, maar zich ook realistisch gedragen.

Overbrugging van de "Realism Gap": Het sluit de kloof tussen "eruit zien als echt" en "gedragen als echt".
Efficiëntie: Het toont aan dat men geen enorme rekenkracht of complexe simulatoren nodig heeft om fysische consistentie te bereiken; slimme contrastieve strategieën volstaan.
Toepassingsgebied: Deze technologie is cruciaal voor toepassingen waar fysische nauwkeurigheid essentieel is, zoals autonome voertuigen (voorspelling van gedrag), robotica, en wetenschappelijke simulaties, en verbetert de betrouwbaarheid van video-generatie voor creatieve doeleinden.

Kortom, DiReCT transformeert video-generatiemodellen van puur visuele imitatoren naar modellen met een onderliggend begrip van fysica, door het fundamentele probleem van semantische verstrengeling in de training te adresseren.