Technische Samenvatting: Fysieke en Semantische Directe Preferentie-optimalisatie voor Tekst-naar-Video Generatie

1. Probleemstelling

Tekst-naar-video (T2V) generatiemodellen hebben een significante visuele realisme bereikt, maar schenden frequent basisprincipes van de fysica. Hoewel preferentie-gebaseerde alignment-methoden, met name Direct Preference Optimization (DPO), een veelbelovende aanpak zijn om de fysieke plausibiliteit te verbeteren via paarwijze vergelijkingen, introduceren ze een kritieke foutmodus: semantische drift.

Het kernproblek komt voort uit een structurele asymmetrie in de supervisiesignalen:

• Fysieke Plausibiliteit: Wordt doorgaans beoordeeld via relatieve vergelijking (bepalen welke van twee video's de natuurwetten beter naleeft). Dit proces verifieert inherent niet of een van de twee video's de specifieke objecten of de scène uit de prompt getrouw weergeeft.
• Semantische Consistentie: Wordt van nature behandeld als een per-sample evaluatie (controleren of een video overeenkomt met de tekst).

Standaard DPO gaat ervan uit dat de fysiek geprefereerde sample ook semantisch valide is. Empirische analyse laat echter zien dat in meer dan 50% van de fysieke preferentieparen de video die als "fysiek beter" wordt beschouwd, de semantische beperkingen van de prompt schendt (bijv. het afbeelden van een hele citroen in plaats van een citroenschijf, zelfs als de beweging fysiek accuraat is). Wanneer standaard DPO optimaliseert op deze "conflictparen", stuurt het het model naar fysiek plausibele maar semantisch inconsistente oplossingen, wat leidt tot instabiele convergentie en gedegradeerde tekst-video alignment.

2. Methodologie: PSDPO

De auteurs stellen Physical and Semantic Direct Preference Optimization (PSDPO) voor, een framework dat fysieke alignment behandelt als een geconstraineerd optimalisatieprobleem. PSDPO opereert volledig binnen het standaard DPO-framework zonder dat er hulpmodellen, extra verliestermen of architecturale wijzigingen nodig zijn.

2.1 Geconstraineerde Formulering

De methode formuleert het doel als het minimaliseren van de DPO-loss onder een semantische haalbaarheidsrestrictie: de fysiek geprefereerde video ($y_w$) moet ook een semantische alignmentscore ($S_{sem}$) behouden die groter dan of gelijk aan is aan de afgewezen video ($y_l$).
$$\min_{\theta} L_{DPO}(\theta) \quad \text{onder de voorwaarde dat} \quad S_{sem}(y_w, x) \geq S_{sem}(y_l, x)$$

2.2 Asymmetrische Modulatie

In plaats van schendende paren hard te filteren (wat waardevolle fysieke supervisiesignalen zou weggooien), introduceert PSDPO een vloeiende, strikt positieve modulatiefunctie, $\mathcal{W}(\Delta S)$, waarbij $\Delta S = S_{sem}(y_w, x) - S_{sem}(y_l, x)$.

• Match Paren ($\Delta S \geq 0$): De weging is 1.0, wat het standaard DPO-gedrag herstelt.
• Conflict Paren ($\Delta S < 0$): De weging wordt gedempt met een asymmetrische exponentiële functie: $\mathcal{W}(\Delta S) = \exp(\Delta S / \tau)$.

Dit mechanisme onderdrukt proportioneel de gradiëntbijdrage van paren waar fysieke preferentie conflicteert met semantische consistentie, begrensd door een temperatuurparameter $\tau$.

2.3 Gradiëntanalyse en Driftcontrole

Een analyse op gradiëntniveau demonstreert dat ongeconstreerde DPO een systematische directionele bias (drift) introduceert vanuit conflictparen. PSDPO begrenst deze drift tot een controleerbare residu. Om cumulatieve drift over de training verder te mitigeren, leiden de auteurs een gefaseerd optimalisatieprotocol af:

1. Fase 1: Train uitsluitend op "Match Paren" ($D_{match}$) om een stabiele preferentie-representatie te vestigen met nul drift-accumulatie.
2. Fase 2: Introduceer "Conflict Paren" ($D_{conf}$) met gemoduleerde wegingen om resterende fysieke signalen op een gecontroleerde manier te extraheren.

2.4 Physical Commonsense Evaluation (PCE) Systeem

Om de benodigde preferentiedata te genereren, hebben de auteurs een PCE-systeem ontwikkeld gebaseerd op een hiërarchische redeneerpipeline (gebruikmakend van Qwen3-VL). Dit combineert:

1. Physical Phenomena Parser: Identificeert kernfysieke gebeurtenissen uit de tekst.
2. Auxiliaire Geometrische Metrieken: Gebruikt tools zoals Depth Anything en RAFT om flow-magnitude en diepte-instabiliteit te schatten.
3. Hiërarchische Redenering: Een MLLM-beoordelaar die fysieke wetten en metrieken verifieert zonder te hallucineren, waarbij 75,54% overeenstemming wordt bereikt met menselijke oordelen over relatieve fysieke plausibiliteit.

3. Belangrijkste Bijdragen

1. Identificatie van Structurele Fout: Het paper identificeert dat fysiek-semantisch conflict een systematische neiging is in preferentie-gebaseerde T2V alignment, en niet louter een data-artefact, veroorzaakt door de afhankelijkheid van relatieve fysieke vergelijking zonder semantische getrouwheidscontroles.
2. PSDPO Framework: Een nieuw geconstreerd preferentie-optimalisatiemethode dat semantische haalbaarheid integreert in de leerdoelstelling via een modulatiemechanisme, zonder dat hiervoor hulpmodellen nodig zijn.
3. Theoretische Garanties: Gradiënt-niveau analyse die bewijst dat PSDPO de semantische drift van conflicterende paren begrenst, en een afgeleid gefaseerd protocol dat aantoonbaar de cumulatieve drift vermindert.
4. PCE Systeem: Een robuust evaluatiesysteem voor het construeren van fysieke preferentiedatasets dat de absolute scoring en standalone MLLM's overtreft in overeenstemming met menselijke oordelen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op VBench, VideoPhy-2 en PhyGenBench met het Wan-1.3B model.

• Fysieke Plausibiliteit: PSDPO verbetert de fysieke plausibiliteit met wel 2× ten opzien van de baseline op VideoPhy-2 (bijv. het verbeteren van de "Hard" subset score van 0,039 naar 0,078).
• Semantische Consistentie: In tegenstelling tot Vanilla DPO, die de semantische getrouwheid degradeert, behoudt of verbetert PSDPO de semantische scores op VBench (Totale score: 84,13 vs. 82,79 voor Vanilla DPO).
• Vergelijking met SOTA: PSDPO presteert beter dan bestaande preferentie-gebaseerde methoden (VideoDPO, PhysHPO, RDPO) en gespecialiseerde fysica-bewuste methoden (PhysGen, PhyMAGIC) over meerdere benchmarks, en bereikt een betere balans tussen fysieke realisme en semantische alignment.
• Ablatie-studies:
  • Modulatieschaal ($\tau$): $\tau=0,02$ biedt de optimale balans, waarbij semantische adherentie aanzienlijk wordt hersteld terwijl het fysieke leren behouden blijft.
  • Gefaseerde Training: Een schakelstap ($T_s$) van 1000 stappen (in een totaal schema van 3k stappen) levert de beste resultaten op, waarbij een balans wordt gevonden tussen vroege stabiliteit en latere extractie van het fysieke signaal.

5. Betekenis en Claims

Het paper claimt dat PSDPO aantoont dat een principiële formulering zowel theoretische degelijkheid als praktische eenvoud kan opleveren. Door de structurele asymmetrie tussen fysieke en semantische supervisie aan te pakken, bereikt de methode een betrouwbaarder evenwicht dan bestaande benaderingen.

De auteurs benadrukken dat hun aanpak:

• Volledig binnen het standaard DPO-framework opereert.
• Geen hulpmodellen, extra verliestermen of wijzigingen aan de basisarchitectuur vereist.
• Niet afhankelijk is van externe fysieke simulators of Chain-of-Thought redenering tijdens inferentie (in tegen tegenstelling tot sommige concurrerende methoden).
• Er succesvol in slaagt de spanning op te lossen tussen het verbeteren van de fysieke plausibiliteit en het behouden van de semantische consistentie, een cruciale stap naar het genereren van fysiek gefundeerde video-inhoud vanuit tekst.