Technische Samenvatting: VideoGPA

Probleemstelling

Recente Video Diffusiemodellen (VDMs) hebben opmerkelijke visuele fideliteit en generaliseerbaarheid bereikt, maar kampen fundamenteel met het behoud van 3D-structurele consistentie. Ondanks training op datasets van miljarden schaal, produceren deze modellen vaak video's met objectvervorming, ruimtelijke drift en geometrische instorting na verloop van tijd. De auteurs hypotheseren dat dit falen voortkomt uit de aard van standaard denoising-doelstellingen, die statistische pixelniveau-overeenkomsten stimuleren maar geen expliciete geometrische regularisatie bieden. Bijgevolg leren modellen plausibele texturen te hallucineren zonder effectief 3D-consistentie in de latente ruimte in te brengen. Hoewel recente Geometrie Foundation-modellen (GFMs) dichte 3D-structuren kunnen afleiden uit 2D-observaties, maken huidige VDMs deze priors niet inherent gebruik tijdens de generatie.

Methodologie: VideoGPA

Het artikel introduceert VideoGPA (Video Geometric Preference Alignment), een data-efficiënt, zelftoezichtend raamwerk ontworpen om geometrie-priors te distilleren in vooraf getrainde VDMs zonder menselijke annotaties of training vanaf nul te vereisen. De aanpak aligneert de generatieve verdeling naar een 3D-consistent manifold met behulp van Direct Preference Optimization (DPO).

1. Zelftoezichtend Voorkeursmodelleren

In plaats van te vertrouwen op menselijke feedback, construeert VideoGPA voorkeursparen automatisch met een Geometrie Foundation-model (GFM) als ruggegraat voor het beloningssignaal.

• Op reconstructie gebaseerde consistentie: Voor een gegenereerde video leidt de GFM een dichte 3D-structuur (puntenwolken) en cameraposities af. Het systeem rendert vervolgens een "referentie"-video door deze 3D-structuur terug te projecteren naar 2D-frames.
• Consistentiescore: Het systeem berekent een 3D Consistentiescore door de reconstructiefout (MSE + LPIPS) te meten tussen de originele gegenereerde video en de gereprojecteerde referentie. Een lage fout wijst op hoge geometrische validiteit, terwijl een hoge fout geometrische artefacten aangeeft.
• Paarconstructie: Voor een gegeven prompt worden meerdere videosamples gegenereerd. Het sample met de laagste reconstructiefout wordt aangewezen als de "winnaar" ($x_w$), en die met de hoogste fout als de "verliezer" ($x_l$).

2. Direct Preference Optimization (DPO) voor Video

Het raamwerk past DPO toe op de v-prediction-parametrisatie die gebruikelijk is in moderne video-diffusietransformators (DiTs).

• Doel: Het model wordt getraind om het verschil in snelheidsvoorspellingsfouten tussen de winnaar- en verliezersamples te minimaliseren.
• Verliesfunctie: De DPO-verliesfunctie wordt geformuleerd als de negatieve log-waarschijnlijkheid van de beloningsmarge tussen winnende en verliezende samples, waarbij de beloning is afgeleid van het verschil in snelheidsvoorspellingsfouten ($E$) ten opzichte van een referentiebeleid.
• Efficiëntie: De methode maakt gebruik van LoRA (Low-Rank Adaptation) om slechts een klein deel (~1%) van de modelparameters fijn te tunen, waardoor het proces computatievriendelijk is.

3. Data-curatie

De trainingsdata is samengesteld uit de DL3DV-10K-dataset.

• Afbeelding-naar-Video (I2V): Gebruikt initiële frames als prompts met scriptgedreven camerabewegingsprimitieven (bijv. "terugtrekken", "omcirkelen") om diverse trajecten op te wekken waarbij geometrische inconsistenties waarschijnlijk zullen ontstaan.
• Tekst-naar-Video (T2V): Gebruikt bijschriften gegenereerd door CogVLM2-Video om alignering te evalueren onder onbeperkte taalinput.
• Filtering: Samples worden gefilterd om bewegingsrelevantie, voldoende geometrische marge tussen paren en uitsluiting van kwalitatief slechte "winnaars" te waarborgen.

Belangrijkste Bijdragen

1. Zelftoezichtende Geometrische Alignering: Een nieuw paradigma dat GFMs gebruikt om dichte, geautomatiseerde geometrische voorkeurssignalen te genereren, waardoor menselijke annotaties voor 3D-consistente video-alignering overbodig worden.
2. Scenewijd Consistentiemetriek: In tegenstelling tot eerdere werken die vertrouwen op spaarzame paarvoorwaarde (bijv. epipolaire lijnen), maakt VideoGPA gebruik van een globale reprojectievoorwaarde. Dit zorgt ervoor dat de volledige scène één coherente 3D-verklaring toelaat, wat ruimtelijke drift voorkomt die lokale metrieken zouden kunnen missen.
3. Data-efficiënt Post-training: Demonstreert dat aanzienlijke verbeteringen in 3D-consistentie kunnen worden bereikt met minimale data (2.500 voorkeursparen) en minimale parameterupdates (1% van modelgewichten via LoRA).
4. Ontstaan van Bewegingscoherentie: Het artikel observeert dat het afdwingen van geometrische consistentie fungeert als een regularisator voor het bewegingsmanifold, wat per ongeluk de temporale stabiliteit en fysieke plausibiliteit van dynamische objectbeweging verbetert, zelfs in scènes die tijdens training niet expliciet als statisch waren beperkt.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op CogVideoX (I2V- en T2V-instellingen) en Wan2.2.

• Kwantitatieve Prestaties: VideoGPA presteert consistent beter dan baselines (waaronder SFT, Epipolar-DPO en GeoVideo) over meerdere metrieken:
  • 3D-Reconstructiefout: Verbeterde PSNR, SSIM en verminderde LPIPS.
  • Geometrische Consistentie: Bereikte hogere Multi-View Consistentie Scores (MVCS) en lagere 3D Consistentie Scores (3DCS) en epipolaire fouten.
  • Menselijke Voorkeur: In blinde gebruikersstudies behaalde VideoGPA een winstpercentage van 76,0% in I2V en 60,33% in T2V tegen het basismodel, aanzienlijk beter dan SFT en Epipolar-DPO.
• Kwalitatieve Verbeteringen: Visuele analyse toont aan dat VideoGPA effectief objectopsplitsing onderdrukt, de integriteit van starre lichamen behoudt onder camerabeweging, textuurflikkering reduceert en de consistentie van objectattributen (kleur, materiaal) beter behoudt dan baselines.
• Generalisatie: De methode generaliseert naar datasets buiten de verdeling (WebVid, Panda-70M) en nieuwere backbones (Wan2.2), en behoudt prestaties zelfs in dynamische scènes met complexe objectbeweging.

Betekenis en Claims

Het artikel stelt dat de geometrische falen in huidige videogeneratoren grotendeels toe te schrijven zijn aan doelverkeerde alignering in plaats van architecturale beperkingen. Door geometrie-priors van foundation-modellen te distilleren in het diffusieproces via voorkeursoptimalisatie, demonstreert VideoGPA dat:

1. 3D-consistentie leerbaar is: Vooraf getrainde modellen kunnen worden gestuurd naar fysiek plausibele manifolds zonder expliciete structurele priors in het generatieproces.
2. Geometrie beweging stabiliseert: Het afdwingen van geometrische beperkingen dient als een fundamentele ankerpunt, waardoor het model camerabeweging beter kan ontwarren van objectbeweging, wat resulteert in coherente dynamische generatie.
3. Efficiëntie: Hoogwaardige 3D-consistente videogeneratie kan worden bereikt via lichtgewicht post-training, waardoor de computatiekosten van het trainen van massale modellen vanaf nul of de logistieke last van het verzamelen van menselijke voorkeursdata worden vermeden.

De auteurs erkennen beperkingen met betrekking tot de computatiekosten van feed-forward geometrische reconstructie voor zeer lange videosequenties, maar suggereren dat dit een oplosbare uitdaging is met toekomstige vooruitgang in lichtgewicht geometrische foundation-modellen.