Technische Samenvatting: Proprio: Latente Zelfscoring en Verfijning op Inference-tijd voor Fysisch Plausibele Videogeneratie

1. Probleemstelling

Moderne generatieve videomodellen, met name op architecturen gebaseerd op diffusie, hebben opmerkelijke visuele fideliteit bereikt. Ze schenden echter vaak fundamentele fysische principes, waardoor video's ontstaan met onrealistische botsingen, onmogelijke objectinteracties of inconsistente dynamiek. Deze tekortkomingen beperken hun bruikbaarheid als betrouwbare wereldmodellen voor downstream-toepassingen zoals robotica en simulatie.

Bestaande oplossingen voor dit probleem vertrouwen doorgaans op externe feedbackmechanismen:

• Interventies tijdens het trainen: Injecteren van fysische priors of het gebruik van gecureerde datasets (bijv. [35, 24]).
• Externe evaluatoren op inference-tijd: Het gebruik van Vision-Language Models (VLM's) of vooraf getrainde latente wereldmodellen (bijv. V-JEPA [37, 41]) om de generatie te scoren of te sturen.

De auteurs identificeren twee kritieke beperkingen in het paradigma van externe feedback:

1. Bias en Misalignering: VLM's brengen fysische plausibiliteit vaak in verband met tekst-beeldalignering of visuele esthetiek. Vooraf getrainde wereldmodellen opereren in hun eigen representatieruimtes, wat leidt tot een mismatch met de latente ruimte van de generator.
2. Gebrek aan Intrinsieke Consistentie: Externe evaluatoren zijn getraind met andere doelen en sluiten niet aan bij de specifieke denoising-dynamiek van de generator, waardoor ze mogelijk generator-specifieke inconsistenties over steekproefstappen heen missen.

Het artikel stelt een centrale vraag: Kan een videogenerator zijn eigen denoising-dynamiek benutten als een zelfstandig signaal om de fysische plausibiliteit van zijn output te evalueren en te verbeteren?

2. Methodologie: Proprio

De auteurs stellen Proprio voor, een trainingsvrij framework op inference-tijd dat een bevroren videogenerator in staat stelt zijn eigen output te beoordelen en te verfijnen. Geïnspireerd door biologische proprioceptie (het gevoel voor de eigen beweging), behandelt de methode de interne flow-residu van het model onder gecontroleerde verstoringen als een zelfscorend signaal.

2.1 Kernconcept: Flow-residu's als Zelfscoring

De methode rust op de observatie dat samples die consistent zijn met de door de generator geleerde verdeling (d.w.z. natuurlijke dynamiek), kleinere en stabielere residu's moeten induceren wanneer ze worden verstoord.

• Verstoring: Voor een gegenereerd latent video $z_0$ construeert de methode verstoord latents $z_t$ op verschillende scheduler-tijdstappen $t$ met behulp van gecontroleerd ruis $\epsilon$.
• Residuberekening: Het model voorspelt een flowveld $\hat{v}_\theta(z_t, t, c)$. De doeltransport is $v^*(z_0, \epsilon) \approx \epsilon - z_0$. Het flow-residu is het verschil:
  $$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$$
• Scoring: Het kwadraat van de norm van dit residu dient als een lokale score. Lagere residu's geven aan dat het model het sample onder verstoring beter kan "uitleggen", wat impliceert een hogere fysische plausibiliteit.

2.2 Signaalaggregatie en Verfijning

Om een robuuste score te creëren, aggregeert Proprio residu's over meerdere dimensies:

1. Multi-Verstoring & Multi-Tijdstap: De score wordt gemiddeld over meerdere ruisrealisaties en tijdstappen om de gevoeligheid voor specifieke ruisinstanties te verminderen.
2. Inverse-Variantie Weging: Tijdstappen met een hoge variantie in residu's (onstabiele schattingen) worden minder zwaar gewogen, terwijl stabiele tijdstappen prioriteit krijgen.
3. Dynamische Spatiotemporale Maskering: Een masker $\mathcal{M}$ wordt toegepast om de score te richten op bewegingsrelevante regio's, waarbij statische achtergrondruis wordt gefilterd die minder informatief is voor fysische plausibiliteit. Drie maskeringstrategieën worden onderzocht:
   • Bewegingsmasker: Gebaseerd op temporale verschillen in gedecodeerde frames.
   • Tekstbewust masker: Gebaseerd op veranderingen in cross-attention tussen latent en prompt-tokens.
   • Attention-gebaseerd masker: Gebaseerd op veranderingen in self-attention-features.

2.3 Strategieën op Inference-tijd

Proprio gebruikt de berekende score $S(z_0)$ in twee primaire modi:

1. Best-of-N Zoeken: Genereer $N$ kandidaat-latents en selecteer degene met de laagste zelfscore.
2. Zelfverfijning: In plaats van de generator opnieuw te trainen, optimaliseert de methode het initiële sample-ruis. Het parametrisert de ruis als $\zeta = \mu + \sigma \odot \zeta_0$ (waarbij $\zeta_0$ basisruis is) en gebruikt gradient descent om $\mu$ en $\sigma$ bij te werken om de Proprio-score te minimaliseren. Een KL-divergentie-regularisator zorgt ervoor dat de geoptimaliseerde ruis dicht bij de oorspronkelijke Gaussische prior blijft.

3. Belangrijkste Bijdragen

1. Generator-Native Zelfscoring: Introductie van een trainingsvrij framework dat het denoising-residu van een bevroren generator hergebruikt als een intrinsieke proxy voor fysische plausibiliteit, waardoor de noodzaak voor externe beloningsmodellen wordt geëlimineerd.
2. Zelfalignering op Inference-tijd: Een mechanisme om deze zelfscore om te zetten in een optimalisatiedoel, waarbij output wordt verfijnd door alleen de parameters van de initiële ruis bij te werken terwijl de gewichten van de generator vast blijven.
3. Empirische Validatie: Demonstratie van consistente verbeteringen op zowel Text-to-Video (T2V) als Image-to-Video (I2V) benchmarks, waarbij wordt aangetoond dat een enkele bevroren generator kan fungeren als zowel sampler als zelfevaluator.

4. Experimentele Resultaten

De auteurs evalueren Proprio op VideoPhy2 (T2V) en Physics-IQ (I2V) benchmarks, in vergelijking met willekeurige selectie, op VLM's gebaseerde scorers (Qwen-7B) en baselines van externe wereldmodellen (WMReward).

• Prestatiewinst:

  • Op TurboWan2.2 verbetert Proprio Physics-IQ van 32,2 naar 37,5 (+16,5%) en VideoPhy2-hard fysisch gezond verstand van 45,6 naar 55,0 (+20,6%).
  • Proprio presteert consequent beter dan VLM-gebaseerde scoring en overtreft vaak WMReward, met name in metrics voor fysisch gezond verstand (PC).
  • Een hybride scoringsaanpak (combinatie van globale en bewegingsbewuste scores) biedt de meest robuuste balans tussen semantische adherentie en fysische consistentie.

• Menselijke Evaluatie:

  • In paarwijze vergelijkingen gaven menselijke beoordelaars de voorkeur aan door Proprio geselecteerde of verfijnde video's voor fysische plausibiliteit in ongeveer 67% van de gevallen.
  • De visuele kwaliteit bleef grotendeels behouden, waarbij beoordelaars in veel gevallen geen sterke voorkeur tegen de baseline toonden, wat aangeeft dat de verbeteringen niet ten koste gaan van de esthetiek.

• Ablatie-inzichten:

  • Ruisniveaus: De meest informatieve scoresignalen ontstaan uit middelmatige ruis (0,3–0,6 van de steekproefstappen). Lage ruis is te lokaal, terwijl hoge ruis de samplespecifieke structuur verliest.
  • Variantieweging: Inverse-variantieweging verbetert de prestaties op niet-gedistilleerde modellen aanzienlijk door stabiele tijdstappen prioriteit te geven.
  • Zoeken vs. Verfijning: Zoeken (Best-of-N) is zeer effectief voor T2V vanwege de hoge diversiteit aan scènes. Voor I2V, waar kandidaten zijn verankerd aan hetzelfde beeld, speelt verfijning een dominantere rol.

5. Betekenis en Claims

Het artikel stelt dat bevroren videogeneratoren bruikbare interne signalen bevatten voor het evalueren en verbeteren van fysische plausibiliteit. Door de eigen flow-residu's van het model te herinterpreteren als een likelihood-preferentiesignaal, demonstreert Proprio dat:

• Externe evaluatoren niet strikt noodzakelijk zijn voor fysische alignering; de interne dynamiek van de generator is voldoende.
• Schalen op inference-tijd (zoeken en verfijnen) aanzienlijke winsten kan opleveren zonder hertraining.
• De methode een verschuiving in perspectief biedt: toekomstige systemen zullen generator-interne signalen voor zelfevaluatie steeds meer benutten in plaats van uitsluitend te vertrouwen op externe supervisie of auxiliaire beloningsmodellen.

Erkende Beperkingen:

• Proprio wordt beperkt door de kennis die is gecodeerd in de basisgenerator; het kan dynamiek niet herstellen die het model niet heeft geleerd.
• Het verhoogt de inference-kosten vanwege de noodzaak van meerdere kandidaat-scoringen en verfijningsstappen.
• Op gradienten gebaseerde verfijning is momenteel afhankelijk van gedistilleerde modellen voor rekenkundige haalbaarheid, aangezien backpropagatie door lange denoising-trajecten in grote modellen duur blijft.