Anchored Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models

Probleemstelling

Hoewel state-of-the-art Text-to-Video (T2V) diffusiemodellen visueel indrukwekkende resultaten kunnen genereren, vertonen ze aanzienlijke beperkingen bij het samenstellen van complexe scènes en het volgen van logische temporele instructies. De auteurs stellen dat veel van deze fouten, inclusief bewegingsfalen, niet voortkomen uit een gebrek aan bewegingsmodelleringscapaciteit, maar uit het onvermogen van het model om een semantisch correcte en logisch consistente startframe te construeren.

Wanneer een T2V-model de scène verkeerd interpreteert (bijvoorbeeld een kip als een geroosterde kip in plaats van een levende kip), is het onmogelijk om de daaropvolgende tijdsgebonden instructies ("een kip die de saus proeft") correct uit te voeren, ongeacht de kracht van het bewegingsmodel. Bestaande modellen hebben de twee fundamenteel verschillende taken – statische scèneconstructie en temporele synthese – te sterk met elkaar verweven ("over-entangled"), wat leidt tot semantische inconsistenties en logische fouten in de video.

Methodologie: Anchored Video Generation (AVG)

De auteurs introduceren Anchored Video Generation (AVG), een modulaire pipeline die de T2V-generatie decomposeert in drie gespecialiseerde fasen om de bovenstaande problemen aan te pakken:

1. Redenering (Reasoning):
   Een Large Language Model (LLM) herschrijft de originele video-prompt. Het doel is om de prompt te transformeren tot een expliciete beschrijving van de initiële scène (het startframe), waarbij temporele overgangen en logische ambiguïteiten worden verwijderd. Dit zorgt ervoor dat de prompt alleen de statische toestand beschrijft die moet worden gegenereerd.

2. Compositie (Composition):
   Een Text-to-Image (T2I) model gebruikt de herschreven prompt om een hoogwaardig, semantisch correcte ankerframe (anchor frame) te synthetiseren. Dit frame fungeert als de visuele grondslag voor de video.

3. Temporele Synthese (Temporal Synthesis):
   Een video-diffusiemodel (VDM) wordt gefinetuned om te werken met dit visuele anker. Tijdens de inferentie wordt het ankerframe ingebracht als een vaste visuele constraint (met tijdstap $t=0$) in de latent sequence van het model. Het model concentreert zich vervolgens uitsluitend op het genereren van coherente temporele dynamiek op basis van dit anker en de originele prompt.

Technische Implementatie:

• Finetuning: Om bestaande T2V-modellen (zoals Wan2.2 en CogVideo) in staat te stellen een visueel anker te accepteren, wordt een Anchor-Grounding Finetuning uitgevoerd. Hierbij wordt een "hybride" input gegenereerd tijdens het trainen: $T-1$ ruisframes op een willekeurige tijdstap $t$ en één schoon ankerframe op tijdstap $t=0$. Het model wordt getraind met LoRA (Low-Rank Adaptation) om deze out-of-distribution input te hanteren en het frame bij $t=0$ te behandelen als een vaste constraint.
• Inferentie: Tijdens het genereren wordt het ankerframe (gecodeerd als latent) vervangen in de eerste framepositie van de video, met een tijdstap van 0, terwijl de rest van de video wordt gedenoised.

Belangrijkste Bijdragen

1. Diagnose van Fouten: Het paper identificeert en kwantificeert dat scènecompositie een primaire faalmodus is in bestaande T2V-systemen, vaak vóórdat temporele fouten optreden.
2. Decoupling Pipeline: AVG introduceert een eenvoudige, modulaire aanpak die redenering, scènecompositie en temporele synthese scheidt, waardoor de modelcapaciteit kan worden gericht op het specifieke probleem dat het moet oplossen.
3. Efficiëntie: De methode maakt het mogelijk om het aantal sampling-steps met 70% te verminderen (van 50 naar 15) zonder kwaliteitsverlies, wat leidt tot een aanzienlijke versnelling van de generatie.
4. Open Source: De auteurs publiceren hun modellen, code, benchmark-prompten en gegenereerde ankerframes om reproduceerbaarheid te waarborgen.

Resultaten

De AVG-methode werd geëvalueerd op twee belangrijke benchmarks: T2V CompBench en VBench2.0.

• T2V CompBench: AVG zet een nieuwe state-of-the-art neer. Kleine modellen met AVG (bijv. Wan 5B) presteren beter dan grotere, niet-geankerde modellen (bijv. Wan 14B). De verbetering is aanzienlijk: de "Anchored T2V" variant van Wan 5B scoort +41,98% hoger dan de baseline, en verslaat zelfs commerciële modellen zoals PixVerse-V3.
• VBench2.0: Er zijn significante verbeteringen in alle geteste categorieën, met name in Composition, Controllability en Physics. Hoewel de prestaties op "Human Fidelity" licht dalen (voornamelijk door identiteitsproblemen), is de algehele verbetering in semantische consistentie en prompt-adherentie duidelijk.
• Robuustheid: De geankerde modellen behouden hun prestaties zelfs bij een drastische vermindering van de sampling-steps (tot 15 stappen), terwijl standaard T2V-modellen hier sterk in prestatie inzakken.
• Diversiteit: De analyse toont aan dat de diversiteit in de gegenereerde video's voornamelijk wordt bepaald door de variatie in het gegenereerde ankerbeeld (scène-diversiteit) en niet door de variatie in de beweging alleen.

Betekenis en Conclusie

Dit onderzoek biedt een paradigmaverschuiving in de ontwikkeling van video-generatiemodellen. In plaats van te vertrouwen op schaalvergroting (meer parameters en data) om complexe scènes te begrijpen, toont AVG aan dat het expliciet scheiden van scèneconstructie en temporele modellering een krachtigere en efficiëntere route is.

De bevindingen suggereren dat visuele gronding (visual grounding) een cruciale bottleneck oplost die niet opgelost kan worden door alleen de modelgrootte te vergroten. Door een visueel anker te gebruiken, kunnen kleinere modellen concurreren met of zelfs grotere modellen verslaan, terwijl ze tegelijkertijd rekenkosten besparen. Dit opent de weg naar robuustere, controleerbare en efficiëntere video-synthese, waarbij de focus verschuift van het "raden" van de startscène naar het modelleren van de beweging vanuit een vaststaand, correcte beginpunt.