Technische Samenvatting: UniTemp

Probleemstelling

Autoregressieve videodiffusiemodellen zijn een veelbelovende aanpak geworden voor efficiënte generatie van lange video's door gebruik te maken van blokgewijze generatie en key-value (KV) caching. Echter, bestaande methoden zijn beperkt tot voorwaartse (causale) temporele generatie, waarbij elk blok uitsluitend wordt geconditioneerd op eerder gegenereerde inhoud. Deze beperking belemmert praktische workflows voor videocreatie die een flexibele temporele ordening vereisen, zoals:

• Achterwaartse extensie: Een proloog genereren die geconditioneerd is op een bestaande clip.
• Inbetween-generatie: Het vullen van temporele gaten tussen twee segmenten.
• Visueel storytelling: Eerst sleutelframes genereren en deze vervolgens verbinden.

Pogingen om voorwaarts gerichte modellen naïef uit te breiden naar achterwaartse generatie resulteren in ernstige inter-blok flikkering en discontinuïteiten, met name in scènes met veel beweging. Het paper identificeert de oorzaak van dit artefact als de Causale 3D VAE architectuur die breed wordt gebruikt in state-of-the-art videodiffusiemodellen (bijv. CogVideoX, HunyuanVideo, Wan). De Causale 3D VAE codeert latents strikt geconditioneerd op de verleden context. Hoewel dit overeenkomt met voorwaartse generatie, creëert het een fundamentele mismatch tijdens achterwaartse generatie: de decoder verwacht een verleden context die niet beschikbaar is, wat leidt tot zichtbare randartefacten. Het hertrainen van een niet-causale VAE is onpraktisch omdat dit compatibiliteit met bestaande voorgetrainde teacher-modellen zou verbreken.

Methodologie: UniTemp

De auteurs stellen UniTemp voor, een verenigd bidirectioneel distillatieframework dat een enkel autoregressief student-model kan trainen dat video kan genereren in elke temporele richting (voorwaarts, achterwaarts of inbetween) zonder het voorgetrainde teacher-model of de VAE aan te passen.

1. Blokgewijze Anchor Latents

Om de inter-blok flikkering aan te pakken die wordt veroorzaakt door het gebrek aan verleden context van de causale VAE tijdens achterwaartse generatie, introduceren de auteurs blokgewijze anchor latents.

• Mechanisme: Tijdens de achterwaartse generatie wordt de blokgrootte uitgebreid van $B$ naar $(P + B)$, waarbij $P$ het aantal anchor latents is. Deze anchor latents vertegenwoordigen de voorafgaande videotokens.
• Functie: Het uitgebreide blok wordt gezamenlijk gedenoised met behulp van full-sequence self-attention. Hierdoor kan het doelblok aandacht schenken aan een proxy van de ontbrekende verleden context (de anchor latents), zelfs wanneer er in omgekeerde volgorde wordt gegenereerd.
• Weggooien: Na de denoising worden de anchor latents weggegooid en niet opgenomen in de uiteindelijke output. Ze dienen uitsluitend om de generatie van het doelblok te stabiliseren door de noodzakelijke context voor de causale decoder te bieden.
• Resultaat: Dit mechanisme herstelt effectief de ontbrekende verleden context bij blokgrenzen, wat visuele artefacten en inter-blok flikkering aanzienlijk vermindert.

2. Verenigde Bidirectionele Distillatie

UniTemp maakt gebruik van een asymmetrisch distillatieframework (voortbouwend op Self-Forcing) om een enkel student-model ($G_\theta$) te trainen onder supervisie van een bevroren teacher diffusiemodel.

• Training: De student wordt getraind op zowel voorwaartse als achterwaartse generatietaken met behulp van een gedeeld model en een gedeelde "fake" critic ($\mu_{fake}^\phi$).
  • Voorwaarts: Volgt de standaard blokgewijze autoregressieve rollout.
  • Achterwaarts: Gebruikt de blokgewijze anchor latents om het contextvenster uit te breiden.
• Loss: Het framework gebruikt Distribution Matching Distillation (DMD) om de outputdistributie van de student af te stemmen op die van de teacher, waarbij de student wordt bijgewerkt via een gradiënt afgeleid van het verschil tussen de score van de teacher en de score van de fake critic.
• Efficiëntie: Door modellen te delen over de richtingen heen, vermijdt het framework de geheugenkosten van aparte generatoren en vermindert het de prestatiekloof tussen voorwaartse en achterwaartse generatie.

3. Veelzijdige Test-Time Conditioning

De verenigde architectuur maakt flexibele conditioning mogelijk tijdens de inferentie:

• Generatie in elke richting: Het model kan conditioneren op willekeurige verleden, toekomstige, of zowel verleden als toekomstige KV-caches.
• Both-End-Guided Sink Latents: Het framework staat toe om "sink latents" (stabiliserende tokens) aan zowel het begin als het einde van een sequentie te plaatsen om variatie in de inhoud over lange duur te controlen.
• Inbetween-generatie: Het model kan inhoud invullen tussen een head-blok en een tail-blok door te conditioneren op hun respectievelijke KV-caches, ongeacht de blokgrootte die tijdens de training is gebruikt (mits de attention horizon binnen de trainingslimieten valt).

Belangrijkste Bijdragen

1. UniTemp Framework: Een verenigd distillatieframework dat autoregressieve videogeneratie in elke temporele richting (voorwaarts, achterwaarts, inbetween) mogelijk maakt met een enkel model.
2. Blockwise Anchor Latents: Een nieuw mechanisme om inter-blok flikkering in achterwaartse generatie te mitigeren die wordt veroorzaakt door Causale 3D VAE's, door de ontbrekende verleden context te herstellen zonder de VAE te hoeven hertrainen.
3. Verenigde Trainingsstrategie: Een shared-model benadering die de trainingsefficiëntie behoudt en flexibele test-time conditioning ondersteunt, waarbij het beter presteert dan aparte-model baselines.
4. Gedemonstreerde Mogelijkheden: Het framework ontsluit diverse workflows, waaronder bidirectionele video-extensie, scèneovergangen, looping video-generatie en visuele storytelling, allemaal zonder taakspecifieke fine-tuning.

Resultaten

Experimenten tonen aan dat UniTemp concurrerende prestaties levert vergeleken met voorwaarts gerichte methoden, terwijl het nieuwe mogelijkheden ontsluit:

• Korte Videogeneratie: Op 5-seconden video's bereikt UniTemp prestaties die vergelijkbaar zijn met de Self-Forcing baseline in zowel voorwaartse als achterwaartse richting, met iets hogere scores in achterwaartse generatie.
• Lange Videogeneratie: UniTemp ondersteunt stabiele lange videogeneratie (tot 100s). Door gebruik te maken van both-end-guided sink latents, controleert het effectief de content drift en behoudt het een hoge subject-consistentie en esthetische kwaliteit, waarmee het de training-gebaseerde baselines in dynamische contentgeneratie overtreft.
• Inbetween-generatie: UniTemp presteert beter dan gespecialiseerde modellen zoals Wan FLF2V en Generative Inbetweening (GI) op het gebied van achtergrondconsistentie, beeldkwaliteit en video-distributie. Het bereikt superieure grenshoudende consistentie door conditioning frame latents te hergebruiken in plaats van ze opnieuw te genereren.
• Reductie van Artefacten: De introductie van anchor latents vermindert de inter-blok flikkering ratio in achterwaartse generatie van 1.42 (baseline) naar 1.07 (met $P=3$), wat de ideale waarde van 1.0 nadert.

Betekenis

Het paper stelt dat UniTemp de kloof overbrugt tussen de efficiëntie van autoregressieve videogeneratie en de flexibiliteit die vereist is voor real-world videocreatie. Door de specifieke technische uitdaging van de incompatibiliteit tussen causale VAE en achterwaartse generatie op te lossen via anchor latents, maakt UniTemp een enkel model in staat om diverse temporele conditioning modi te hanteren. Dit elimineert de noodzaak voor meerdere gespecialiseerde modellen of computationeel dure full-sequence attention methoden, en biedt een schaalbare oplossing voor complexe video-editing en storytelling taken.

Beperkingen

De auteurs erkennen dat achterwaartse generatie extra per-blok berekeningen met zich meebrengt vanwege de gezamenlijke denoising van anchor latents. Bovendien blijven de causale VAE en het teacher-model inherent voorwaarts-georiënteerd; hoewel anchor latents de resulterende asymmetrie verzachten, elimineren ze deze niet volledig. De auteurs suggereren dat het verkennen van bidirectionele VAE-architecturen die compatibel zijn met bestaande voorgetrainde teachers een richting is voor toekomstig werk.