Consistency-Preserving Diverse Video Generation

Deze paper introduceert een gezamenlijk-sampling framework voor flow-matching video-generatoren dat de diversiteit van video-batches verbetert terwijl de temporale consistentie wordt behouden, door gebruik te maken van lichtgewicht latent-space modellen om kostbare backpropagation door de video-decoder te vermijden.

De kern

Stel je voor dat je een magische filmstudio hebt die op basis van een tekstzin (bijvoorbeeld: "Een kat die surft op een golf") nieuwe video's kan maken. Dit is geweldig, maar het is ook heel duur en tijdrovend. Omdat het zo veel rekenkracht kost, kan de computer meestal maar een paar video's tegelijk maken.

Het probleem? Als je maar één video maakt, heb je pech als die er niet leuk uitziet. Je wilt er dus een hele bende (een batch) van maken, zodat je zeker weet dat er minstens één prachtige video tussen zit. Maar hier zit een addertje onder het gras:

1. Verscheidenheid: Je wilt dat elke video in die bende er heel anders uitziet (anders dan de andere), zodat je veel keuze hebt.
2. Stabiliteit: Maar binnen één video zelf mag het niet flakkeren of schokkerig zijn. De kat moet er in elke frame hetzelfde uitzien, niet ineens een hond worden.

Tot nu toe waren computers slim genoeg om de video's verschillend te maken, maar ze maakten ze daardoor vaak onstabiel (de kat veranderde van vorm). Of ze waren stabiel, maar dan waren alle video's saai en identiek.

De auteurs van dit paper hebben een slimme oplossing bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Regisseur" en de "Acteurs"

Stel je voor dat de computer een regisseur is die een groep acteurs (de video's) aan het instrueren is.

• De oude methode: De regisseur riep: "Jullie moeten allemaal heel anders zijn!" De acteurs renden toen alle kanten op. Het resultaat? Ze waren wel verschillend, maar ze struikelden over elkaar en vielen (de video's werden onstabiel).
• De nieuwe methode: De regisseur zegt: "Jullie moeten verschillend zijn, MAAR jullie mogen niet struikelen."

2. De Slimme "Afbreker" (Gradient Regulation)

Hoe doen ze dat? Ze gebruiken een slimme truc.
Stel je voor dat je een bal wilt duwen in een bepaalde richting om hem van een andere bal weg te duwen (voor verscheidenheid). Maar als die duw de bal ook nog eens tegen een muur (de stabiliteit) duwt, dan is dat slecht.

Deze nieuwe methode doet het volgende:

1. Ze duwen de bal eerst in de richting van de verscheidenheid.
2. Dan kijken ze: "Duwt deze duw de bal ook tegen de muur van stabiliteit?"
3. Als het antwoord JA is, halen ze dat specifieke stukje van de duw eruit. Ze laten alleen de duw over die de bal niet tegen de muur duwt.

Zo blijven de video's verschillend, maar vallen ze niet uit elkaar.

3. De "Voorproefjes" (Latent Space Models)

Het grootste probleem bij video's is dat het rekenen van deze duwen heel zwaar is. Het is alsof je elke keer dat je een bal duwt, eerst de hele bal moet afmaken, in de hand moet nemen, en dan pas kunt zien of hij goed is. Dat kost te veel tijd.

De auteurs hebben een slimme oplossing: ze hebben mini-simulaties gebouwd.

• In plaats van de hele video te maken en te bekijken, kijken ze naar een "schets" of een "voorproefje" (de latent space).
• Ze hebben kleine, snelle modellen getraind die deze schetsen kunnen lezen en zeggen: "Als je hier duwt, wordt de video onstabiel."
• Omdat ze alleen naar de schets kijken en niet de hele zware video hoeven te maken, is het veel sneller en goedkoper. Het is alsof je een architect bent die eerst een tekening checkt voordat je de hele stad bouwt.

Wat is het resultaat?

In hun experimenten hebben ze getoond dat hun methode:

• Meer keuze biedt: De video's in één batch lijken echt op elkaar (verschillende katten, verschillende golven).
• Beter oogt: De video's zijn niet meer schokkerig; de katten blijven katten en de golven blijven golven.
• Kleuren zijn natuurlijker: De video's zien er minder "kunstmatig" uit.

Kortom: Ze hebben een manier gevonden om een hele groep video's tegelijk te maken die allemaal uniek zijn, maar die binnenin zichzelf perfect stabiel blijven, zonder dat de computer hier dagenlang over hoeft na te denken. Ze gebruiken slimme "voorproefjes" om de zware rekenkracht te besparen.

Technische samenvatting

Probleemstelling

Het genereren van video's op basis van tekst (Text-to-Video) is computatie-intensief, wat betekent dat er onder een vast rekenbudget vaak slechts een beperkt aantal samples per prompt gegenereerd kan worden. Om de bruikbaarheid van elke generatie te maximaliseren, is het wenselijk om een batch van diverse video's tegelijkertijd te produceren.

Echter, bestaande methoden voor het vergroten van de diversiteit (vooral die ontwikkeld voor afbeeldingen) hebben twee grote nadelen bij video's:

1. Verminderde temporale consistentie: Ze verbeteren de variatie tussen video's, maar vaak ten koste van de coherentie binnen een enkele video (frames bewegen niet natuurlijk of vloeiend).
2. Hoge rekentkosten: Methodes die diversiteit in de beeldruimte (image space) berekenen, vereisen backpropagatie door de video-decoder. Dit is extreem geheugenintensief en vaak onhaalbaar voor video's vanwege de hoge dimensionaliteit.

Methodologie

De auteurs stellen een gezamenlijk steekproefkader (joint-sampling framework) voor dat specifiek is ontworpen voor flow-matching video-generatoren. Het doel is om de diversiteit tussen video's te maximaliseren terwijl de temporale consistentie binnen video's behouden blijft.

De kern van de methode bestaat uit drie belangrijke componenten:

1. Gradient Regulation (Regulering van de gradiënt):

   • Het systeem berekent een "diversiteitsgradiënt" die samples uit elkaar duwt om variatie te creëren.
   • Tegelijkertijd wordt een "consistentiedoel" berekend om te meten of de video's intern coherent blijven.
   • De innovatie ligt in het filteren van de diversiteitsgradiënt: alleen de componenten van de gradiënt die de temporale consistentie zouden verminderen, worden verwijderd. Gradiënten die neutraal zijn of de consistentie ten goede komen, blijven behouden. Dit zorgt ervoor dat diversiteit wordt toegevoegd zonder de kwaliteit van de video's te schaden.

2. Latente Ruimte Modellen (Latent-Space Models):

   • Om de dure backpropagatie door de decoder te vermijden, worden alle berekeningen uitgevoerd in de latente ruimte.
   • De auteurs trainen lichte, convolutionele netwerken die fungeren als:
     • Video-embedding model: Om een representatie van de hele video te maken.
     • Frame-embedding model: Om representaties van individuele frames te maken.
     • Frame-interpolatiemodel: Om de consistentie tussen frames te evalueren en te voorspellen.
   • Deze modellen worden getraind om de uitkomsten van zware, bevroren encoders (zoals VideoPrism en CLIP) te benaderen, maar dan direct op de latente variabelen. Hierdoor is geen decodering nodig voor het berekenen van de doelstellingen.

3. Flow-Matching Integratie:

   • De methode past de "diversiteitsvelocity" toe op de gewone differentiaalvergelijking (ODE) van het flow-matching proces. De gereguleerde gradiënt wordt toegevoegd aan de standaard snelheidsveld van het model tijdens het generatieproces.

Belangrijkste Bijdragen

1. Een consistentiebehoudende gezamenlijke steekproefmethode: Een nieuw kader voor flow-matching video-generatoren dat diversiteit en consistentie simultaan optimaliseert via gradiëntregulering.
2. Efficiënte Latente Ruimte Architectuur: Het introduceren van lichte embedding- en interpolatiemodellen die berekeningen in de latente ruimte mogelijk maken, waardoor de noodzaak voor decoder-forward- en backward-passes wordt geëlimineerd.
3. Empirische Validatie: Het aantonen dat deze aanpak leidt tot video's met een vergelijkbare diversiteit als bestaande sterke baselines, maar met aanzienlijk betere temporale consistentie en kleurnatuurlijkheid.

Resultaten

De experimenten zijn uitgevoerd op de state-of-the-art flow-matching model Wan 2.1 t2v-1.3B. De resultaten tonen het volgende aan:

• Diversiteit: De methode bereikt een diversiteit (gemeten via de Vendi-score) die vergelijkbaar is met sterke baselines zoals DiverseFlow en Particle Guidance.
• Temporale Consistentie: In tegenstelling tot baselines die de consistentie sterk verslechteren (hoge MSE bij frame-interpolatie), behoudt de voorgestelde methode een hoge consistentie. De MSE (Mean Squared Error) is significant lager dan bij de baselines.
• Kleurnatuurlijkheid: De Color Naturalness Index (CNI) is aanzienlijk hoger, wat aangeeft dat de gegenereerde video's natuurlijker kleuren hebben.
• Ablatiestudies: Deze bevestigen dat de "consistency-based regulation" cruciaal is voor het behoud van consistentie, terwijl de video-level diversiteitsterm zorgt voor de variatie.

Betekenis en Impact

Dit paper lost een fundamenteel probleem op in de video-generatie: de afweging tussen het produceren van diverse batches en het behoud van hoge kwaliteit binnen elke video. Door de berekeningen naar de latente ruimte te verplaatsen, maken de auteurs een schaalbare en efficiënte oplossing mogelijk die niet afhankelijk is van de zware decoder. Dit maakt het haalbaar om in een "low-sample regime" (weinig rekenkracht) een breed scala aan hoogwaardige, consistente video's te genereren, wat essentieel is voor toepassingen in mediavertelling, virtuele realiteit en content creatie.