FlowC2S: Flowing from Current to Succeeding Frames for Fast and Memory-Efficient Video Continuation

Probleemstelling

Video-continuatie (het genereren van een plausibele voortzetting van een bestaand videofragment) is een cruciale taak voor toepassingen zoals wereldmodellen en immersive AR/VR-omgevingen. Bestaande methoden (zoals LTXVCondition, Vista, en CausVid) hebben echter twee fundamentele nadelen:

1. Hoge rekenkosten en geheugengebruik: Traditionele benaderingen voeden het model met zowel de huidige frames (als voorwaarde) als ruis (Gaussisch ruis) om de toekomstige frames te genereren. Dit verdubbelt de invoerdimensionaliteit, wat leidt tot een hoog GPU-geheugengebruik en trage inferentie.
2. Inefficiëntie: Deze methoden vereisen vaak veel "Neural Function Evaluations" (NFEs) om een hoge kwaliteit te bereiken, wat ongeschikt maakt voor real-time toepassingen op embedded apparaten.

De uitdaging ligt in het balanceren van temporale coherentie (soepele beweging) en visuele kwaliteit (scherpe details) terwijl de efficiëntie wordt gemaximaliseerd.

Methodologie: FlowC2S

FlowC2S introduceert een nieuwe architectuur die direct stroomt van de huidige frames naar de opvolgende frames, in plaats van van ruis naar de toekomst. De methode is gebaseerd op Flow Matching en fine-tuning van bestaande Text-to-Video (T2V) modellen (zoals LTXV en Wan).

De kern van de methologie bestaat uit drie innovatieve componenten:

1. Directe Stroom van Huidig naar Opvolgend (Current-to-Succeeding):

   • In plaats van het trainen van een vectorveld van ruis naar data, leert FlowC2S een vectorveld dat direct de verdeling van de huidige videofragmenten ($x_0$) naar de opvolgende fragmenten ($x_1$) afbeeldt.
   • Voordeel: Dit elimineert de noodzaak om ruis als invoer te gebruiken, waardoor de invoerdimensionaliteit van het model met een factor twee wordt gereduceerd. Dit resulteert in een aanzienlijke daling van het GPU-geheugengebruik.

2. Inherent Optimale Koppelingen (Inherent Optimal Couplings):

   • Om de trajecten van de stroom (flows) rechtlijner te maken en het aantal benodigde inferentiestappen te verminderen, worden tijdens het trainingstijd bestaande opeenvolgende videofragmenten uit dezelfde video gebruikt als paren ($x_0$ en $x_1$).
   • In plaats van willekeurige koppelingen of complexe optimalisatieproblemen op te lossen, benut de methode de natuurlijke temporale continuïteit binnen een video. Dit fungeert als een praktische proxy voor "optimale koppelingen", wat leidt tot soepelere stroomtrajecten en snellere convergentie.

3. Doelinvertie (Target Inversion):

   • Om de discrepantie op te lossen tussen de vooraf getrainde vectorvelden (die van ruis naar data gaan) en de nieuwe taak (van data naar data), wordt een techniek genaamd "Target Inversion" toegepast.
   • Hierbij wordt de latente representatie van het doelfragment ($x_1$) "invers" berekend (teruggevoerd naar een startpunt) met behulp van de bestaande modelkennis. Dit geïnverteerde latent wordt dan gebruikt om de invoer te initialiseren. Dit versterkt de correspondenties tussen invoer en doel en verbetert de visuele trouw.

Belangrijkste Bijdragen

• Efficiëntie in Geheugen en Dimensie: FlowC2S halveert de invoerdimensionaliteit van het model door ruis te verwijderen. Dit leidt tot een piekgeheugengebruik dat ongeveer 50% lager is dan bij state-of-the-art methoden zoals LTXVCondition.
• Snelle Inferentie: Door het gebruik van inherent optimale koppelingen en target invertie, kan het model hoogwaardige video's genereren met slechts 5 neurale functiewaarderingen (NFEs), terwijl concurrenten vaak 40 of meer nodig hebben.
• Algemene Toepasbaarheid: De methode generaliseert goed naar video's die langer zijn dan de trainingsfragmenten (bijv. genereren van 113 frames wanneer getraind op 17/41 frames), zonder expliciete temporale conditionering op de invoer.

Resultaten

De auteurs hebben FlowC2S getest op twee backbones (LTXV en Wan) en twee datasets (OpenVid en NuScenes), vergeleken met state-of-the-art methoden zoals Vista, GEM, LTXVCondition en CausVid.

• Kwaliteit: FlowC2S behaalt de beste scores op kwantitatieve metrieken zoals FID (Fréchet Inception Distance) en FVD (Fréchet Video Distance). Bijvoorbeeld, op de LTXV-backbone behaalt het een FVD van 129,20 (tegenover 134,13 voor LTXVCondition) met slechts 5 NFEs.
• Efficiëntie:
  • NFEs: 4x minder NFEs nodig dan LTXVCondition voor vergelijkbare kwaliteit.
  • Geheugen: De schaling van het GPU-geheugen (slope $k$) is bijna 2x beter dan bij bestaande methoden, wat betekent dat het veel schaalbaarder is voor hogere resoluties of langere video's.
• User Study: Menselijke beoordelaars gaven een duidelijke voorkeur (3x vaker) aan video's gegenereerd met Target Inversion, vooral vanwege de verbeterde visuele kwaliteit en temporale coherentie.

Betekenis en Impact

FlowC2S is een doorbraak voor real-time video-generatie. Door de rekenkosten en het geheugengebruik drastisch te verlagen, maakt deze methode het mogelijk om video-continuatie uit te voeren op apparaten met beperkte resources, wat essentieel is voor:

• AR/VR-toepassingen: Waar lage latentie cruciaal is om de virtuele wereld synchroon te houden met de echte wereld.
• Langdurige video-generatie: Het vermogen om lange, coherente video's te genereren zonder dat de kwaliteit verslechtert of de rekenkosten exponentieel stijgen.
• Efficiënte AI: Het bewijst dat het weglaten van ruis en het benutten van natuurlijke data-structuren (overtuigende koppelingen) leidt tot efficiëntere generatieve modellen zonder in te leveren op kwaliteit.

Kortom, FlowC2S verschuift de paradigma van "ruis + voorwaarde" naar "directe stroom", wat leidt tot een nieuwe standaard voor snelheid en efficiëntie in video-generatie.