Technische Samenvatting: SSM Ontmoet Video Diffusion Modellen

1. Probleemstelling

De onderzoekscommunity heeft zich steeds meer gericht op het uitbreiden van diffusiemodellen van beeldgeneratie naar videogeneratie. Hoewel recente Video Diffusion Models (VDM's) indrukwekkende capaciteiten hebben getoond, vertrouwen ze voornamelijk op attention-mechanismen om temporele kenmerken over videoframes heen te extraheren. Een kritieke beperking van deze aanpak is dat de computationele kosten (geheugen en tijd) van attention-lagen kwadratisch ($O(L^2)$) schalen met de sequentielengte $L$.

Deze kwadratische schaling vormt een aanzienlijke barrière voor het genereren van langdurige videosequenties. Bijgevolg zijn veel state-of-the-art methoden beperkt tot korte sequenties (bijv. 16 frames, of ongeveer twee seconden bij 8 fps). Hoewel sommige recente grootschalige modellen proberen dit voor langere sequenties op te lossen, beperken praktische geheugen- en computationele restricties vaak de haalbare generatielengte. Het artikel identificeert de noodzaak voor een temporele feature extractor die een hoge generatieve kwaliteit behoudt terwijl deze een lineaire computationele complexiteit biedt om efficiënte langdurige videogeneratie mogelijk te maken.

2. Methodologie

De auteurs stellen voor om de temporele attention-lagen in standaard Video Diffusion Models te vervangen door Structured State Space Models (SSM's), specifiek gebruikmakend van de Mamba-architectuur.

Kernarchitectuur

• Baseline: De studie gebruikt een U-Net gebaseerd Video Diffusion Model (VDM) als baseline. In standaard VDM's zijn ruimtelijke attention-lagen afgewisseld met temporele attention-lagen om frame-naar-frame afhankelijkheden te vangen.
• Voorgestelde Modificatie: De auteurs vervangen de temporele attention-lagen door Temporele SSM-lagen, terwijl de ruimtelijke lagen (convolutie en ruimtelijke attention) ongewijzigd blijven.
• Bidirectionele Mamba: In tegenstelling tot standaard SSM's die inherent causaal (unidirectioneel) zijn, maakt de voorgestelde temporele laag gebruik van een bidirectionele Mamba-block. Dit bestaat uit twee parallelle takken:
  • Een forward branch die frames verwerkt van begin tot eind.
  • Een backward branch die frames verwerkt van eind naar begin.
  • De outputs van beide takken worden opgeteld vóór een finale lineaire projectie. Dit stelt het model in staat om temporele dynamiek te vangen die afhankelijk is van zowel het verleden als de toekomst van frames.
• Selective Scan (S6): De implementatie maakt gebruik van het selective scan-mechanisme dat in Mamba wordt gevonden. Hierbij zijn de parameters die de state space bepalen ($B$, $C$ en de discretisatiestap $\Delta$) input-afhankelijk. Dit stelt het model in staat om irrelevant informatie selectief weg te gooien en essentiële informatie over uitgebreide perioden te behouden, waarbij de state-update wordt aangepast op basis van de inhoud van elk frame.
• Complexiteit: Door gebruik te maken van SSM's, schalen de geheugenallocatie en de computationele tijd voor de temporele lagen lineair ($O(L)$) met de sequentielengte, in tegenstelling tot de kwadratische schaling van attention.

3. Belangrijkste Bijdragen

1. Architecturaal Voorstel: Het artikel presenteert de eerste toepassing van bidirectionele Mamba-blocks specifiek op de temporele as van video diffusion modellen voor langdurige generatie (≥256 frames).
2. Efficiëntieanalyse: Het demonstreert dat SSM-gebaseerde temporele lagen een vergelijkbare of superieure generatieve prestatie kunnen leveren aan attention-gebaseerde lagen, terwijl ze de computationele kosten (geheugen en inferentietijd) voor lange sequenties aanzienlijk verminderen.
3. Ablatie-inzichten: De studie biedt een gedetailleerde ablatie-analyse die aantoont dat:
   • Bidirectionaliteit cruciaal is; unidirectionele SSM's presteren minder goed dan attention-gebaseerde baselines.
   • Selective Scanning essentieel is; niet-selectieve SSM's (zoals S4D) presteren aanzienlijk slechter dan selectieve varianten in het vastleggen van temporele afhankelijkheden over lange sequenties.
4. Omvattende Evaluatie: De methode wordt geëvalueerd over meerdere datasets (MineRL Navigate, GQN-Mazes, CARLA-Town01) en diverse modelgroottes (variërend van ~14M tot ~913M parameters) en sequentielengtes (16, 64 en 256 frames).

4. Experimentele Resultaten

De experimenten werden uitgevoerd op drie datasets:

• MineRL Navigate: 1.186 video's (Minecraft omgeving).
• GQN-Mazes: 108.200 video's (3D doolhof simulator).
• CARLA-Town01: 508 video's (rij-simulator).

Belangrijkste Bevindingen:

• Korte Sequenties (16–64 frames): SSM-gebaseerde modellen bereiken een generatieve prestatie (gemeten via Fréchet Video Distance, FVD) die vergelijkbaar is met attention-gebaseerde modellen onder dezelfde computationele restricties.
• Lange Sequenties (256 frames): SSM-gebaseerde modellen presteren significant beter dan attention-gebaseerde modellen. Onder identieke geheugen- en tijdsrestricties bereiken SSM-modellen een lagere FVD (betere kwaliteit).
• Resource Efficiëntie: Voor 256-frame sequenties vertoonde de SSM-gebaseerde aanpak ongeveer 1,56x snellere inferentie en 1,56x lager geheugengebruik vergeleken met attention-gebaseerde tegenhangers van dezelfde grootte.
• Schaalgedrag: Terwijl het geheugen en de inferentietijd voor attention-modellen kwadratisch toenemen met de sequentielengte, vertonen SSM-gebaseerde modellen slechts een lineaire toename.
• Ablatie-resultaten: Op de MineRL 256-frame dataset bereikte de volledige bidirectionele selective-scan SSM een FVD van 381, vergeleken met 458 voor een niet-selectieve SSM en 610 voor een unidirectionele SSM.

5. Betekenis en Claims

Het artikel claimt dat het gebruik van SSM's als temporele feature extractoren zorgt voor hogere generatieve prestaties bij dezelfde computationele kosten vergeleken met attention-gebaseerde methoden, met name voor langdurige sequenties.

• Toegankelijkheid: Door de computationele barrière voor langdurige videogeneratie te verlagen, stelt deze aanpak instellingen met beperkte computationele middelen in staat om deel te nemen aan baanbrekend onderzoek naar videogeneratie.
• Architecturale Superioriteit: De studie suggereert dat de keuze van de temporele architectuur cruciaal is; het simpelweg vervangen van attention door een naïeve SSM is onvoldoende. De combinatie van bidirectionaliteit en selective scans is noodzakelijk om de prestaties van attention-mechanismen in videogeneratie te evenaren of te overtreffen.
• Toekomstig Potentieel: De auteurs merken op dat hun temporele SSM-block een "drop-in replacement" is voor temporele self-attention. Dit impliceert dat het gecombineerd kan worden met andere bestaande strategieën (bijv. latent diffusion, cascaded pipelines, of autoregressieve generatie) om de generatie van lange sequenties verder te verbeteren zonder de onderliggende complexiteit van de temporele mixing-laag te wijzigen.

De auteurs blijven bescheiden over beperkingen en erkennen dat hun experimenten gefixeerd waren op een ruimtelijke resolutie van 32×32 om temporele effecten te isoleren, en dat evaluatiemetrieken zoals FVD minder betrouwbaar kunnen worden voor zeer lange sequenties (≥512 frames) vanwege de pretraining van de I3D-backbone op korte clips. Zij identificeren het schalen naar hogere resoluties en het ontwikkelen van betere long-horizon evaluatieprotocollen als noodzakelijk toekomstig werk.