Technische Samenvatting: Mobile Video Diffusion

Probleemstelling

Video-diffusiemodellen hebben significante vooruitgang geboekt in realisme en controleerbaarheid, voornamelijk door spatio-temporele denoising-architecturen zoals 3D UNets of 3D Diffusion Transformers (DiTs). Deze modellen vereisen echter een hoge geheugen- en rekenkracht, wat hun inzet beperkt tot cloudomgevingen met high-end GPU's. Deze beperking belemmert de adoptie van video-generatietechnologieën voor toepassingen die lokale uitvoering op mobiele apparaten vereisen.

Hoewel eerder werk zich heeft gericht op het versnellen van video-diffusie door het aantal sampling-stappen te verminderen (bijvoorbeeld via consistency models of adversarial distillation), pakken deze benaderingen de fundamentele geheugen- en rekenvoetafdruk van de modelarchitectuur zelf niet aan. Bijgevolg blijven bestaande methoden onpraktisch voor on-device implementatie vanwege de beperkte middelen.

Methodologie

De auteurs introduceren MobileVD, het eerste mobiel-geoptimaliseerde video-diffusiemodel. Vertrekkend vanuit de spatio-temporele UNet van Stable Video Diffusion (SVD), passen de auteurs een reeks architecturale en trainingsoptimalisaties toe om het geheugengebruik en de rekenkosten te verlagen, terwijl de visuele kwaliteit behouden blijft.

1. Adversarial Finetuning (Stapreductie)

In navolging van het SF-V framework gebruiken de auteurs adversarial finetuning om het denoising-proces te reduceren van 25 stappen naar één enkele stap.

• Mechanisme: Een discriminator wordt geïnitialiseerd met het encoder-gedeelte van de denoising UNet. De generator wordt getraind met pseudo-Huber en non-saturating adversarial losses, met een R1-penalty voor discriminator-regularisatie.
• Resultaat: Maakt video-generatie in één pass mogelijk, wat de inferentietijd drastisch verkort.

2. Mobielvriendelijke UNet-architectuur

Om de UNet aan te passen aan mobiele beperkingen, worden verschillende structurele wijzigingen doorgevoerd:

• Finetuning bij lage resolutie: De invoerresolutie wordt verlaagd naar $512 \times 256$ (latente resolutie $64 \times 32$). Het model wordt op deze doelresolutie gefinetuned om kwaliteitsverlies te voorkomen dat optreedt bij het simpelweg schalen van een vooraf getraind model met een hoge resolutie.
• Temporele Multiscaling: In plaats van een constante temporele resolutie door het hele netwerk te behouden, introduceren de auteurs temporele down-sampling en up-sampling operaties. Feature maps worden met een factor 2 gedownsampled langs de temporele as na de eerste downsampling-block en hersteld via nearest-neighbor upscaling vóór de laatste upsampling-block. Dit vermindert FLOPs en latentie met minimaal kwaliteitsverlies.
• Geoptimaliseerde Cross-Attention: In SVD attenderen cross-attention lagen op een enkele context-token (de CLIP-embedding van de conditionerende afbeelding). De auteurs identificeren dat het berekenen van de similarity map ($QK^T$) en softmax voor een enkele key-token een no-op is. Ze verwijderen de query en key projectiematrices en de similarity-berekening, wat de mobiele latentie aanzienlijk vermindert en Out-Of-Memory (OOM) fouten op apparaten voorkomt.

3. Innovatieve Pruning-technieken

Om het model verder te comprimeren, worden twee nieuwe pruning-strategieën voorgesteld:

• Channel Funneling: Een methode om de kanaaldimensionaliteit van affine lagen (specifiek in aandachtmechanismen) te verminderen tijdens inferentie.
  • Mechanisme: Twee funnel-matrices ($F_1, F_2$) worden tussen lineaire lagen geplaatst om de intermediaire kanaaldimensie ($c'$) te verkleinen. Tijdens inferentie worden deze funnels samengevoegd met de originele gewichtsmatrices.
  • Initialisatie: De auteurs stellen Coupled Singular Initialization (CSI) voor, waarbij truncated singular decomposition wordt gebruikt om de funnel-matrices te initialiseren, wat de beste low-rank benadering van de originele effectieve gewichtsmatrix nabootst.
  • Training: Funnel-matrices worden samen met het netwerk getraind.
• Leerbare Temporele Block Pruning:
  • Mechanisme: Aan elke temporele block wordt een belangrijkheidswaarde ($q_i$) toegewezen. Tijdens de training wordt voor elke block een zero-one gate gesampled op basis van inclusiekansen afgeleid van deze belangrijkheidswaarden.
  • Optimalisatie: De inclusiekansen worden geleerd via een geconstrueerd optimalisatieprobleem om ervoor te zorgen dat een specifiek budget aan blocks ($n$) per iteratie wordt geselecteerd. Een straight-through estimator (STE) maakt end-to-end training mogelijk.
  • Inferentie: Alleen de top $n$ blocks met de hoogste belangrijkheidsscores worden behouden.

Belangrijkste Bijdragen

1. Eerste Mobiele Video-diffusiemodel: Het artikel presenteert MobileVD, de eerste poging om een spatio-temporeel video-generatief model direct op mobiele apparaten te implementeren.
2. Architecturale Optimalisaties: Introductie van temporele multiscaling en geoptimaliseerde cross-attention, specifiek afgestemd op de mobiele hardwarebeperkingen.
3. Innovatieve Pruning-schema's: Ontwikkeling van "Channel Funneling" voor breedtevermindering en een "Learnable Temporal Block Pruning" techniek die een aanzienlijke reductie van parameters mogelijk maakt zonder handmatige architectuurzoektochten.
4. Adversarial Step Reduction: Toepassing van adversarial finetuning om single-step generatie te bereiken op een mobiel-geoptimaliseerde backbone.

Resultaten

De auteurs evalueren MobileVD op een Xiaomi-14 Pro smartphone uitgerust met een Qualcomm Snapdragon® 8 Gen 3 Mobile Platform.

• Efficiëntie: MobileVD is 523× efficiënter qua computationele kosten (1817,2 vs. 4,34 TFLOPs) vergeleken met de baseline SVD.
• Latentie: Het genereert latents voor een 14-frame clip ($14 \times 512 \times 256$ px) in 1,7 seconden op het mobiele apparaat.
• Kwaliteit: Het model bereikt een Fréchet Video Distance (FVD) van 149 (tegenover 171 voor de baseline in specifieke vergelijkingen, hoewel de abstract opmerkt dat 149 vs 171 een lichte daling is). De auteurs merken op dat een verschil van tot 20 FVD-eenheden doorgaans binnen de standaarddeviatie valt en de visuele kwaliteit niet significant beïnvloedt.
• Vergelijking: MobileVD presteert beter dan andere versnellingsmethoden (AnimateLCM, SF-V, UFOGen) in de kwaliteit-efficiëntie trade-off, waarbij het een betere FVD biedt met aanzienlijk minder berekeningen.

Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat succesvol een video-diffusiemodel voor mobiele implementatie heeft gebouwd. Door zowel de iteratieve sampling-kosten als de architecturale geheugen-/rekenvoetafdruk aan te pakken, demonstreren de auteurs dat video-generatie haalbaar is op consumenten-mobiele apparaten.

De auteurs positioneren dit werk als een "opstapje" naar bredere toegankelijkheid. Zij erkennen huidige beperkingen, specifiek de restrictie tot 14 frames bij een resolutie van $256 \times 512$, en suggereren dat toekomstig werk efficiëntere autoencoders zou kunnen gebruiken om de ruimtelijke en temporele compressieratio's te verhogen. Het werk wordt geframed als een stap naar het democratiseren van video-generatie, waardoor gebruikers lokaal content kunnen creëren met minder toegangscontroles vergeleken met cloud-gebaseerde oplossingen.