Riepilogo Tecnico: Mobile Video Diffusion

Problematica

I modelli di diffusione video hanno raggiunto progressi significativi in termini di realismo e controllabilità, principalmente attraverso architetture di denoising spazio-temporali come 3D UNet o 3D Diffusion Transformers (DiT). Tuttavia, questi modelli richiedono un'elevata memoria e potenza computazionale, limitandone l'implementazione ad ambienti cloud dotati di GPU ad alte prestazioni. Questa limitazione ostacola l'adozione delle tecnologie di generazione video per applicazioni che richiedono l'esecuzione locale su dispositivi mobili.

Sebbene il lavoro precedente si sia concentrato sull'accelerazione della diffusione video riducendo il numero di passi di campionamento (ad esempio, tramite modelli di consistenza o distillazione avversaria), tali approcci non affrontano l'impronta fondamentale di memoria e computazione dell'architettura del modello stesso. Di conseguenza, i metodi esistenti rimangono impraticabili per l'implementazione su dispositivi a causa dei vincoli di risorse.

Metodologia

Gli autori introducono MobileVD, il primo modello di diffusione video ottimizzato per dispositivi mobili. Partendo dallo spazio-temporale UNet di Stable Video Diffusion (SVD), gli autori applicano una serie di ottimizzazioni architettoniche e di addestramento per ridurre l'uso della memoria e il costo computazionale mantenendo la qualità visiva.

1. Finetuning Avversario (Riduzione dei Passi)

Seguendo il framework SF-V, gli autori impiegano il finetuning avversario per ridurre il processo di denoising da 25 passi a un singolo passo.

• Meccanismo: Un discriminatore viene inizializzato con la parte encoder della UNet di denoising. Il generatore viene addestrato utilizzando perdite pseudo-Huber e non-saturanti, con una penalità R1 per la regolarizzazione del discriminatore.
• Risultato: Consente la generazione video a singolo passaggio, riducendo drasticamente il tempo di inferenza.

2. Architettura UNet Mobile-Friendly

Per adattare la UNet ai vincoli mobili, vengono introdotte diverse modifiche strutturali:

• Finetuning a Bassa Risoluzione: La risoluzione di input è ridotta a $512 \times 256$ (risoluzione latente $64 \times 32$). Il modello viene sottoposto a finetuning a questa risoluzione target per prevenire il degrado della qualità osservato quando si ridimensiona semplicemente un modello pre-addestrato ad alta risoluzione.
• Multiscaling Temporale: Invece di mantenere una risoluzione temporale costante in tutta la rete, gli autori introducono operazioni di down-sampling e up-sampling temporale. Le mappe delle caratteristiche vengono sottoposte a downsampling di un fattore 2 lungo l'asse temporale dopo il primo blocco di downsampling e ripristinate tramite upscaling nearest-neighbor prima dell'ultimo blocco di upsampling. Ciò riduce i FLOPs e la latenza con una perdita minima di qualità.
• Cross-Attention Ottimizzata: In SVD, i livelli di cross-attention effettuano l'attenzione su un singolo token di contesto (l'embedding CLIP dell'immagine di condizionamento). Gli autori identificano che calcolare la mappa di similarità ($QK^T$) e la softmax per un singolo token chiave è un'operazione nulla (no-op). Rimuovono le matrici di proiezione query e key e il calcolo della similarità, riducendo significativamente la latenza mobile e prevenendo errori di Out-Of-Memory (OOM) sui dispositivi.

3. Nuove Tecniche di Pruning

Per comprimere ulteriormente il modello, vengono proposte due nuove strategie di pruning:

• Channel Funneling: Un metodo per ridurre la dimensionalità dei canali dei livelli affini (specificamente nei meccanismi di attenzione) durante l'inferenza.
  • Meccanismo: Due matrici imbuto ($F_1, F_2$) vengono inserite tra i livelli lineari per ridurre la dimensione intermedia del canale ($c'$). Durante l'inferenza, questi imbuti vengono fusi con le matrici di peso originali.
  • Inizializzazione: Gli autori propongono la Coupled Singular Initialization (CSI), utilizzando la decomposizione singolare troncata per inizializzare le matrici imbuto, imitando la migliore approssimazione a basso rango della matrice di peso effettiva originale.
  • Addestramento: Le matrici imbuto vengono addestrate insieme alla rete.
• Pruning dei Blocchi Temporali Apprendibili:
  • Meccanismo: A ogni blocco temporale viene assegnato un valore di importanza ($q_i$). Durante l'addestramento, viene campionato un gate zero-uno per ogni blocco basato sulle probabilità di inclusione derivate da questi valori di importanza.
  • Ottimizzazione: Le probabilità di inclusione vengono apprese tramite un problema di ottimizzazione vincolata per garantire che un budget specifico di blocchi ($n$) venga selezionato per iterazione. Un estimatore straight-through (STE) consente l'addestramento end-to-end.
  • Inferenza: Solo i top $n$ blocchi con i punteggi di importanza più elevati vengono mantenuti.

Contributi Chiave

1. Primo Modello di Video Diffusion Mobile: Il paper presenta MobileVD, il primo tentativo di implementare un modello generativo video spazio-temporale direttamente su dispositivi mobili.
2. Ottimizzazioni Architetturali: Introduzione del multiscaling temporale e della cross-attention ottimizzata, specificamente adattati ai vincoli dell'hardware mobile.
3. Nuovi Schemi di Pruning: Sviluppo del "Channel Funneling" per la riduzione della larghezza e di una tecnica di "Pruning dei Blocchi Temporali Apprendibili" che consente una significativa riduzione dei parametri senza ricerca manuale dell'architettura.
4. Riduzione dei Passi Avversaria: Applicazione del finetuning avversario per ottenere la generazione a singolo passo su un backbone ottimizzato per il mobile.

Risultati

Gli autori valutano MobileVD su uno smartphone Xiaomi-14 Pro dotato di piattaforma mobile Qualcomm Snapdragon® 8 Gen 3.

• Efficienza: MobileVD è 523 volte più efficiente in termini di costo computazionale (1817.2 vs 4.34 TFLOPs) rispetto al baseline SVD.
• Latenza: Genera i latenti per un clip di 14 frame ($14 \times 512 \times 256$ px) in 1.7 secondi sul dispositivo mobile.
• Qualità: Il modello raggiunge un Fréchet Video Distance (FVD) di 149 (rispetto a 171 per il baseline in confronti specifici, sebbene l'abstract noti che 149 vs 171 sia un leggero calo). Gli autori notano che una differenza fino a 20 unità FVD rientra tipicamente nella deviazione standard e non influisce significativamente sulla qualità visiva.
• Confronto: MobileVD supera altri metodi accelerati (AnimateLCM, SF-V, UFOGen) nel trade-off qualità-efficienza, offrendo un FVD migliore con una computazione significativamente inferiore.

Significato e Rivendicazioni

Il paper sostiene di essere il primo lavoro che ha implementato con successo un modello di diffusione video per l'impiego su dispositivi mobili. Affrontando sia il costo del campionamento iterativo che l'impronta di memoria/computazione dell'architettura, gli autori dimostrano che la generazione video è fattibile su dispositivi mobili di consumo.

Gli autori pongono questo lavoro come un "punto di passaggio" verso una maggiore accessibilità. Riconoscono le attuali limitazioni, specificamente il vincolo a 14 frame a una risoluzione di $256 \times 512$, e suggeriscono che lavori futuri potrebbero sfruttare autoencoder più efficienti per aumentare i tassi di compressione spaziale e temporale. Il lavoro è inquadrato come un passo verso la democratizzazione della generazione video, permettendo agli utenti di creare contenuti localmente con meno controlli di accesso rispetto alle soluzioni basate su cloud.