Résumé Technique : Diffusion Vidéo Mobile

Énoncé du Problème

Les modèles de diffusion vidéo ont réalisé des avancées significatives en termes de réalisme et de contrôlabilité, principalement grâce à des architectures de débruitage spatio-temporelles telles que les UNets 3D ou les Transformers de Diffusion 3D (DiTs). Cependant, ces modèles exigent une puissance de calcul et une mémoire élevées, ce qui limite leur déploiement aux environnements cloud dotés de GPU haut de gamme. Cette limitation entrave l'adoption des technologies de génération de vidéo pour des applications nécessitant une exécution locale sur des appareils mobiles.

Alors que les travaux antérieurs se sont concentrés sur l'accélération de la diffusion vidéo en réduisant le nombre d'étapes d'échantillonnage (par exemple, via des modèles de cohérence ou la distillation antagoniste), ces approches ne traitent pas l'empreinte fondamentale de la mémoire et de la puissance de calcul de l'architecture du modèle elle-même. Par conséquent, les méthodes existantes restent peu pratiques pour un déploiement sur appareil en raison des contraintes de ressources.

Méthodologie

Les auteurs introduisent MobileVD, le premier modèle de diffusion vidéo optimisé pour le mobile. En partant de l'UNet spatio-temporel de Stable Video Diffusion (SVD), les auteurs appliquent une série d'optimisations architecturales et d'entraînement pour réduire l'utilisation de la mémoire et le coût computationnel tout en maintenant la qualité visuelle.

1. Finetuning Antagoniste (Réduction des Étapes)

Suivant le cadre SF-V, les auteurs emploient un finetuning antagoniste pour réduire le processus de débruitage de 25 étapes à une seule étape.

• Mécanisme : Un discriminateur est initialisé avec la partie encodeur de l'UNet de débruitage. Le générateur est entraîné en utilisant des pertes de type pseudo-Huber et antagonistes non saturantes, avec une pénalité R1 pour la régularisation du discriminateur.
• Résultat : Permet la génération de vidéos en une seule passe, réduisant considérablement le temps d'inférence.

2. Architecture UNet Adaptée au Mobile

Pour adapter l'UNet aux contraintes mobiles, plusieurs modifications structurelles sont introduites :

• Finetuning à Basse Résolution : La résolution d'entrée est réduite à $512 \times 256$ (résolution latente $64 \times 32$). Le modèle est affiné à cette résolution cible pour éviter la dégradation de la qualité observée lors d'un simple redimensionnement d'un modèle pré-entraîné à haute résolution.
• Multiscaling Temporel : Au lieu de maintenir une résolution temporelle constante tout au long du réseau, les auteurs introduisent des opérations de sous-échantillonnage et de suréchantillonnage temporel. Les cartes de caractéristiques sont sous-échantillonnées par un facteur de 2 le long de l'axe temporel après le premier bloc de sous-échantillonnage et restaurées via un suréchantillonnage par plus proche voisin avant le dernier bloc de suréchantillonnage. Cela réduit les FLOPs et la latence avec une perte de qualité minimale.
• Cross-Attention Optimisée : Dans SVD, les couches de cross-attention s'attendent à un jeton de contexte unique (l'embedding CLIP de l'image de conditionnement). Les auteurs identifient que le calcul de la carte de similitude ($QK^T$) et du softmax pour un jeton de clé unique est une opération nulle. Ils suppriment les matrices de projection de requête et de clé ainsi que le calcul de similitude, réduisant considérablement la latence mobile et prévenant les erreurs de dépassement de mémoire (OOM) sur les appareils.

3. Nouvelles Techniques de Pruning (Élagage)

Pour compresser davantage le modèle, deux stratégies de pruning novatrices sont proposées :

• Channel Funneling (Entonnoir de Canaux) : Une méthode pour réduire la dimensionnalité des canaux des couches affines (spécifiquement dans les mécanismes d'attention) lors de l'inférence.
  • Mécanisme : Deux matrices d'entonnoir ($F_1, F_2$) sont insérées entre les couches linéaires pour réduire la dimension de canal intermédiaire ($c'$). Lors de l'inférence, ces entonnoirs sont fusionnés avec les matrices de poids originales.
  • Initialisation : Les auteurs proposent une Coupled Singular Initialization (CSI), utilisant une décomposition singulière tronquée pour initialiser les matrices d'entonnoir, imitant la meilleure approximation de bas rang de la matrice de poids effective originale.
  • Entraînement : Les matrices d'entonnoir sont entraînées parallèlement au réseau.
• Pruning de Bloc Temporel Apprenable :
  • Mécanisme : Chaque bloc temporel se voit assigner une valeur d'importance ($q_i$). Pendant l'entraînement, une porte zéro-un est échantillonnée pour chaque bloc sur la base des probabilités d'inclusion dérivées de ces valeurs d'importance.
  • Optimisation : Les probabilités d'inclusion sont apprises via un problème d'optimisation contraint pour garantir qu'un budget spécifique de blocs ($n$) est sélectionné par itération. Un estimateur straight-through (STE) permet un entraînement de bout en bout.
  • Inférence : Seuls les $n$ meilleurs blocs ayant les scores d'importance les plus élevés sont conservés.

Principales Contributions

1. Premier Modèle de Diffusion Vidéo Mobile : L'article présente MobileVD, la première tentative de déployer un modèle génératif vidéo spatio-temporel directement sur des appareils mobiles.
2. Optimisations Architecturales : Introduction du multiscaling temporel et de la cross-attention optimisée, spécifiquement adaptés aux contraintes matérielles mobiles.
3. Nouveaux Schémas de Pruning : Développement du "Channel Funneling" pour la réduction de largeur et d'une technique de "Pruning de Bloc Temporel Apprenable" qui permet une réduction significative des paramètres sans recherche manuelle d'architecture.
4. Réduction d'Étapes Antagoniste : Application du finetuning antagoniste pour atteindre une génération en une seule étape sur un backbone optimisé pour le mobile.

Résultats

Les auteurs évaluent MobileVD sur un smartphone Xiaomi-14 Pro équipé d'une plateforme mobile Qualcomm Snapdragon® 8 Gen 3.

• Efficacité : MobileVD est 523 fois plus efficace en termes de coût de calcul (1817,2 contre 4,34 TFLOPs) par rapport au modèle de base SVD.
• Latence : Il génère les latents pour un clip de 14 images ($14 \times 512 \times 256$ px) en 1,7 seconde sur l'appareil mobile.
• Qualité : Le modèle atteint une Fréchet Video Distance (FVD) de 149 (contre 171 pour le modèle de base dans certaines comparaisons, bien que l'abstract note 149 contre 171 comme une légère baisse). Les auteurs notent qu'une différence allant jusqu'à 20 unités FVD entre généralement dans l'écart-type et n'affecte pas significativement la qualité visuelle.
• Comparaison : MobileVD surpasse les autres méthodes d'accélération (AnimateLCM, SF-V, UFOGen) en termes de compromis qualité-efficacité, offrant un meilleur FVD avec beaucoup moins de calculs.

Signification et Revendications

L'article affirme être le premier travail à construire avec succès un modèle de diffusion vidéo pour un déploiement mobile. En abordant à la fois le coût de l'échantillonnage itératif et l'empreinte mémoire/calcul de l'architecture, les auteurs démontrent que la génération de vidéo est réalisable sur des appareils mobiles grand public.

Les auteurs positionnent ce travail comme une "étape" vers une accessibilité plus large. Ils reconnaissent les limitations actuelles, spécifiquement la contrainte de 14 images à une résolution de $256 \times 512$, et suggèrent que les travaux futurs pourraient exploiter des autoencodeurs plus efficaces pour augmenter les taux de compression spatiale et temporelle. Le travail est présenté comme une étape vers la démocratisation de la génération de vidéo, permettant aux utilisateurs de créer du contenu localement avec moins de contrôles d'accès par rapport aux solutions basées sur le cloud.