Résumé Technique : PUSA V1.0

Énoncé du Problème

Les modèles de diffusion vidéo actuels (VDM) reposent principalement sur une variable d'étape scalaire pour contrôler uniformément le niveau de bruit et la trajectoire d'évolution sur toutes les images d'un clip vidéo. Bien que efficaces pour la génération Texte-vers-Vidéo (T2V), cette synchronisation rigide impose des limitations fondamentales à la modélisation temporelle. Plus précisément, elle éprouve des difficultés avec des tâches nuancées dépendantes du temps, telles que l'Image-vers-Vidéo (I2V), l'extension vidéo et le conditionnement par les images de début et de fin. Les solutions existantes à ces défis impliquent souvent :

• Adaptation Destructrice : Le fine-tuning de modèles de base avec des ressources massives et des architectures spécifiques à la tâche (par exemple, des mécanismes de masquage), ce qui risque l'oubli catastrophique des priors génératifs du modèle de base.
• Approches Autoregressives : Des modèles qui génèrent des images séquentiellement pour éviter la synchronisation rigide. Cependant, ils sont souvent limités par une inefficacité computationnelle, une accumulation d'erreurs sur les longues séquences et une incapacité à effectuer un raisonnement bidirectionnel (par exemple, le conditionnement par les images de début et de fin).

Méthodologie

L'article présente PUSA V1.0, un modèle polyvalent qui exploite l'Adaptation Vectorisée des Étapes (VTA) pour permettre un contrôle temporel fin au sein d'un cadre unifié de diffusion vidéo. L'innovation centrale est une stratégie d'adaptation non destructive qui modifie le conditionnement temporel du modèle de base sans altérer son architecture ni détruire ses capacités préentraînées.

1. Adaptation Vectorisée des Étapes (VTA)

Au lieu d'une unique étape scalaire $t$, PUSA emploie une étape vectorisée $\tau \in [0, 1]^N$, où $N$ est le nombre d'images. Chaque composante $\tau^i$ représente le paramètre de progression individuel de la $i$-ème image le long de son chemin de probabilité.

• Modification Architecturale : L'adaptation est minimale et non destructive. Le module d'incrustation d'étape est réingénieré pour traiter le vecteur d'entrée $\tau$, générant des incrustations spécifiques à chaque image. Ces incrustations sont projetées pour produire des paramètres de modulation par image (échelle, décalage, porte) au sein des blocs DiT (Diffusion Transformer).
• Préservation des Priors : Parce que la modification est non destructive, le fait de définir toutes les étapes d'image à la même valeur permet au modèle de générer des résultats identiques au modèle T2V de base, préservant ainsi pleinement ses capacités originales.

2. Appariement de Flux Conscient des Images (FAFM)

Le modèle est entraîné en utilisant un objectif d'appariement de flux étendu pour les étapes vectorisées.

• Stratégie d'Entraînement : L'entraînement utilise une stratégie d'étapes vectorisées entièrement randomisées ($p_{async} = 1$), où chaque composante $\tau^i$ est échantillonnée indépendamment à partir d'une distribution uniforme $U[0, 1]$. Cela contraint le modèle à apprendre un contrôle temporel fin à partir d'une distribution temporelle maximisant la diversité des états.
• Efficacité : Contrairement aux méthodes précédentes qui nécessitent des schedules d'échantillonnage complexes ou des ensembles de données massifs, cette approche permet d'affiner le modèle avec des données et une puissance de calcul extrêmement limitées.

3. Inférence pour les Tâches Zero-Shot

PUSA atteint des capacités zero-shot en manipulant stratégiquement l'étape vectorisée $\tau$ lors de l'échantillonnage :

• I2V : La composante d'étape pour l'image de conditionnement (par exemple, la première image) est bloquée à zéro ($\tau^1 = 0$) tout au long de l'inférence, la fixant efficacement comme une condition propre tandis que les autres images évoluent.
• Images de Début-Fin et Extension : En bloquant les étapes pour des sous-ensembles spécifiques d'images (par exemple, les première et dernière images) à zéro ou à des niveaux de bruit spécifiques, le modèle peut générer des vidéos cohérentes conditionnées par des configurations d'images arbitraires sans réentraînement spécifique à la tâche.

Contributions Clés

1. Efficacité Sans Précédent : PUSA atteint des performances I2V de pointe (SOTA) en utilisant uniquement 4 000 échantillons et un coût de calcul de 0,5K (environ 500 $), par rapport aux >10 millions d'échantillons attendus et >100K de coûts pour des bases de comparaison équivalentes comme Wan-I2V.
2. Généralisation Multi-Tâches Unifiée : Le modèle conserve les capacités T2V du modèle de base tout en se généralisant simultanément à l'I2V, aux images de début-fin, à l'extension vidéo et à la complétion de manière zero-shot.
3. Insight Mécanistique : Les analyses révèlent que l'approche injecte chirurgicalement des dynamiques temporelles dans les mécanismes d'attention du modèle tout en préservant les priors génératifs du modèle fondamental. Cela évite l'« explosion combinatoire » inhérente aux étapes vectorisées en exploitant la robustesse du modèle de base face à une évolution asynchrone.

Résultats

• Performance Quantitative : Sur le benchmark VBench-I2V, PUSA atteint un score total de 87,32, surpassant Wan-I2V (86,86) et d'autres modèles open-source. Il démontre une performance supérieure en cohérence du sujet I2V (97,64 contre 96,95) et en cohérence de l'arrière-plan (99,24 contre 96,44).
• Efficacité d'Entraînement : Les études d'ablation montrent que PUSA converge rapidement (en moins de 900 itérations) et surpasse significativement les bases de comparaison entraînées avec le même budget. L'approche de fine-tuning basée sur LoRA s'avère particulièrement efficace, obtenant des scores plus élevés que le fine-tuning complet au même nombre d'itérations.
• Analyse Qualitative : Les visualisations des cartes d'attention montrent que, tandis que le modèle T2V de base présente une attention diagonale (indépendance des images) et que Wan-I2V montre une attention transitoire vers la première image, PUSA maintient une attention forte et cohérente vers l'image de conditionnement à toutes les étapes d'inférence. L'analyse de la divergence des paramètres confirme que PUSA induit des changements minimes (principalement dans les blocs d'attention) par rapport à la dérive substantielle observée dans Wan-I2V.

Importance et Revendications

L'article positionne PUSA comme un changement critique dans les paradigmes de génération vidéo. En combinant une modélisation temporelle rigoureuse (étapes vectorisées) avec une adaptation efficace et non destructive, PUSA redéfinit le compromis efficacité-qualité.

• Démocratisation : La méthode démocratise la génération vidéo haute fidélité en rendant accessible la synthèse multi-tâches de niveau SOTA avec des ressources computationnelles minimales.
• Polyvalence : Elle établit un paradigme évolutif qui unifie T2V, I2V et des tâches complexes d'édition temporelle au sein d'un cadre unique, surmontant les limitations à la fois des modèles d'étapes scalaires rigides et des approches autoregressives sujettes aux erreurs.
• Nature Non Destructrice : Le travail démontre qu'un contrôle temporel avancé peut être débloqué sans sacrifier les capacités fondamentales des modèles préentraînés à grande échelle, évitant ainsi les pièges de l'oubli catastrophique.