Adapting VACE for Real-Time Autoregressive Video Diffusion

1. Problématique

Les modèles de génération vidéo en temps réel (comme LongLive, Krea Realtime Video, StreamDiffusion V2) fonctionnent de manière autoregressive : ils génèrent la vidéo par blocs (chunks) fixes en utilisant une attention causale (uniquement vers le passé et le bloc actuel). Cela permet un cache KV (Key-Value) efficace et une utilisation mémoire bornée.

Cependant, ces modèles manquent des capacités de contrôle avancées disponibles dans les modèles de génération par lots (batch), telles que :

• Le guidage par référence (Reference-to-Video).
• Le conditionnement structurel (profondeur, pose, ébauches).
• L'édition sélective (inpainting/outpainting).

Le modèle VACE (Video All-in-one Creation and Editing) offre ces capacités unifiées pour les modèles par lots, mais son architecture repose sur une attention bidirectionnelle sur des séquences complètes. Il concatène les images de référence directement dans l'espace latent de diffusion. Cette approche est incompatible avec le streaming pour trois raisons :

1. Longueurs de séquence variables : Le nombre d'images de référence varie selon la tâche, ce qui brise la nécessité de blocs de taille fixe.
2. Contamination du cache KV : Les références concaténées sont traitées comme des frames historiques et mises en cache, ce qui est sémantiquement incorrect et empêche leur suppression sans recalculer tout le cache (notamment à cause des encodages de position RoPE).
3. Surcharge de post-traitement : Nécessité d'identifier et de retirer les frames de référence après chaque étape de débruitage.

2. Méthodologie

L'article propose une adaptation architecturale permettant d'utiliser les poids pré-entraînés de VACE dans des pipelines de streaming sans réentraînement.

Changement Architectural Clé :
Au lieu de concaténer les images de référence dans la séquence latente de diffusion, l'adaptation les déplace vers une voie de conditionnement parallèle.

• Traitement des références : Les images de référence sont encodées une seule fois par des Context Blocks (blocs de contexte) distincts.
• Injection d'indices (Hints) : Ces blocs produisent des « hints » (signaux additifs) qui sont injectés dans le chemin principal du Transformateur de Diffusion (DiT) via des projections linéaires initialisées à zéro.
• Préservation du flux : Les latents vidéo sont débruités seuls, dans des blocs de taille fixe, en conservant le cache KV causal.

Transfert des Poids :
L'adaptation repose sur le fait que VACE utilise le Context Adapter Tuning : le DiT de base est gelé et seuls les Context Blocks sont entraînés.

• Les poids pré-entraînés des Context Blocks sont directement transférables car leur fonction (encoder les références et générer des hints) reste inchangée.
• La structure de projection (initialisée à zéro) et l'ajout résiduel garantissent que les hints n'ont aucun effet tant que les poids ne sont pas activés, assurant la compatibilité avec l'architecture de streaming.

Gestion du Cache :
Pour les modes d'édition (inpainting/outpainting), l'adaptation gère deux flux d'encodage temporel (TAE) : un flux « inactif » (zones préservées) et un flux « réactif » (zones générées). Des caches séparés sont alloués pour éviter la contamination des statistiques temporelles entre les zones générées et préservées.

3. Contributions Clés

1. Modification Architecturale : Déplacement des images de référence de l'espace latent vers un conditionnement parallèle, résolvant l'incompatibilité entre VACE et le traitement par blocs fixes.
2. Transfert de Poids sans Réentraînement : Démonstration que les poids VACE pré-entraînés fonctionnent directement dans l'architecture adaptée grâce à la préservation de la structure d'injection de hints.
3. Validation Empirique Multi-échelle : Validation réussie sur deux échelles de modèles Wan2.1 (1,3 Milliards et 14 Milliards de paramètres) avec le même code d'adaptation, sans modifications spécifiques par modèle.
4. Performance Temps Réel : Preuve que le contrôle structurel, la génération masquée et l'extension temporelle fonctionnent à des taux de rafraîchissement temps réel (17–22 FPS) sur du matériel grand public (RTX 5090).

4. Résultats et Performance

Les tests ont été réalisés sur des pipelines basés sur Wan2.1 (LongLive 1.3B et Krea Realtime Video 14B).

• Latence et FPS :
  • Sur le modèle 1.3B (RTX 5090) : Le modèle de base tourne à ~22,3 FPS. L'ajout de contrôle de profondeur ou d'inpainting ajoute une surcharge de latence de 20 à 30 %, réduisant le FPS à environ 17,2 FPS (toujours temps réel).
  • Sur le modèle 14B (H100) : Le modèle de base est à ~16,2 FPS. L'ajout de VACE réduit le FPS à ~12,5-13,5 FPS (surcharge similaire de 20-30 %).
• Coût Mémoire (VRAM) :
  • Pour le modèle 1.3B, la surcharge VRAM est d'environ 1,4 Go (poids des Context Blocks).
  • Pour le modèle 14B, la surcharge est négligeable par rapport aux ~45 Go occupés par le modèle de base.
• Qualité et Limites :
  • Contrôle Structurel et Masqué : La fidélité est préservée (ex: RMSE de profondeur de 0,157, préservation de masque SSIM de 0,983).
  • Reference-to-Video (R2V) : La qualité est sévèrement dégradée par rapport à la version par lots. Les contraintes d'attention causale et le traitement par blocs empêchent une cohérence fine avec les images de référence, car les blocs ne peuvent pas voir le futur ni traiter la référence comme une séquence globale.
  • Extension Temporelle : Utile, mais la petite taille des blocs limite l'efficacité des modes « première/dernière frame » par rapport au batch.

5. Signification et Conclusion

Cette adaptation est une avancée significative car elle permet d'intégrer des capacités de contrôle vidéo sophistiquées (héritées de modèles par lots complexes) dans des pipelines de génération temps réel sans nécessiter de réentraînement coûteux des modèles de base.

• Flexibilité : Elle permet des compositions arbitraires de modes (inpainting + contrôle de pose + extension) inférés automatiquement à partir des entrées.
• Efficacité : Elle offre un compromis optimal entre qualité de contrôle et latence, rendant possible l'édition et le contrôle vidéo interactifs sur du matériel grand public.
• Limitation Principale : La dégradation de la fidélité du « Reference-to-Video » indique que certaines tâches nécessitant une attention bidirectionnelle globale restent difficiles à réaliser en streaming pur, suggérant un besoin de recherches futures sur l'architecture pour combler ce fossé.

En résumé, l'article présente une solution ingénieuse pour « débloquer » les capacités de VACE dans le domaine du streaming vidéo, ouvrant la voie à des applications interactives de création et d'édition vidéo en temps réel.