💻 computer science

Uni-ViGU: Towards Unified Video Generation and Understanding via A Diffusion-Based Video Generator

Le papier présente Uni-ViGU, un cadre unifié qui inverse le paradigme conventionnel en s'appuyant sur un générateur vidéo comme fondation pour réaliser simultanément la génération et la compréhension vidéo grâce à une méthode de flux unifiée et un mécanisme d'entraînement bidirectionnel.

Auteurs originaux : Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

Publié 2026-04-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez construire une intelligence artificielle capable de faire deux choses : créer des vidéos (comme un réalisateur de cinéma) et comprendre des vidéos (comme un critique de cinéma).

Jusqu'à présent, la plupart des chercheurs ont essayé de prendre un expert en compréhension (un "lecteur" de vidéos) et de lui apprendre à devenir réalisateur. C'est comme essayer d'apprendre à un bibliothécaire à piloter un avion : c'est possible, mais c'est très difficile, très lent et ça demande énormément de carburant (de puissance de calcul).

Les auteurs de ce papier, Uni-ViGU, ont eu une idée géniale : inverser la logique. Au lieu de transformer un bibliothécaire en pilote, ils ont pris un expert pilote (un générateur de vidéos) et lui ont appris à devenir bibliothécaire.

Voici comment cela fonctionne, expliqué avec des images simples :

1. Le Problème : Le Moteur de Vidéo est un "Géant Gourmand"

Les modèles qui créent des vidéos sont comme des moteurs de fusée : ils doivent faire des milliers de petits pas pour passer du bruit (de la neige sur une vieille télé) à une image claire. C'est très coûteux en énergie.
Les modèles qui comprennent des vidéos sont comme des lecteurs : ils regardent juste l'image et disent ce qu'ils voient. C'est beaucoup plus léger.

Si vous essayez de faire tenir un moteur de fusée dans un petit avion (un modèle de compréhension), l'avion explose. C'est pour cela que les chercheurs ont décidé de partir du moteur de fusée (le générateur) et d'ajouter un petit cockpit pour qu'il puisse aussi lire.

2. La Solution Magique : Le "Flow" Unifié (Le Fleuve à Double Sens)

Pour faire parler ces deux mondes (la vidéo continue et le texte discret), ils ont inventé une méthode appelée "Flow Matching Unifié".

Imaginez une rivière.
- Pour la vidéo, l'eau coule doucement et continûment (comme un flux).
- Pour le texte, l'eau saute de pierre en pierre (comme des mots discrets).
Habituellement, on construisait deux rivières séparées. Ici, Uni-ViGU crée un seul lit de rivière qui peut accepter à la fois l'eau qui coule (vidéo) et les pierres qui sautent (texte) en même temps.
Le modèle apprend à transformer le "bruit" (le chaos) en une vidéo claire ET en un texte clair, simultanément, comme un chef d'orchestre qui dirige deux sections différentes de l'orchestre avec la même baguette.

3. L'Architecture : Le Chef d'Orchestre et les Solistes

Le modèle utilise une structure appelée MoE (Mixture of Experts), qu'on peut imaginer comme un restaurant très spécial :

Le Chef (Attention) : C'est la partie du cerveau qui regarde tout le monde et fait le lien entre les idées. Dans Uni-ViGU, le Chef est partagé. Il écoute à la fois les instructions pour la vidéo et les instructions pour le texte. C'est lui qui assure que si le texte dit "un chat", la vidéo montre bien un chat.
Les Cuisiniers (FFN) : Ce sont les experts qui cuisinent les plats.
- Il y a un Cuisinier Vidéo (qui a déjà appris à faire de délicieux plats vidéo grâce à des années d'entraînement).
- Il y a un Cuisinier Texte (un nouvel apprenti).
- Au lieu de tout mélanger, le modèle garde le Cuisinier Vidéo tel quel (pour ne pas gâcher son talent) et ajoute juste le Cuisinier Texte à côté. Ils travaillent ensemble, mais chacun garde ses propres recettes.

4. L'Entraînement : Deux Étapes pour Devenir un Génie

Pour apprendre à ce générateur de vidéos à comprendre, ils utilisent une méthode en deux temps, comme un entraînement sportif :

Étape 1 : La Réminiscence (Knowledge Recall)
Imaginez que le modèle a écrit un scénario (le texte) et a créé la vidéo. Maintenant, on lui cache le scénario et on lui donne la vidéo. On lui demande : "Quel était le texte original ?".
Comme il a créé la vidéo lui-même, il se souvient très bien du lien entre les deux. C'est un exercice facile pour réveiller sa mémoire. On lui enlève même le texte d'origine parfois pour le forcer à vraiment se souvenir, pas juste à copier.
Étape 2 : Le Raffinement (Capability Refinement)
Maintenant, on ne lui donne plus juste le texte court du début. On lui donne une vidéo et on lui demande de rédiger un article de critique très détaillé, plein de nuances, de couleurs et d'émotions.
Comme le texte court ne suffit pas pour décrire tout ce qui se passe dans la vidéo, le modèle est forcé de regarder la vidéo très attentivement pour trouver les détails manquants. C'est là qu'il apprend vraiment à "comprendre" ce qu'il voit, au-delà de la simple création.

En Résumé

Uni-ViGU est comme un réalisateur de cinéma de génie qui, après avoir tourné des milliers de films, décide d'apprendre à écrire des critiques de cinéma.

Il n'a pas besoin d'apprendre à voir (il sait déjà voir grâce à sa capacité à créer).
Il utilise sa connaissance intime de la création pour décrire ce qu'il voit avec une précision incroyable.
C'est plus efficace, moins cher en énergie, et cela donne un résultat où la création et la compréhension sont parfaitement alignées.

C'est une preuve que parfois, pour comprendre le monde, il vaut mieux commencer par savoir le créer.

1. Problématique et Contexte

Les modèles multimodaux unifiés actuels visent à intégrer la compréhension et la génération d'images et de vidéos dans un seul cadre. Cependant, une déséquilibre computationnel fondamental entrave cette unification :

Coût asymétrique : La génération visuelle (surtout vidéo) est extrêmement coûteuse en calcul par rapport à la compréhension. Les modèles de diffusion vidéo nécessitent des milliers, voire des millions de tokens (itérations de débruitage) pour un seul échantillon, tandis que la génération de texte ou la compréhension visuelle est beaucoup plus légère.
Limitation des approches actuelles : La plupart des recherches tentent d'étendre des modèles de langage multimodaux (MLLM) centrés sur la compréhension pour ajouter des capacités de génération. Cette approche se heurte à la difficulté de gérer le coût computationnel massif de la génération vidéo tout en préservant la qualité.
Hypothèse inversée : Les auteurs proposent d'inverser le paradigme : au lieu d'étendre un MLLM pour générer, ils proposent d'étendre un générateur vidéo pré-entraîné pour qu'il comprenne. L'idée est que les priors visuels forts appris lors de la génération constituent une base plus naturelle et évolutive pour l'unification.

2. Méthodologie : Le Cadre Uni-ViGU

Uni-ViGU est un cadre basé sur la diffusion qui unifie la génération et la compréhension vidéo en étendant l'architecture d'un générateur vidéo (basé sur WAN2.1).

A. Flux Unifié (Uni-Flow)

Pour combiner la génération vidéo (espace latent continu) et la génération de texte (espace discret de tokens), les auteurs proposent un processus de flux unifié :

Pour la vidéo : Utilisation du Flow Matching continu dans l'espace latent du VAE (Variational Autoencoder). Le modèle apprend à prédire la vitesse pour transformer le bruit gaussien en données vidéo.
Pour le texte : Utilisation du Flow Matching discret. Les tokens textuels sont mappés dans un espace d'embeddings continu. Le modèle apprend à transporter le bruit vers le manifold des embeddings de tokens valides.
Unification : Les deux modalités sont apprises simultanément dans un seul processus génératif. Les temps de débruitage ( $\tau_v$ pour la vidéo et $\tau_t$ pour le texte) sont échantillonnés indépendamment, permettant au modèle d'apprendre les dépendances croisées à tous les niveaux de bruit.

B. Architecture MoE Pilotée par la Modalité

Pour adapter le générateur vidéo à la génération de texte sans perdre ses capacités visuelles, une architecture Mixture-of-Experts (MoE) est introduite au niveau des blocs Transformer :

Partage des mécanismes d'attention : Les couches d'attention (Self-Attention et Cross-Attention) sont partagées entre les tokens vidéo et texte. Cela préserve l'alignement sémantique visuel-texte appris lors du pré-entraînement et permet l'interaction bidirectionnelle.
Séparation des FFN (Feed-Forward Networks) : Les couches FFN sont dupliquées et spécialisées :
- Un expert vidéo ( $FFN_v$ ) conserve les poids pré-entraînés pour maintenir les priors génératifs.
- Un expert texte ( $FFN_t$ ) est initialisé de manière aléatoire pour apprendre la génération de texte.
Avantage : Cette conception permet de transférer les connaissances croisées via l'attention tout en minimisant la surcharge paramétrique et en évitant l'interférence entre les tâches.

C. Mécanisme d'Entraînement Bidirectionnel

L'entraînement se déroule en deux étapes pour réutiliser les connaissances de génération pour la compréhension :

Rappel des Connaissances (Knowledge Recall) :
- Le modèle est entraîné à reconstruire le prompt d'entrée (texte) à partir du bruit vidéo et du texte bruité.
- Un dropout conditionnel est appliqué au prompt d'entrée pour forcer le modèle à extraire l'information du latent vidéo plutôt que de copier le prompt.
- Cela établit une correspondance texte-vidéo bidirectionnelle rapide.
Raffinement des Capacités (Capability Refinement) :
- Le modèle est affiné pour générer des descriptions détaillées (captions riches) à partir de la vidéo, au lieu de simples prompts.
- Cela force le modèle à développer une compréhension fine (attributs, relations spatiales, dynamique temporelle) en s'appuyant sur les mécanismes d'attention partagés, car le prompt d'entrée (court) ne suffit pas à prédire la sortie détaillée.

3. Résultats et Évaluation

Bien que les détails chiffrés complets ne soient pas tous listés dans le résumé fourni, l'article rapporte les points suivants :

Performance Équilibrée : Uni-ViGU atteint des performances compétitives à la fois sur la génération vidéo et la compréhension vidéo.
Génération Jointe : Le modèle peut générer simultanément une vidéo et un texte descriptif à partir du bruit, où les deux modalités s'affinent mutuellement (le texte guide la vidéo, la vidéo guide le texte).
Qualité des Captions : Les descriptions générées sont plus détaillées et fidèles au contenu visuel que les prompts d'entrée initiaux, démontrant une véritable capacité de compréhension.
Efficacité : L'approche valide que l'étirement d'un générateur vidéo est une voie plus évolutive et moins coûteuse que l'extension d'un MLLM pour la génération vidéo.

4. Contributions Clés

Inversion du Paradigme : Proposition d'utiliser un générateur vidéo comme fondation pour l'intelligence multimodale unifiée, plutôt qu'un MLLM centré sur la compréhension.
Flux Unifié (Uni-Flow) : Méthode novatrice combinant le Flow Matching continu (vidéo) et discret (texte) dans un seul processus génératif.
Architecture MoE Spécialisée : Conception architecturale qui partage les mécanismes d'attention pour l'alignement tout en séparant les couches FFN pour préserver les priors spécifiques à chaque modalité.
Stratégie d'Entraînement Bidirectionnelle : Un mécanisme en deux étapes (Rappel et Raffinement) qui transforme efficacement les connaissances de génération (Texte $\to$ Vidéo) en capacités de compréhension (Vidéo $\to$ Texte).

5. Signification et Impact

Ce travail est significatif car il résout le goulot d'étranglement computationnel majeur des modèles multimodaux unifiés. En démontrant que les priors génératifs riches des modèles de diffusion vidéo peuvent être réutilisés pour la compréhension, Uni-ViGU offre une voie plus scalable vers l'intelligence visuelle générale. Cela suggère que pour des tâches complexes comme la vidéo, il est plus efficace de partir de la capacité de "créer" (générer) pour apprendre à "voir" (comprendre), s'alignant ainsi avec le développement cognitif humain où la perception précède souvent l'articulation linguistique.