💻 computer science

DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation

Ce papier propose DCDM, un cadre de diffusion par division et conquête qui améliore la cohérence sémantique, géométrique et identitaire dans la génération vidéo en décomposant le problème en trois modules spécialisés pour la cohérence intra-clip, inter-clip et inter-plan.

Auteurs originaux : Haoyu Zhao, Yuang Zhang, Junqi Cheng, Jiaxi Gu, Zenghui Lu, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

Publié 2026-02-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haoyu Zhao, Yuang Zhang, Junqi Cheng, Jiaxi Gu, Zenghui Lu, Peng Shu, Zuxuan Wu, Yu-Gang Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un réalisateur de cinéma qui veut créer un film époustouflant avec une intelligence artificielle. Jusqu'à présent, ces IA étaient comme de brillants techniciens capables de rendre une image magnifique, mais elles avaient du mal à garder le fil de l'histoire. Les personnages changeaient de visage d'une scène à l'autre, la caméra bougeait de façon bizarre, et les objets semblaient défier la logique physique.

C'est là qu'intervient DCDM (Divide-and-Conquer Diffusion Model), une nouvelle méthode proposée par une équipe de chercheurs (Fudan University et Tencent). Pour faire simple, au lieu de demander à une seule IA de faire tout le travail d'un réalisateur, d'un scénariste et d'un opérateur caméra en même temps, DCDM décide de diviser pour mieux régner.

Voici comment cela fonctionne, expliqué avec des analogies simples :

1. Le Problème : Le Chaos dans le Studio

Imaginez un studio de cinéma où tout le monde crie en même temps.

Incohérence interne : Un personnage tient une pomme, mais dans la même seconde, la pomme devient une voiture.
Incohérence de caméra : La caméra fait des sauts de mouton au lieu de suivre un mouvement fluide.
Incohérence entre les plans : Le héros a les yeux bleus au début du film et rouges à la fin, sans raison.

Les anciennes IA essayaient de tout gérer d'un seul coup, ce qui créait ce chaos.

2. La Solution DCDM : L'Équipe de Spécialistes

DCDM est comme un chef d'orchestre qui engage trois experts différents, chacun spécialisé dans un domaine, mais qui travaillent tous sur la même partition (le modèle de base).

A. Le "Scénariste" (Cohérence du monde intérieur)

Le problème : Quand vous dites à l'IA "Un homme mange une pomme", elle ne sait pas forcément comment on mange une pomme, ni à quoi ressemble la pomme, ni si c'est logique.
La solution DCDM : Avant de dessiner, l'IA passe d'abord par un grand cerveau littéraire (un LLM). Ce cerveau agit comme un scénariste qui prend votre phrase simple et l'enrichit.
- Analogie : Au lieu de dire "Dessine un homme mangeant", le scénariste dit : "Dessine un homme assis sur un banc, tenant une pomme rouge croquante, avec des miettes qui tombent, dans un parc ensoleillé".
- Cela permet à l'IA de comprendre la logique du monde (la physique, les objets) avant même de commencer à générer l'image.

B. Le "Directeur de la Photo" (Cohérence de la caméra)

Le problème : Demander à une IA de "zoomer" ou de "tourner à gauche" via du texte donne souvent des résultats tremblants ou imprévisibles.
La solution DCDM : Ici, on ne parle pas à l'IA en mots, mais en géométrie pure.
- Analogie : Imaginez que vous préparez un voyage. Au lieu de dire "Voyage vers le nord", vous donnez un plan de route précis avec des coordonnées GPS. DCDM crée un "plan de route" mathématique (un bruit structuré dans l'espace du temps) qui dicte exactement comment la caméra doit bouger, image par image.
- De plus, ils utilisent une photo de départ (comme un croquis de mise en scène) pour s'assurer que le style reste le même pendant le mouvement.

C. Le "Monteur" (Cohérence entre les plans)

Le problème : Pour un film long, l'IA oublie souvent qui est le héros après 10 secondes. Elle perd le fil de l'histoire.
La solution DCDM : Au lieu de regarder chaque image une par une (ce qui est trop lent et fatiguant pour l'IA), ils utilisent une technique de mémoire sélective.
- Analogie : Imaginez que vous lisez un livre très long. Vous ne relisez pas chaque mot de la page précédente pour comprendre la phrase actuelle. Vous vous souvenez juste des points clés (le nom du héros, le lieu, le style).
- DCDM fait pareil : il garde une "mémoire résumée" de chaque scène (les personnages, le décor) et l'utilise pour connecter les scènes entre elles. Cela permet de faire des films de plusieurs minutes où le héros garde toujours le même visage et le même style, sans que l'ordinateur ne s'effondre sous le poids des calculs.

En Résumé

DCDM ne force pas une seule IA à être parfaite partout. Il la divise en trois tâches claires :

Comprendre l'histoire (avec un scénariste IA).
Diriger la caméra (avec un plan de route mathématique).
Se souvenir des détails sur le long terme (avec une mémoire intelligente).

Grâce à cette approche, l'IA peut maintenant créer des vidéos qui ressemblent vraiment à de vrais films : logiques, fluides et cohérents du début à la fin. C'est comme passer d'un dessin animé qui bugue à un blockbuster d'Hollywood généré par ordinateur !

1. Problématique

Les modèles génératifs vidéo récents ont considérablement amélioré la fidélité visuelle et la cohérence temporelle à court terme. Cependant, ils échouent souvent à maintenir la cohérence dans des scénarios de génération complexes sur plusieurs dimensions :

Cohérence intra-clip (connaissance du monde) : Assurer que les objets, attributs et interactions physiques au sein d'une même séquence sont sémantiquement plausibles et non contradictoires.
Cohérence inter-clip (caméra) : Contrôler précisément et de manière stable les mouvements de caméra et les transitions de vue entre différentes séquences.
Cohérence inter-plan (éléments) : Maintenir l'identité des personnages, des scènes et du style sur de longues narratives composées de multiples plans (shots).

L'approche actuelle consistant à utiliser un modèle de diffusion monolithique pour gérer simultanément ces contraintes hétérogènes (sémantique, géométrie, dépendances temporelles longues) conduit à un enchevêtrement de représentations et à des compromis sous-optimaux entre contrôlabilité, cohérence et efficacité computationnelle.

2. Méthodologie : Le Framework DCDM

Les auteurs proposent DCDM (Divide-and-Conquer Diffusion Model), un framework système qui décompose le problème de cohérence vidéo en trois modules dédiés, partageant néanmoins un même backbone de diffusion vidéo basé sur les Diffusion Transformers (DiT).

A. Cohérence Intra-clip (Connaissance du Monde)

Approche : Utilisation d'un Grand Modèle de Langage (LLM) pour l'extension de prompt.
Mécanisme : Au lieu de se fier uniquement au prompt utilisateur (souvent vague), le LLM (ex: Qwen3) analyse l'entrée et génère un prompt raffiné ( $\tilde{p}$ ). Ce prompt explicite les entités, attributs, relations spatiales et actions plausibles.
Intégration : Ce prompt structuré est encodé et injecté comme condition textuelle dans le DiT. Cela permet un raisonnement sémantique explicite avant la génération visuelle, réduisant les contradictions physiques.

B. Cohérence Inter-clip (Contrôle de la Caméra)

Approche : Modélisation du mouvement de caméra comme un signal de contrôle de premier ordre dans l'espace du bruit.
Mécanisme :
1. Le LLM classe le mouvement de caméra décrit dans le prompt (ex: zoom, pan, tilt) dans une catégorie prédéfinie.
2. Une représentation temporelle du bruit est construite en déformant (warping) le bruit gaussien initial selon les paramètres de la caméra (intrinsèques et extrinsèques) via un opérateur de reprojection.
3. Ce bruit déformé est mélangé avec du bruit gaussien indépendant pour préserver la stochasticité tout en assurant une cohérence temporelle.
4. Initialisation : Ce bruit structuré remplace le bruit initial de l'échantillonnage de diffusion, ancrant toute la trajectoire de débruitage sur un mouvement de caméra stable.
5. Une initialisation Image-à-Texte (via un modèle T2I) est utilisée optionnellement pour réduire l'ambiguïté d'apparence.

C. Cohérence Inter-plan (Éléments et Narrative)

Approche : Génération holistique de la scène avec des mécanismes d'attention parcimonieux.
Mécanisme :
- Attention Croisée Fenêtrée (Window Cross-Attention) : Permet de localiser les prompts textuels spécifiques à des plans précis.
- Attention Self-Inter-plan Sparse : Pour gérer la mémoire à long terme sans coût computationnel prohibitif ( $O(N^2)$ ), le modèle applique une attention complète au sein de chaque plan (shot) mais une attention parcimonieuse entre les plans.
- Résumé Global : Un petit sous-ensemble de tokens clés (résumé) de chaque plan est concaténé pour former un cache global. Les requêtes d'un plan donné interrogent à la fois leurs propres clés/valeurs locales et ce cache global.
- Cela permet une cohérence narrative sur des vidéos de plusieurs minutes tout en maintenant l'identité des personnages et le style.

3. Contributions Clés

Framework DCDM : Une architecture unifiée qui décompose la cohérence vidéo en trois dimensions complémentaires gérées par des modules spécialisés, évitant les compromis d'un modèle unique.
Extension de Prompt par LLM : Un mécanisme pour enrichir les prompts implicites en connaissances sémantiques explicites, garantissant la cohérence physique et logique intra-clip.
Contrôle de Caméra dans l'Espace du Bruit : Une méthode innovante injectant une structure temporelle de bruit basée sur les paramètres de caméra, permettant un contrôle précis et stable des mouvements de caméra.
Attention Inter-plan Sparse : Une nouvelle architecture d'attention qui équilibre la cohérence à long terme et l'efficacité computationnelle, permettant la génération de vidéos narratives longues.

4. Résultats

Le framework a été validé sur l'ensemble de test du CVM Competition (Consistency in Video Generative Models) à AAAI'26, où l'équipe "Cinematrix" a remporté le titre de Top Team.

Qualité Visuelle : Les résultats qualitatifs (Figure 2) montrent une génération vidéo de haute qualité avec une forte cohérence temporelle.
Performance par Scénario :
- Les vidéos générées respectent les interactions physiques et les attributs d'objets (Intra-clip).
- Les mouvements de caméra sont stables et suivent exactement les instructions (Inter-clip).
- Les personnages et les styles restent cohérents sur de multiples plans et sur de longues durées (Inter-shot).

5. Signification et Impact

Ce travail démontre que la cohérence vidéo ne doit pas être traitée comme un problème monolithique, mais comme un défi systémique nécessitant une approche "Diviser pour Régner".

Désenchevêtrement des tâches : En séparant le raisonnement sémantique, le contrôle géométrique (caméra) et la mémoire narrative, DCDM surpasse les modèles existants qui tentent d'apprendre tout cela simultanément.
Évolutivité : L'utilisation d'un backbone DiT partagé permet une mise à l'échelle efficace, tandis que les modules spécifiques apportent des biais inductifs nécessaires à chaque type de cohérence.
Avenir de la Génération Vidéo : DCDM ouvre la voie à la création de vidéos narratives complexes, cinématographiques et contrôlables, répondant aux exigences de la production de contenu réel et de la création assistée par IA.