Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning

Le papier présente « Narrative Weaver », un cadre novateur qui résout le défi de la cohérence visuelle à long terme et du contrôle multimodal dans la génération de contenu en intégrant une planification narrative par un modèle de langage multimodal, un module de contrôle fin avec mémoire dynamique, et une stratégie d'entraînement progressive, le tout validé par un nouveau jeu de données dédié à la publicité e-commerce.

L'essentiel

🎬 Narrative Weaver : Le Grand Architecte de l'IA

Imaginez que vous voulez créer un film ou une publicité, mais que vous n'avez pas de réalisateur, pas de scénariste et pas de caméraman. Vous avez juste une idée floue. C'est là que les intelligences artificielles (IA) actuelles ont un gros problème : elles sont excellentes pour faire de belles images isolées (comme des photos de vacances), mais dès qu'on leur demande de raconter une histoire longue avec plusieurs scènes, elles perdent le fil.

C'est comme si un dessinateur très talentueux dessinait un personnage pour une bande dessinée, mais qu'à chaque nouvelle case, il changeait la couleur des yeux, la coupe de cheveux ou le style du dessin. L'histoire devient confuse et incohérente.

Narrative Weaver est une nouvelle invention qui résout ce problème. C'est un système capable de créer des histoires visuelles longues, cohérentes et contrôlables, comme un vrai réalisateur de cinéma.

🧩 Comment ça marche ? (L'analogie du Chef d'Orchestre)

Pour comprendre Narrative Weaver, imaginez un chef d'orchestre (le cerveau) et un musicien virtuose (les mains).

1. Le Chef d'Orchestre (Le Planificateur)

Dans les systèmes précédents, l'IA essayait de tout faire d'un coup, ce qui la rendait confuse. Narrative Weaver sépare les tâches.

• Le rôle : Il utilise un "Grand Modèle de Langage" (comme un scénariste très intelligent) pour lire votre demande.
• L'action : Au lieu de dessiner immédiatement, il écrit d'abord le scénario. Il décide : "Dans la première image, la femme est debout. Dans la deuxième, elle s'assoit. Dans la troisième, elle sourit."
• L'analogie : C'est comme si, avant de peindre un tableau, on écrivait un plan détaillé pour s'assurer que l'histoire a du sens.

2. Le Musicien Virtuose (Le Générateur d'Images)

Une fois le scénario écrit, le système passe à la peinture.

• Le rôle : Il utilise un modèle de diffusion (le moteur qui crée les images).
• L'action : Il suit le plan du scénariste image par image.
• Le secret : Il ne regarde pas seulement l'image précédente. Il a accès à une "Banque de Mémoire Dynamique".

3. La Banque de Mémoire (Le Mémoriste)

C'est la pièce maîtresse qui empêche l'IA de devenir folle.

• Le problème : Souvent, quand on génère une longue suite d'images, l'IA oublie à quoi ressemblait le personnage au début.
• La solution de Narrative Weaver : Imaginez un assistant qui tient un album photo de toutes les images précédentes. À chaque nouvelle image, l'IA consulte cet album pour se rappeler : "Attends, le personnage portait un manteau rouge et avait des cheveux bouclés. Je dois garder ça !".
• Le résultat : Même après 10 ou 20 images, le personnage reste exactement le même, et le décor ne change pas de façon bizarre.

🛠️ Comment l'ont-ils appris ? (L'entraînement en trois étapes)

Les chercheurs n'ont pas tout appris d'un coup. Ils ont utilisé une méthode progressive, comme on apprend à conduire :

1. Étape 1 : Apprendre à raconter. On a enseigné au système à écrire de bons scénarios et à planifier l'histoire, sans se soucier encore de la qualité des images.
2. Étape 2 : Apprendre à dessiner. On a appris au système à transformer ces scénarios en images, en s'assurant que le dessin correspond au texte.
3. Étape 3 : Apprendre la cohérence. C'est l'étape finale et la plus importante. On a appris au système à utiliser sa "mémoire" pour que l'image 10 ressemble parfaitement à l'image 1, tout en faisant avancer l'histoire.

📦 Le Problème des Données (Le Kit de Construction)

Pour entraîner cette IA, il fallait des milliers d'exemples de "scénarios + images cohérentes". Le problème ? Il n'existait pas de bibliothèque de ce genre. Les vidéos existantes étaient trop courtes ou trop simples.

La solution : Les chercheurs ont créé leur propre bibliothèque, appelée EAVSD.

• L'analogie : C'est comme si, pour apprendre à un enfant à faire des Lego, on lui donnait des milliers de boîtes de Lego déjà assemblées en châteaux complexes, avec les instructions étape par étape.
• Ils ont généré 330 000 images de haute qualité, principalement pour des publicités e-commerce (montrer un produit dans différentes situations : dans un parc, dans un café, dans une forêt), en s'assurant que le produit reste toujours le même.

🌟 Pourquoi est-ce important ?

Aujourd'hui, si vous demandez à une IA de faire une publicité pour une marque de chaussures, elle risque de changer la couleur des chaussures ou le modèle du logo à chaque image. C'est catastrophique pour une entreprise.

Narrative Weaver change la donne :

• Pour les créateurs : Vous pouvez dire "Fais une histoire de 10 images où ce personnage voyage de Paris à Tokyo" et l'IA le fera sans perdre le fil.
• Pour le commerce : Vous pouvez créer des publicités vidéo complètes où le produit est toujours parfaitement identifié, peu importe le décor.
• Pour le cinéma : Cela ouvre la porte à la création de courts-métrages entiers par IA, avec une vraie continuité visuelle.

En résumé

Narrative Weaver est comme un réalisateur IA qui ne se contente pas de dessiner des images au hasard. Il a un scénariste pour planifier l'histoire, un mémoriste pour ne jamais oublier les détails, et un peintre pour exécuter le tout. Le résultat ? Des histoires visuelles longues, belles et parfaitement cohérentes, prêtes à être utilisées dans le monde réel.

Résumé technique

1. Problématique et Contexte

Le domaine de l'intelligence artificielle générative a fait des progrès remarquables dans la création de contenu visuel de haute fidélité (images et vidéos courtes) grâce aux modèles de diffusion. Cependant, une limitation fondamentale persiste : l'incapacité à maintenir une cohérence visuelle et narrative sur de longues séquences.

Les modèles actuels (comme Sora, Wan, ou les éditeurs d'images) peinent à :

• Générer des séquences étendues où les personnages, les décors et l'intrigue restent cohérents.
• Planifier automatiquement une narration complexe tout en respectant des contraintes visuelles fines (consistance du style, de l'identité des personnages, et de l'environnement).
• Intégrer une condition multimodale (texte + image de référence) pour guider la génération sur de multiples plans sans dérive visuelle (visual drift).

Cette lacune empêche l'application de ces technologies dans des scénarios réels exigeants, tels que la production cinématographique, la création de bandes dessinées, ou la publicité e-commerce où l'identité de la marque doit être préservée.

2. Méthodologie : L'Architecture Narrative Weaver

Narrative Weaver propose un cadre hybride innovant combinant un Modèle de Langage Multimodal (MLLM) et un Modèle de Diffusion, structuré autour de trois piliers technologiques :

A. Planification Narrative et Agrégation Visuelle (MLLM)

Le système utilise un MLLM (basé sur Qwen2.5-VL) agissant comme un « réalisateur » :

• Planification : Il génère un storyboard textuel de haut niveau décrivant la logique narrative.
• Représentation Apprenable (Learnable Queries) : Il condense l'historique multimodal (images passées et texte) en des requêtes apprenables ($Q$).
• Masque d'Attention Causal Dynamique : Une conception d'attention spéciale permet aux requêtes d'accéder au contexte multimodal complet tout en protégeant les tokens textuels, assurant une planification robuste et une génération visuelle cohérente.

B. Banque de Mémoire Dynamique (Dynamic Memory Bank)

Pour prévenir la dérive visuelle sur de longues séquences, le modèle intègre une banque de mémoire qui stocke les caractéristiques VAE des images générées précédemment.

• Mécanisme de Décroissance : Les caractéristiques des images anciennes sont regroupées (pooling) avec un facteur de décroissance géométrique. Cela permet de maintenir une mémoire de l'historique sans exploser la complexité computationnelle.
• Conditionnement : Chaque étape de génération est conditionnée par la requête actuelle, l'image de condition initiale, et les caractéristiques agrégées de la mémoire, ancrant ainsi la génération dans l'état initial.

C. Stratégie d'Entraînement Progressive

Pour surmonter le manque de données et la difficulté d'entraînement, les auteurs proposent une stratégie en trois étapes :

1. Planification Narrative : Entraînement du MLLM pour maîtriser la logique narrative et le timing de génération visuelle (avec un masque d'attention optimisé).
2. Alignement Sémantique : Pré-entraînement des requêtes apprenables et du projecteur sur de grandes bases de données texte-image pour aligner l'espace sémantique du MLLM avec celui du modèle de diffusion.
3. Alignement Fin (Fine-grained) : Affinement du modèle de diffusion en intégrant les caractéristiques visuelles de bas niveau et la banque de mémoire pour assurer une cohérence inter-image précise.

3. Contributions Clés

1. Framework Unifié : Narrative Weaver est la première solution holistique intégrant la planification narrative automatique, le contrôle visuel fin et la cohérence à long terme dans un seul cadre.
2. Nouveau Dataset (EAVSD) : Reconnaissant l'absence de benchmarks adaptés, les auteurs ont créé et publié le E-commerce Advertising Video Storyboard Dataset (EAVSD). Ce dataset contient plus de 330 000 images de haute qualité avec des annotations narratives riches, spécifiquement conçu pour la génération de storyboards publicitaires e-commerce.
3. Efficacité Computationnelle : Contrairement aux approches traditionnelles dont la complexité croît de manière quadratique avec la longueur de la séquence, Narrative Weaver atteint une complexité linéaire grâce à l'utilisation du MLLM pour encoder la cohérence inter-images, permettant une génération parallèle et efficace.
4. Stratégie de Données : Une méthodologie de construction de données automatisée utilisant des LLM pour générer des prompts détaillés et filtrer les artefacts, garantissant la qualité du dataset EAVSD.

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois scénarios : génération contrôlée multi-scènes, narration autonome, et publicité e-commerce.

• Cohérence Visuelle : Sur le benchmark EAVSD et d'autres ensembles de données (OmniGen2, CoMM), Narrative Weaver surpasse les méthodes de l'état de l'art (StoryDiffusion, Flux.1-Kontext, Qwen-Image-Edit) sur les métriques de cohérence de contenu (MSCC), de style (MSSC) et de qualité d'image (IMQ).
• Évaluation par LLM (GPT-4o) : Le modèle obtient les meilleurs scores globaux, démontrant une capacité supérieure à suivre les instructions complexes et à maintenir l'identité des personnages sur plusieurs plans.
• Étude Utilisateur : Une étude avec plus de 180 participants a confirmé une préférence marquée pour les sorties de Narrative Weaver, notamment pour leur qualité cinématographique et leur cohérence environnementale.
• Ablation : Les expériences montrent que l'absence de l'étape 3 (alignement fin) ou de la banque de mémoire entraîne une dégradation significative de la cohérence visuelle, validant l'importance de chaque composant.

5. Signification et Impact

Narrative Weaver représente une avancée majeure pour l'IA générative appliquée à la production de contenu professionnel :

• Passage du court au long format : Il comble le fossé entre la génération d'images isolées et la création de récits visuels longs et cohérents.
• Applicabilité Industrielle : La démonstration dans le domaine de la publicité e-commerce prouve que le modèle peut répondre à des besoins commerciaux stricts (préservation de l'identité de marque, scénarios variés).
• Efficacité et Évolutivité : L'architecture proposée offre une voie viable pour générer de longs contenus sans coûts computationnels prohibitifs.
• Fondation pour le Futur : Bien que le travail se concentre actuellement sur les images (keyframes), l'architecture est conçue pour être étendue à la génération vidéo complète, ouvrant la voie à des outils d'assistance à la réalisation cinématographique entièrement automatisés.

En résumé, Narrative Weaver ne se contente pas d'améliorer la qualité des images ; il introduit une logique de production narrative dans la génération visuelle, permettant une création de contenu à la fois contrôlable, cohérente et économiquement viable.