🤖 AI

The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation

Ce papier présente un cadre agentique intégrant un ScripterAgent et un DirectorAgent, soutenu par un nouveau benchmark et des métriques d'évaluation, afin de combler l'écart sémantique entre le dialogue et la génération de vidéos cinématographiques à long horizon en traduisant des concepts de haut niveau en scripts exécutables garantissant la cohérence narrative et la fidélité au scénario.

Auteurs originaux : Chenyu Mu, Xin He, Qu Yang, Wanshun Chen, Jiadi Yao, Huang Liu, Zihao Yi, Bo Zhao, Xingyu Chen, Ruotian Ma, Fanghua Ye, Erkun Yang, Cheng Deng, Zhaopeng Tu, Xiaolong Li, Linus

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenyu Mu, Xin He, Qu Yang, Wanshun Chen, Jiadi Yao, Huang Liu, Zihao Yi, Bo Zhao, Xingyu Chen, Ruotian Ma, Fanghua Ye, Erkun Yang, Cheng Deng, Zhaopeng Tu, Xiaolong Li, Linus

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous souhaitiez réaliser un film, mais que vous ne disposiez que d'une conversation brute entre deux personnes. Vous n'avez ni scénario, ni indications de caméra, ni idée de la durée de chaque scène. Si vous demandez simplement à un générateur de vidéo par IA actuel de « faire un film à partir de cette discussion », cela échoue généralement. Il pourrait produire un magnifique clip de 5 secondes, mais il ne peut pas raconter une histoire qui dure plusieurs minutes, et les personnages ont souvent un aspect différent à chaque plan.

Ce papier présente un nouveau « Cadre Agentique » (une équipe de spécialistes de l'IA) pour résoudre ce problème. Imaginez-le comme une équipe de production cinématographique numérique qui transforme une simple discussion en un film cinématographique complet.

Voici comment leur équipe fonctionne, décomposée en trois personnages principaux :

1. L'Agent Scénariste : Le « Scénariste »

Le Problème : Le dialogue brut est désordonné. Il ne précise pas où se trouve la caméra, comment l'acteur doit bouger, ni à quoi ressemble l'éclairage.
La Solution : L'Agent Scénariste agit comme un scénariste professionnel qui aime les détails.

Ce qu'il fait : Il prend la discussion brute et rédige un scénario détaillé, plan par plan. Il décide : « D'accord, pour cette réplique, il nous faut un gros plan sur le visage de l'acteur, puis un plan large du parc, et la caméra doit faire un panoramique lent vers la gauche. »
Comment il a appris : Les chercheurs l'ont entraîné en utilisant un jeu de données spécial appelé ScriptBench. Ils ne lui ont pas simplement fourni des données aléatoires ; ils ont utilisé un processus strict « guidé par l'expert » où des règles de type humain vérifiaient le scénario pour détecter les erreurs (comme s'assurer qu'un personnage ne téléporte pas soudainement ou ne change pas de vêtements).
Le Secret : Ils l'ont entraîné en deux étapes. D'abord, ils lui ont enseigné la grammaire des scénarios (Affinement Supervisé). Ensuite, ils ont utilisé une méthode de « coaching » (Apprentissage par Renforcement) où l'IA était récompensée pour des choix qui semblaient artistiques et dramatiques, et pas seulement logiquement corrects.

2. L'Agent Réalisateur : Le « Réalisateur »

Le Problème : Même avec un scénario parfait, les IA vidéo actuelles ne peuvent produire que de courts clips (comme 8 à 12 secondes). Si vous essayez de faire un film de 2 minutes, l'IA se perd, et les personnages commencent à ressembler à des personnes différentes à chaque nouveau clip.
La Solution : L'Agent Réalisateur agit comme un réalisateur qui gère un tournage long en le découpant en morceaux gérables.

La Stratégie : Au lieu de demander à l'IA de faire tout le film d'un coup, l'Agent Réalisateur découpe le scénario en petites « scènes » qui respectent les limites de l'IA.
L'astuce de « l'Ancrage par Image » : C'est leur mouvement le plus ingénieux. Lorsque l'IA termine la Scène 1, l'Agent Réalisateur prend la toute dernière image de cette scène et l'utilise comme photo de départ pour la Scène 2.
- Analogie : Imaginez passer le témoin dans un relais. Le coureur (Scène 2) ne commence pas de zéro ; il commence exactement là où le coureur précédent (Scène 1) s'est arrêté. Cela permet de garder le visage du personnage, ses vêtements et l'arrière-plan exactement identiques, créant un film long et fluide.

3. L'Agent Critique : Le « Critique Cinématographique »

Le Problème : Comment savoir si le film est réellement bon ?
La Solution : L'Agent Critique est un juge IA qui regarde le film final et lit le scénario pour vérifier s'ils correspondent.

Ce qu'il vérifie : Il examine des éléments tels que « La caméra a-t-elle bougé comme le disait le scénario ? », « L'émotion de l'acteur correspondait-elle au dialogue ? » et « L'histoire s'est-elle déroulée de manière logique ? »
Nouvelle Métrique : Ils ont inventé un nouveau score appelé VSA (Alignement Visuel-Scénario). Imaginez cela comme un « contrôle de synchronisation ». Il ne demande pas seulement : « Le chien est-il dans la vidéo ? » Il demande : « Le chien est-il dans la vidéo à la seconde exacte où le scénario indiquait qu'il devrait apparaître ? »

Que Ont-ils Découvert ?

L'équipe a testé leur système sur les meilleures IA vidéo au monde (comme Sora, Veo et d'autres).

Le Résultat : Lorsqu'ils ont utilisé leur équipe « Scénariste » et « Réalisateur », les IA vidéo ont produit des films bien meilleurs. Les personnages sont restés cohérents, l'histoire avait du sens, et les vidéos suivaient le scénario beaucoup plus fidèlement.
Le Compromis : Ils ont découvert une règle amusante dans l'IA actuelle : certains modèles sont excellents pour rendre les choses réalistes et belles (spectacle visuel), mais ils peinent à suivre le scénario exactement. D'autres sont excellents pour suivre le scénario mais peuvent sembler un peu moins « cinématographiques ». Leur cadre aide à équilibrer cela, permettant à l'IA de mieux suivre l'histoire sans perdre la qualité visuelle.

En Bref

Ce papier dit : « Le Scénario est Tout Ce Dont Vous Avez Besoin. »
Si vous voulez transformer une simple conversation en film, vous ne pouvez pas simplement demander à l'IA de « le faire ». Vous avez besoin d'un Scénariste IA pour rédiger le plan détaillé, d'un Réalisateur IA pour assembler les clips afin que les personnages ne changent pas de visage, et d'un Critique IA pour s'assurer que le produit final correspond réellement au plan. Cette approche d'équipe comble le fossé entre une simple idée et une histoire cinématographique complète.

Résumé Technique : Un Cadre Agentique pour la Génération de Vidéos Cinématographiques à partir de Dialogues sur de Longues Périodes

1. Énoncé du Problème

Les récents progrès des modèles de génération vidéo (par exemple, Sora2-Pro, Veo3.1, Wan2.5) ont démontré leur capacité à synthétiser des clips vidéo réalistes et haute fidélité à partir de simples invites textuelles. Cependant, un « écart sémantique » significatif persiste lorsqu'il s'agit de générer des récits longs et cohérents à partir de concepts de haut niveau tels que les dialogues. Les modèles actuels peinent à traduire des dialogues épars et à granularité grossière en plans détaillés et exécutables nécessaires à la réalisation cinématographique. Cette limitation se manifeste par trois défis fondamentaux :

Ambiguïté Contextuelle : Résoudre les ambiguïtés inhérentes aux dialogues épars sans contexte visuel riche.
Connaissance du Domaine : Générer des spécifications techniques valides pour les caméras, des indications de mise en scène et des compositions de plans.
Raisonnement Créatif : Combler le fossé entre ce qui est dit (dialogue) et ce qui doit être montré (action visuelle) pour maintenir la cohérence narrative et temporelle.

Les approches existantes reposent souvent sur une description passive (vidéo-vers-texte) ou échouent à fournir le « scénario » granulaire nécessaire pour guider la réalisation cinématographique automatisée, entraînant une dérive d'identité, un style incohérent et une perte de continuité narrative dans la génération sur de longues périodes.

2. Méthodologie

Les auteurs proposent un cadre agentique novateur et de bout en bout comprenant trois agents spécialisés : ScripterAgent, DirectorAgent et CriticAgent. Ce pipeline inverse la relation conventionnelle vidéo-langage, passant d'une description passive à la génération active de plans de réalisation exécutables.

2.1 ScripterAgent : Génération de Scénario à partir de Dialogues

Le cœur du cadre est ScripterAgent, conçu pour traduire des dialogues grossiers en un scénario cinématographique structuré et à granularité fine.

Jeu de Données (ScriptBench) : Pour entraîner cet agent, les auteurs ont construit ScriptBench, un benchmark à grande échelle (1 750 instances) dérivé de scènes coupées cinématographiques haute fidélité. Le jeu de données présente un contexte trimodal riche (dialogues, audio, positions des personnages) et est annoté via une pipeline novatrice guidée par des experts :
1. Reconstruction du Contexte : Inférence des relations entre personnages, des tendances émotionnelles et des relations causales à partir d'entrées multimodales.
2. Planification Sémantique au Niveau du Plan : Division du récit en plans basés sur l'intégrité, la durée (limitée à 10 s), la cohérence sémantique et la faisabilité technique.
3. Correction Adaptative d'Erreurs Multi-Tours : Une boucle automatisée vérifiant l'exhaustivité des dialogues, la cohérence des personnages, la cohérence de la scène et la rationalité physique, affinée par des audits d'experts.
Paradigme d'Entraînement : ScripterAgent utilise une approche d'entraînement en deux étapes sur un modèle de base Qwen-Omni-7B :
1. Affinement Supervisé (SFT) : Enseigne au modèle la syntaxe structurelle des scénarios cinématographiques (format JSON) et l'exhaustivité narrative.
2. Apprentissage par Renforcement (RL) : Utilise l'Optimisation de la Politique Relative par Groupe (GRPO) avec une fonction de récompense hybride. Cette fonction combine une récompense structurelle basée sur des règles (format, exhaustivité) avec une récompense de préférence humaine (entraînée sur des scores de réalisation d'experts pour la tension dramatique, l'imagerie visuelle et le rythme). Cette étape aligne le modèle sur l'esthétique professionnelle de la réalisation.

2.2 DirectorAgent : Exécution sur de Longues Périodes

DirectorAgent orchestre les modèles de génération vidéo les plus avancés pour exécuter le scénario généré. Il aborde les limitations temporelles des modèles actuels (généralement 8 à 12 secondes) grâce à une Stratégie de Génération Continue Inter-Scènes :

Segmentation Intelligente par Plan : Le scénario est partitionné en « scènes » qui respectent les limites cinématographiques (intégrité du plan, moments narratifs) et s'adaptent à la fenêtre de génération du modèle cible.
Mécanisme d'Ancrage de Cadre : Pour assurer la continuité visuelle entre les scènes, le dernier cadre de la scène précédente ( $N-1$ ) est extrait et utilisé comme ancre visuelle (image de conditionnement) pour le premier cadre de la scène suivante ($0$). Ce « relais visuel » préserve l'identité des personnages, les tenues et la disposition de la scène, atténuant la dérive d'identité courante dans les segmentations naïves.

2.3 CriticAgent : Cadre d'Évaluation

Un système d'évaluation multifacette évalue à la fois la génération de scénario et la génération vidéo :

Évaluation par IA : Propulsée par des LLM (par exemple, gemini-2.5-pro), évaluant la correction structurelle, la rationalité des plans et la qualité cinématographique selon des dimensions telles que l'articulation de la caméra, le langage corporel et les arcs émotionnels.
Évaluation Humaine : Des panels de réalisateurs et de scénaristes professionnels évaluent la qualité artistique, y compris la tension dramatique, l'imagerie visuelle et la cohérence des personnages.
Alignement Visuel-Scénario (VSA) : Une métrique automatisée novatrice introduite pour quantifier la fidélité temporelle-sémantique. Le VSA mesure si les événements visuels se produisent dans leurs intervalles de temps désignés tels que spécifiés par le scénario, abordant la limitation des métriques standard qui vérifient seulement si le contenu apparaît, et non quand.

3. Résultats Clés

Des expériences extensives sur le jeu de données de test ScriptBench démontrent l'efficacité du cadre sur plusieurs modèles vidéo de pointe (Vidu2, Seedance1.5-Pro, Kling2.6, Wan2.6, HYVideo1.5, Sora2-Pro, Veo3.1).

Génération de Scénario : Le ScripterAgent complet (SFT + RL) surpasse significativement les bases de référence (par exemple, CHAE, MoPS, SEED-Story). Les experts humains ont noté ses productions plus hautement en Tension Dramatique (4,1 contre 3,7) et en Imagerie Visuelle (4,3 contre 3,8). L'étape RL s'est révélée cruciale pour élever les dimensions créatives au-delà de la correction structurelle.
Génération Vidéo : L'utilisation des scénarios de ScripterAgent comme entrée a universellement amélioré les performances sur tous les modèles vidéo testés.
- Fidélité : Les scores de Fidélité au Scénario ont augmenté significativement (par exemple, Wan2.6 de 3,2 à 4,0 ; Sora2-Pro de 3,6 à 4,2).
- Cohérence Temporelle : La métrique VSA a confirmé une cohérence temporelle-sémantique améliorée, avec des scores s'améliorant de plus de 7 points dans certains cas (par exemple, Veo3.1 de 51,4 à 53,8).
- Cohérence : La stratégie d'Ancrage de Cadre a efficacement réduit la dérive d'identité et amélioré la Cohérence des Personnages et la Cohérence Narrative.
Analyse des Compromis : L'étude révèle un compromis fondamental dans les modèles SOTA actuels : certains (comme Sora2-Pro) excellent dans le spectacle visuel et le réalisme physique, tandis que d'autres (comme HYVideo1.5) privilégient la fidélité au scénario et l'intégrité narrative. Le cadre améliore ce dernier sans sacrifier le potentiel du premier.

4. Signification et Contributions

L'article prétend fournir la première solution de bout en bout pour la génération vidéo cinématographique pilotée par des dialogues, offrant un nouveau paradigme pour la narration automatisée. Ses contributions principales sont :

Cadre Agentique : Un système novateur à trois agents qui comble l'écart sémantique entre les dialogues épars et la sortie cinématographique cohérente, allant au-delà de la simple ingénierie d'invites vers une planification structurée.
ScriptBench et ScripterAgent : L'introduction d'un benchmark de haute qualité guidé par des experts et d'un modèle entraîné avec un paradigme SFT+RL en deux étapes pour générer des scénarios cinématographiques exécutables de qualité professionnelle.
Stratégie de Cohérence Temporelle : La démonstration qu'une approche « centrée sur le scénario », combinée à l'ancrage de cadre, peut surmonter les contraintes de durée fixe des générateurs vidéo actuels, permettant une cohérence narrative sur de longues périodes.
Insight sur les Limitations des Modèles : L'identification d'un compromis critique entre le spectacle visuel et l'adhésion stricte au scénario dans les principaux modèles vidéo, fournissant des orientations précieuses pour le développement futur des modèles et la sélection d'applications.
Nouvelle Métrique : La proposition de l'Alignement Visuel-Scénario (VSA) pour mesurer quantitativement la fidélité temporelle-sémantique, une dimension précédemment négligée par les métriques standard de qualité vidéo.

Les auteurs concluent que ce travail va au-delà de la génération basée sur des invites simples, jetant les bases de systèmes de narration automatisée sophistiqués capables de raisonner sur la cinématographie, le rythme et la cohérence à long terme. Des travaux futurs sont suggérés pour se concentrer sur le contrôle à granularité fine (par exemple, la synchronisation labiale) et la génération de style adaptative.