Co-Director: Agentic Generative Video Storytelling

1. Énoncé du problème

Bien que les modèles de diffusion aient atteint une génération vidéo haute fidélité, transformer ces clips en narration cohérente et de longue durée reste un défi majeur. Les approches actuelles font face à trois limitations principales :

• Dérive sémantique et défaillances en cascade : Les pipelines d'agents existants reposent sur des chaînes linéaires, en « cascade », de modules indépendants (par exemple, scénario $\to$ storyboard $\to$ vidéo). Les erreurs des premières étapes se propagent en aval, provoquant une dérive d'identité (changement d'apparence des personnages) et une incohérence narrative.
• Absence d'optimisation globale : Les systèmes actuels utilisent des invites statiques et artisanales. Ils manquent d'un mécanisme pour mapper l'intention créative de haut niveau sur la génération en aval, échouant à explorer de nouvelles stratégies narratives ou à équilibrer exploration et exploitation.
• Lacunes dans l'évaluation : Les benchmarks existants se concentrent sur des sous-tâches isolées (par exemple, texte vers image) ou s'appuient sur des entités réelles mémorisées, échouant à évaluer les véritables capacités de narration de bout en bout sous des contraintes strictes.

2. Méthodologie : Cadre Co-Director

Les auteurs proposent Co-Director, un cadre multi-agent hiérarchique qui formalise la narration vidéo comme un problème d'optimisation globale. Le système intègre un Bandit Multi-Arme (MAB) pour la sélection de stratégie globale avec des boucles locales d'auto-affinement.

A. Architecture multi-agent hiérarchique

Le système est orchestré par un Agent Orchestrateur central ($\Phi_{orch}$) qui gère le flux et l'état global :

1. Agent de Pré-production ($\Phi_{pre}$) : Transforme les invites utilisateur et les visuels de référence en un Storyboard ($S$) structuré. Il génère :
   • Brief créatif : Enrichissement contextuel.
   • Intrigue ($L$) : Scénario scène par scène.
   • Actifs visuels ($V$) : Génération de références manquantes pour les personnages ou accessoires.
   • Storyboard : Descripteurs de scène détaillés incluant la cinématique de la caméra et les directives audio.
2. Agent de Production ($\Phi_{prod}$) : Synthétise des artefacts multimodaux à partir du storyboard :
   • Agent de Clé ($\Phi_{frame}$) : Génère des images clés initiales pour établir des priors visuels et prévenir la dérive d'identité.
   • Agent Vidéo ($\Phi_{video}$) : Conditionne les modèles de diffusion vidéo sur les images clés pour générer des clips ($C$).
   • Agent Audio ($\Phi_{audio}$) : Synthétise la voix off et la musique basées sur les directives globales.
3. Agent de Post-production ($\Phi_{post}$) : Assemble les clips et l'audio dans la vidéo finale ($F$).

B. Optimisation globale via Bandits Multi-Armes (MAB)

Au lieu d'un prompting linéaire, Co-Director traite le processus créatif comme une recherche sur un espace de paramètres hiérarchique ($\theta$).

• Espace d'action : Défini par trois axes orthogonaux :
  1. Stratégie créative ($\theta_{cs}$) : Informationnelle, Transformationnelle ou Comparative.
  2. Mode narratif ($\theta_{nm}$) : Analytique, Vignette ou Drame narratif.
  3. Archétype esthétique ($\theta_{aa}$) : Clarté/Énergie, Cinéma Premium, Focus Minimaliste ou Brutalité Cinétique.
• Mécanisme : Le MAB (utilisant l'algorithme UCB1) sélectionne une combinaison de ces paramètres ($\theta^{(t)}$) pour chaque itération. L'Orchestrateur synthétise ces éléments en instructions spécifiques injectées dans les invites des sous-agents, assurant que tous les agents s'alignent sur une intention créative unifiée.
• Signal de récompense : Un Juge MLLM évalue la vidéo finale et émet un signal de récompense factorisé $R = (r_{cs}, r_{nm}, r_{aa})$. Cela découple l'évaluation de la stratégie créative de la qualité d'exécution, permettant au MAB d'isoler quels paramètres spécifiques ont conduit au succès.
• Démarrage à chaud : Un LLM initialise les valeurs attendues du MAB en fonction du domaine du produit pour biaiser l'exploration précoce vers des configurations théoriquement solides.

C. Optimisation locale via auto-affinement par agents

Pour prévenir la propagation des erreurs, le système emploie des boucles de descente par rétroaction :

• Affinement de l'intrigue : Un LLM évalue la narration pour la qualité de l'accroche, la cohésion et l'intégration du produit, réécrivant l'invite si les scores tombent en dessous d'un seuil.
• Affinement des images clés : Un MLLM évalue la séquence d'images clés conjointement (et non individuellement) pour détecter la dérive d'identité et les incohérences environnementales, régénérant sélectivement uniquement les images défectueuses.

3. Contributions clés

1. Cadre Co-Director : Le premier système à formaliser la narration générative comme un problème d'optimisation globale utilisant une direction pilotée par MAB, dépassant les pipelines linéaires pour une architecture hiérarchique et cohérente.
2. Paramétrisation hiérarchique : Une méthode novatrice pour propager l'intention créative à travers les agents en décomposant les stratégies de haut niveau en directives spécifiques et actionnables pour les sous-agents, évitant les collisions sémantiques.
3. GenAd-Bench : Un nouveau benchmark rigoureux composé de 400 scénarios répartis sur 200 produits fictifs. Il utilise des entités fictives pour prévenir la mémorisation par le modèle et impose des contraintes strictes sur la fidélité des actifs visuels, l'alignement démographique et l'attrait marketing.
4. Mécanisme de récompense factorisée : Une approche d'évaluation novatrice qui découple l'efficacité stratégique de la qualité d'exécution, permettant une attribution précise du crédit dans des pipelines non différentiables.

4. Résultats expérimentaux

Les auteurs ont évalué Co-Director sur GenAd-Bench par rapport à des bases de référence de l'état de l'art, incluant des modèles monolithiques (Veo 3.1, Wan 2.6), des plateformes commerciales (HeyGen, Creatify) et d'autres cadres d'agents (AniMaker, MovieAgent).

• Performance : Co-Director a obtenu le score moyen le plus élevé (81,4/100), surpassant significativement la prochaine meilleure base de référence d'agents (MovieAgent à 65,3) et les modèles monolithiques (Veo 3.1 à 63,6).
• Métriques clés :
  • Fidélité des actifs visuels (VAF) : 82,1 (contre 67,0 pour Wan 2.6).
  • Alignement démographique (DA) : 91,4 (contre 81,3 pour MovieAgent).
  • Attrait marketing (MA) : 82,0.
  • Qualité visuelle (VQ) : 70,2.
• Études d'ablation :
  • Le retrait de l'optimisation MAB (Recherche aléatoire) a fait chuter le score moyen à 75,7.
  • Le retrait de l'auto-affinement local (Intrigue ou Image clé) a causé des baisses significatives dans la cohérence narrative et la fidélité des actifs (par exemple, la VAF a chuté d'environ 9,8 points sans l'affinement des images clés).
  • La conception « Récompense factorisée » s'est avérée critique ; la réduire à un scalaire unique a réduit la performance de 5,0 points.
• Efficacité : Le MAB avec démarrage à chaud a convergé vers des résultats de haute qualité dès les premières itérations, tandis que la recherche aléatoire nécessitait beaucoup plus d'itérations pour trouver des configurations comparables.

5. Importance

• Automatisation créative principielle : Co-Director démontre que la vidéo générative peut aller au-delà du simple suivi d'invite vers un raisonnement créatif stratégique, équilibrant l'exploration de nouvelles idées avec l'exploitation de styles éprouvés.
• Évolutivité pour les créateurs indépendants : En automatisant la coordination complexe du scénario, de la cohérence visuelle et de la direction, le cadre démocratise la production cinématographique haut de gamme, précédemment accessible uniquement aux grandes équipes.
• Évaluation robuste : L'introduction de GenAd-Bench établit une nouvelle norme pour l'évaluation des flux de travail génératifs de bout en bout, adressant spécifiquement le « biais de mémorisation » dans les benchmarks actuels.
• Généralisabilité : Bien que démontré sur la publicité, la capacité du cadre à gérer des contraintes strictes et à maintenir l'identité suggère une applicabilité à des récits cinématographiques plus larges, des courts métrages et à la création de contenu personnalisé.

En résumé, Co-Director représente un changement de paradigme, passant de pipelines de génération linéaires et sujets aux erreurs à un système d'agents auto-correctif et optimisé globalement, obtenant des résultats de l'état de l'art en matière de cohérence narrative, de cohérence visuelle et d'alignement stratégique.