SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control

Résumé technique : SmartDirector

Énoncé du problème
Alors que les récentes avancées en génération vidéo sont passées de la synthèse de courts clips en un seul plan à la création de récits longs et multi-plans, les méthodes existantes souffrent d'un manque de contrôle précis sur la structure narrative et le rythme temporel. Les approches actuelles reposent principalement sur des signaux de conditionnement épars, tels que des invites textuelles ou uniquement les première et dernière images. Cette limitation restreint la capacité à gérer un contenu spatio-temporel fin. De plus, des stratégies naïves traitant les images clés adjacentes comme points de départ et d'arrêt pour des clips courts entraînent souvent des discontinuités temporelles abruptes et une perte de cohérence narrative. Une approche plus directe — l'insertion d'images clés dans des latents bruités à des positions temporelles arbitraires — est fondamentalement entravée par la structure causale des Autoencodeurs Variationnels 3D (VAE) standards. Dans ces VAE, la première image est encodée indépendamment tandis que les images subséquentes sont encodées par groupes avec une dépendance causale aux images précédentes ; le remplacement arbitraire de latents viole cette dépendance, produisant des artefacts visuels et des discontinuités temporelles.

Méthodologie
L'article propose SmartDirector, un cadre unifié en deux étapes conçu pour la génération vidéo cinématographique conditionnée par des images clés. Le cadre prend en charge divers scénarios, notamment la génération en un seul plan, la synthèse de récits multi-plans et l'extension vidéo.

1. Director-Gen (Étape de génération) :

   • Stratégie VAE multi-blocs : Pour contourner les contraintes causales du VAE temporel, la vidéo est partitionnée en plusieurs blocs aux positions des images clés. Chaque image clé sert de première image de son bloc respectif et est encodée indépendamment. Cela permet de placer les images clés à des positions temporelles arbitraires sans violer les dépendances causales.
   • Cohérence globale : Les latents multi-blocs résultants sont traités par un Transformateur de Diffusion (DiT). Pour maintenir une cohérence globale sur toute la séquence, le modèle emploie une attention spatio-temporelle complète, permettant à chaque bloc de se référer au contexte global de tous les autres blocs.
   • MC-RoPE (Encodage de position rotatif multi-blocs) : Pour résoudre les discontinuités temporelles aux limites des blocs causées par les encodages de position standards, les auteurs proposent MC-RoPE. Cela attribue des indices temporels fractionnaires aux positions des images clés, préservant la régularité temporelle à travers la séquence latente unifiée.
   • Sortie : Cette étape génère une vidéo basse résolution (par exemple, 480p).

2. Director-SR (Étape de super-résolution) :

   • Raffinement conditionné par image clé : Reconnaissant que les sorties basse résolution manquent souvent de détails fins (par exemple, traits du visage, texte), cette étape affine la sortie en utilisant des images clés haute résolution comme ancres sémantiques.
   • Mécanisme : Le module prend la vidéo basse résolution (LR) et les images clés haute résolution (HR). Il emploie la stratégie VAE multi-blocs pour encoder les latents HR et LR indépendamment. Aux indices des images clés, les latents LR sont remplacés par les latents HR correspondants pour imposer le conditionnement.
   • Appariement de flux : Le modèle utilise l'appariement de flux pour prédire le champ de vitesse mappant le latent LR vers le latent HR, augmentant efficacement la vidéo à la haute définition (par exemple, 1080p) tout en corrigeant les artefacts génératifs.

Pipeline de données
Pour entraîner le cadre, les auteurs ont construit un pipeline de données spécialisé. Ils ont sélectionné des films libres de droits, les ont segmentés en plans uniques, et ont agrégé des plans consécutifs partageant des scènes et des intrigues en séquences multi-plans cohérentes à l'aide de modèles vision-langage (VLM). Le jeu de données comprend des légendes structurées couvrant le mouvement de caméra, l'apparition des personnages et des descriptions narratives holistiques, générées via des modèles tels que Qwen3-VL et Gemini-3-Pro.

Contributions clés

• Cadre unifié : La proposition de SmartDirector, qui permet une génération flexible conditionnée par des images clés pour les tâches de génération en un seul plan, multi-plans et d'extension vidéo.
• Stratégie VAE multi-blocs : Une conception novatrice qui répond aux limitations causales des VAE temporels, permettant l'insertion d'images clés à des positions arbitraires tout en assurant une génération fluide et continue.
• Super-résolution conditionnée par image clé : Un module de raffinement qui utilise des images clés haute résolution comme ancres sémantiques pour récupérer des détails fins et corriger des artefacts, se distinguant des méthodes de restauration au niveau des pixels standards.

Résultats
Des expériences extensives démontrent que SmartDirector surpasse considérablement les approches actuelles de l'état de l'art, y compris le système Dreamina Multiframes en source fermée.

• Métriques quantitatives : Dans les scénarios en un seul plan, SmartDirector a réduit la distance Fréchet Vidéo (FVD) de 226,85 (base) à 41,12. Dans les scénarios multi-plans, l'amélioration a été encore plus significative, réduisant la FVD de 251,83 à 65,65.
• Fidélité sémantique : En utilisant des évaluations basées sur des LLM sur cinq dimensions (respect des instructions, cohérence narrative, cohérence physique, qualité vidéo et qualité esthétique), SmartDirector a obtenu un score moyen de 91,30 en configuration un seul plan et de 88,48 en configuration multi-plans, surpassant significativement la base (83,87 et 59,32 respectivement).
• Évaluation humaine : Dans une étude comparative Good/Same/Bad (GSB), SmartDirector a obtenu un taux de victoire de 54,73 % pour la qualité globale dans les scénarios multi-plans, démontrant une cohérence d'identité et un rythme narratif supérieurs.
• Performance de super-résolution : Évalué indépendamment contre SparkVSR, SmartDirector a obtenu des scores PSNR et SSIM comparables mais des scores LPIPS significativement plus faibles, indiquant une qualité perceptive supérieure et une meilleure restauration des détails.

Signification et affirmations
L'article affirme que SmartDirector représente une avancée significative en génération vidéo cinématographique en comblant le fossé entre les pratiques de réalisation professionnelle (storyboard) et la génération par IA. En traitant les images clés comme des équivalents directs des storyboards, le cadre offre un contrôle précis sur la structure narrative et le rythme temporel. Les auteurs soulignent que leur stratégie VAE multi-blocs et MC-RoPE résolvent avec succès le conflit fondamental entre l'insertion arbitraire d'images clés et la structure causale des VAE temporels. De plus, la conception en deux étapes équilibre efficacement l'efficacité computationnelle avec une sortie haute fidélité, permettant la génération de récits multi-plans cohérents et haute définition qui maintiennent l'identité des entités et la cohérence spatiale tout au long de la séquence. Les auteurs notent que si le pipeline en deux étapes introduit un goulot d'étranglement informationnel mineur lors de la synthèse initiale, l'étape de super-résolution subséquente atténue efficacement cela, produisant des résultats qui approchent la qualité des générateurs haute résolution idéalisés en une seule étape.