🤖 AI

GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling

GroundShot est un cadre de travail sans entraînement et agnostique au modèle qui améliore la génération de vidéos longues multi-plans visuellement cohérentes en planifiant dynamiquement l'ordre des plans et en maintenant une mémoire visuelle de niveau entité en ligne pour ancrer et vérifier les références d'entités, empêchant ainsi la dérive visuelle entre les plans.

Auteurs originaux : Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yixuan Lai, Tianjia Shao, Kun Zhou, Weijia Dou, Siyu Zhu, Jingdong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez un film, mais au lieu d'engager des acteurs et une équipe de tournage, vous demandez à une IA magique de dessiner chaque scène en se basant sur le scénario que vous avez écrit.

Le plus gros problème des créateurs de films par IA actuels est la perte de mémoire. Si vous demandez à l'IA de dessiner une scène avec une « femme aux cheveux roux portant un manteau bleu » dans la Scène 1, puis que vous lui demandez à nouveau la même femme dans la Scène 10, l'IA oublie souvent son apparence. Peut-être que ses cheveux deviennent bruns, que son manteau devient vert, ou qu'elle se retrouve soudainement avec un visage différent. Cela arrive parce que l'IA essaie de se souvenir de la dernière chose qu'elle a dessinée, et les petites erreurs s'accumulent comme dans un jeu du « téléphone arabe », jusqu'à ce que le personnage soit méconnaissable.

GroundShot est un nouveau système conçu pour corriger cela. Il ne se contente pas de laisser l'IA dessiner les scènes dans l'ordre ; il agit comme un directeur intelligent et un archiviste méticuleux travaillant de concert.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La règle de la « Meilleure Photo » (Planification axée sur la qualité)

Dans un film normal, on tourne les scènes dans l'ordre où elles se déroulent dans l'histoire. Mais GroundShot réalise que toutes les prises de vue ne sont pas bonnes pour se souvenir de l'apparence d'un personnage.

Le Problème : Si la première fois qu'un personnage apparaît dans l'histoire, c'est sous la forme d'une petite silhouette floue au loin (un « plan large »), c'est une très mauvaise photo pour s'en souvenir. Si l'IA utilise cette photo floue comme référence pour le reste du film, le personnage restera flou ou déformé.
La Solution GroundShot : Le système examine d'abord l'ensemble du scénario. Il dit : « Attendez, ne tournons pas l'histoire dans l'ordre pour l'instant. Tournons d'abord le gros plan du visage du personnage, même si cette scène se déroule plus tard dans l'histoire. »
L'Analogie : Imaginez que vous essayiez d'apprendre à quelqu'un à reconnaître votre chien. Vous ne commenceriez pas par lui montrer une photo du chien à 100 mètres de distance sous la pluie. Vous lui montreriez d'abord une photo claire et de haute qualité du visage du chien. GroundShot génère d'abord cette « photo de visage claire », la verrouille pour en faire la Référence Maîtresse, et utilise ensuite cette image parfaite pour guider le dessin de toutes les autres scènes, peu importe où elles se situent dans l'histoire.

2. Le « Classeur Spécialisé » (Mémoire au niveau de l'entité)

Les anciens systèmes essaient de se souvenir de l'image entière d'une scène. C'est comme essayer de se souvenir de toute une pièce pour trouver une chaise spécifique. C'est désordonné et confus.

La Solution GroundShot : GroundShot décompose la scène en éléments individuels : le Personnage, l'Objet (comme une veste), et le Lieu (comme un restaurant).
L'Analogie : Au lieu d'un seul immense album photo, GroundShot possède trois classeurs séparés :
- Classeur A (Personnages) : Contient la meilleure photo de la « Femme aux cheveux roux ».
- Classeur B (Objets) : Contient la meilleure photo de la « Veste bleue ».
- Classeur C (Lieux) : Contient la meilleure photo du « Restaurant ».
  Lorsqu'il doit dessiner une nouvelle scène, il extrait le dossier spécifique de la « Femme aux cheveux roux » et le dossier de la « Veste bleue ». Il ne se laisse pas distraire par l'arrière-plan ou les autres personnes dans la pièce.

3. L'« Inspecteur de Contrôle Qualité » (Vérification et ancrage)

Ce n'est pas parce que l'IA dessine quelque chose que c'est assez bon pour servir de référence.

Le Processus : Après qu'une scène a été dessinée, GroundShot agit comme un monteur de film strict. Il vérifie : « Le visage est-il clair ? La veste est-elle de la bonne couleur ? Le personnage a-t-il disparu ? »
Le Filtre : Si le dessin est flou, coupé ou étrange, GroundShot le jette à la poubelle. Il ne conserve que les versions parfaites pour les mettre dans les classeurs. Si un personnage n'est vu que de dos, GroundShot sait que c'est une mauvaise référence pour son visage, donc il attend de pouvoir générer un plan de face avant de mettre à jour la mémoire.

4. La « Bibliothèque Dynamique » (Mises à jour intelligentes)

Parfois, un personnage doit changer d'apparence (par exemple : sourire vs froncer les sourcils, ou être vu de profil).

La Solution : GroundShot garde la « Référence Maîtresse » (le visage parfait) en sécurité et inchangée. Mais, si une nouvelle scène nécessite une vue de profil, il ajoute un fichier supplémentaire au classeur qui montre la vue de profil, tant qu'il correspond toujours à la Référence Maîtresse.
L'Analogie : Pensez-y comme à un modèle 3D. Vous avez le plan principal (la Référence Maîtresse). Si vous devez construire un mur sur le côté, vous ajoutez un plan de vue latérale, mais vous ne modifiez jamais le plan principal. Cela garantit que le personnage ne « dérive » jamais pour ressembler à une autre personne.

Le Résultat

En faisant tout cela, GroundShot crée des vidéos longues où les personnages, les vêtements et les lieux restent exactement les mêmes du début à la fin. Il n'a pas besoin d'être réentraîné ou d'apprendre de nouvelles astuces ; il organise simplement le processus plus intelligemment.

En bref : GroundShot empêche l'IA de jouer au « téléphone arabe » avec ses propres souvenirs. Au lieu de cela, il crée une « Référence Maîtresse » pour chaque personnage et objet, génère d'abord la meilleure version possible de ceux-ci, et utilise ensuite cette version parfaite pour assurer la cohérence tout au long du film.

Résumé Technique : GroundShot

Problématique

La génération de vidéos longues à plans multiples visuellement cohérentes reste un défi ouvert dans la synthèse texte-vidéo (T2V). Bien que les modèles récents puissent produire des clips courts cohérents, l'extension de ceux-ci vers des récits multi-plans entraîne une dérive visuelle. À mesure que le nombre de plans augmente, les entités (personnages, objets, lieux) voient souvent leurs traits du visage, leurs couleurs, leur forme ou leur cohérence spatiale changer.

L'article identifie deux limitations primaires des méthodes multi-plans existantes :

Références à l'image entière : Les approches existantes reposent souvent sur des mémoires au niveau de l'image ou des images adjacentes. Cela enchevêtre les personnages, les objets et les arrière-plans, forçant le générateur à inférer l'apparence des entités à partir de contextes visuels mixtes, ce qui devient peu fiable à mesure que les scènes se complexifient.
Génération dans l'ordre narratif : La plupart des méthodes génèrent les plans dans l'ordre du récit. Cela force le système à initialiser la mémoire à partir de vues précoces, potentiellement faibles (par exemple, un plan d'ensemble lointain), plutôt que d'attendre une apparence plus claire et plus informative qui pourrait survenir plus tard dans l'histoire. Les erreurs de ces premières références de faible qualité se propagent vers l'avant, causant une dérive d'identité cumulative.

Les auteurs observent que les spectateurs humains jugent la cohérence en comparant chaque apparition subséquente d'une entité par rapport à sa première apparition claire (la « référence canonique »). Par conséquent, la cohérence doit être gérée au niveau de l'entité, en découplant l'ordre de génération de l'ordre narratif pour donner la priorité à la création de références canoniques de haute qualité.

Méthodologie : GroundShot

GroundShot est un cadre agentique sans entraînement et agnostique au modèle, conçu pour gérer la mémoire visuelle au niveau de l'entité et l'ordonnancement des plans. Il fonctionne comme une enveloppe autour des backends de T2V ou de vidéo conditionnée par référence (Ref2V) existants. Le pipeline se compose de cinq étapes clés :

1. Analyse du script et extraction d'entités

Un analyseur LLM analyse le script textuel d'entrée et l'optionnel sous-titre global pour :

Identifier les entités récurrentes (personnages, objets, lieux).
Lier les mentions textuelles à travers les plans pour assigner un ID d'entité unique.
Assigner des niveaux de priorité (Personnages > Objets > Lieux).
Déterminer l'ensemble des entités apparaissant dans chaque plan.

2. Ordonnancement des plans sensible à la qualité

Au lieu de suivre l'ordre narratif, GroundShot détermine un ordre de génération ( $\pi$ ) optimal basé sur l'utilité attendue des plans en tant que sources de référence.

Estimation de la qualité de référence : Pour chaque entité $e$ et chaque plan $s_i$ , un estimateur de qualité de référence $Q_{ref}$ prédit un score $q_{src}(s_i, e)$ basé sur la clarté avec laquelle l'entité est censée apparaître (en considérant l'échelle, l'occlusion et la vue).
Construction du graphe de dépendance : L'ordonnanceur construit un graphe dirigé où les arêtes pointent d'un « plan source » sélectionné (le plan ayant la qualité prédite la plus élevée pour une entité) vers les autres plans contenant cette entité.
Tri topologique : L'ordonnanceur résout les cycles (conflits de préférences entre entités) en priorisant les entités de plus haute priorité et les gains de qualité plus importants, puis effectue un tri topologique pour produire l'ordre de génération. Cela garantit que les plans de référence de haute qualité sont générés avant les plans dépendants.

3. Mémoire visuelle au niveau de l'entité

GroundShot maintient une mémoire visuelle dynamique $R$ organisée par entité, et non par image.

Référence Canonique : La première référence suffisamment qualitative pour une entité est protégée en tant que référence canonique ( $r^*_e$ ). Cette ancre n'est jamais écrasée.
Références Supplémentaires : Le système admet des références supplémentaires uniquement si elles sont cohérentes avec l'identité canonique (porte d'identité) mais fournissent des preuves visuelles non redondantes, telles que des expressions, des vues ou des extensions de scène différentes (porte de diversité).
Ancrage et Vérification : Après la génération d'un plan, le système effectue un ancrage au niveau de l'entité (en utilisant des modèles comme ReferDINO) pour extraire des recadrages candidats.
- Personnages/Objets : Des recadrages de premier plan sont extraits.
- Lieux : Le premier plan est masqué et supprimé via un modèle d'édition d'image pour reconstruire la scène d'arrière-plan.
- Contrôles de Qualité : Les candidats subissent des contrôles de qualité spécifiques au type (ex: visibilité du visage, netteté, sécurité de la reconstruction). Seuls les candidats passant un seuil $\tau_{type}$ sont admis en mémoire.

4. Génération de plans

Pour chaque plan dans l'ordre d'ordonnancement :

Récupération de Référence : Le système récupère la référence canonique par défaut. Si une référence supplémentaire correspond mieux à la vue, l'expression ou la couverture de lieu spécifique du plan cible, elle est sélectionnée via un scoreur VLM.
Mode de Génération :
- T2V : S'il n'existe aucune référence de premier plan utilisable, le plan est généré à partir du texte.
- Ref2V : Si des références sont disponibles, le plan est généré en étant conditionné par celles-ci.
Vérification et Réparation : Un critique VLM vérifie la vidéo générée par rapport au prompt et aux références. Si des problèmes graves (discordance d'identité, entité manquante) sont détectés, des réparations ciblées (ex: conditionnement plus fort, ajustements de prompt, ré-amorçage) sont tentées.

5. Apprentissage par l'expérience

GroundShot maintient un journal d'expérience de génération $X$ enregistrant les actions de réparation réussies et les modes d'échec. Cela guide les décisions futures pour des plans similaires, permettant une amélioration itérative au sein d'une seule exécution de génération.

Contributions Clés

Cadre GroundShot : Un nouveau cadre agentique sans entraînement qui formule la cohérence multi-plans comme un problème de gestion de références au niveau de l'entité. Il découple explicitement l'ordre de génération de l'ordre narratif via un ordonnancement sensible à la qualité et maintient une mémoire visuelle organisée des références d'entités.
GroundBench : Un benchmark diagnostique conçu pour évaluer la cohérence multi-plans au niveau de l'entité. Il organise les scripts en modules de défis contrôlés (ex: changements d'échelle, discrimination multi-identité, visites de scènes) pour permettre une analyse fine des échecs, allant au-delà des métriques holistiques au niveau de l'image.
Validation Empirique : Des expériences approfondies démontrent que GroundShot surpasse les bases solides (incluant HoloCine, MultiShotMaster et StoryMem) en termes de métriques de cohérence au niveau de l'entité (ARC, WCI, XCD) sans nécessiter d'entraînement supplémentaire ou de modification de modèle.

Résultats

Performance Quantitative : Sur GroundBench, GroundShot atteint des résultats de pointe en Cohérence Relative à l'Ancre (ARC) et en Identité du Pire Cas (WCI), indiquant une préservation supérieure de l'identité de l'entité à travers les plans. Il améliore également la Discrimination Inter-Personnages (XCD), séparant efficacement les identités similaires.
Agnosticisme du Backend : Le cadre améliore la cohérence à travers trois backends de génération vidéo différents (Vidu, Kling et l'open-source Wan2.1+Phantom), prouvant que les gains proviennent du cadre agentique plutôt que d'un backend spécifique.
Évaluation Humaine : Dans une étude avec 48 participants, GroundShot a reçu les scores les plus élevés pour la Cohérence d'Identité (4,18/5), l'Alignement Textuel (4,23/5) et la Qualité Globale (4,21/5), surpassant tous les modèles de base.
Études d'Ablation :
- Ancrage d'Entité : Supprimer l'ancrage au niveau de l'entité (en utilisant des images complètes à la place) a provoqué la plus forte baisse de performance, confirmant la nécessité de références d'entités désengagées.
- Ordonnancement : Revenir à une génération dans l'ordre narratif a considérablement dégradé l'ARC et le WCI, validant l'importance de générer d'abord les plans sources de référence.
- Mémoire Dynamique : Autoriser les références supplémentaires (au-delà de l'ancre canonique unique) s'est avéré crucial pour gérer les changements de vue et les extensions de scène, particulièrement pour les lieux.

Signification et Revendications

L'article affirme que GroundShot répond à la limitation fondamentale de la dérive cumulative dans la génération de vidéos longues en passant d'un paradigme de conditionnement séquentiel au niveau de l'image à une gestion de référence centrée sur l'entité.

Priorité à la Référence Canonique : En privilégiant la génération de plans offrant des apparitions d'entités claires et de haute qualité, GroundShot établit une structure de cohérence en « étoile » où toutes les apparitions ultérieures sont liées à un standard unique et fiable, plutôt que de dériver d'une chaîne de potentiellement faibles images intermédiaires.
Découplage de la Production et du Récit : Le cadre démontre que l'ordre dans lequel les plans sont générés n'a pas besoin de correspondre à l'ordre narratif. Cette flexibilité permet au système de « pré-calculer » l'identité visuelle des personnages et des scènes avant qu'ils ne soient nécessaires dans l'histoire.
Praticité : GroundShot ne nécessite aucun entraînement supplémentaire des modèles de génération vidéo sous-jacents, ce qui le rend immédiatement applicable aux systèmes T2V et Ref2V de pointe actuels.

Les auteurs reconnaissent que GroundShot est limité par le plafond de qualité de son backend de génération vidéo sous-jacent ; si le backend ne peut pas produire une entité reconnaissable en une seule tentative, le cadre ne peut pas pleinement résoudre le problème. Cependant, le cadre élève considérablement le plafond de cohérence pour la génération multi-plans en garantissant que les références utilisées sont de la plus haute qualité possible disponible.