🤖 AI

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

Le document présente OmniDirector, un cadre unifié qui permet le clonage de caméras multi-plans général pour la génération de vidéos sans nécessiter de données appariées croisées en utilisant une nouvelle représentation de caméra basée sur une grille et un agent d'expansion de prompts hiérarchique pour coordonner les personnages, les actions et les trajectoires de caméra complexes.

Auteurs originaux : Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un réalisateur de cinéma. Vous avez une scène parfaite en tête, mais vous n'avez qu'une seule photographie fixe pour commencer. Vous voulez raconter une histoire, mais la caméra doit bouger : zoomer sur le visage d'un personnage, effectuer un panoramique à travers un paysage, ou alterner entre différents angles.

Habituellement, demander à un ordinateur de faire cela revient à essayer d'expliquer une danse à quelqu'un qui n'a jamais vu de danse en utilisant uniquement des équations mathématiques. C'est soit trop vague (dire simplement « bouge la caméra »), soit trop complexe (donner des coordonnées 3D exactes que personne ne peut visualiser).

OmniDirector est un nouvel outil qui résout ce problème en vous permettant de « copier-coller » les mouvements de caméra de n'importe quelle vidéo que vous aimez sur votre propre image. Voici comment cela fonctionne, décomposé en concepts simples :

1. L'astuce de la « Pièce Fantôme » (La Grille de Caméra)

Le plus gros problème lors de la copie de mouvements de caméra est que les ordinateurs s'embrouillent si la nouvelle scène est différente de l'ancienne. Si la vidéo de référence est une petite voiture jouet et que votre image est une véritable montagne, une copie directe pourrait donner l'impression que la montagne est un jouet.

Pour corriger cela, OmniDirector utilise une astuce ingénieuse appelée la Grille de Caméra.

L'analogie : Imaginez que vous vouliez apprendre à quelqu'un comment conduire un itinéraire spécifique. Au lieu de lui montrer une vidéo d'une Ferrari circulant dans Paris (ce qui pourrait le confondre s'il conduit un camion à New York), vous lui montrez une vidéo d'une pièce vide et fantomatique avec seulement des lignes de grille sur le sol et les murs.
Comment ça marche : Le système prend les mouvements de caméra de votre vidéo de référence et les dessine sous forme d'une grille en mouvement à l'intérieur d'une pièce 3D vide. Cette grille montre uniquement le trajet et l'angle de la caméra, dépouillant ainsi la scène de ses voitures, personnes et décors.
Le résultat : Comme la « pièce » est vide, l'ordinateur apprend parfaitement le mement sans être distrait par le contenu. Il peut ensuite appliquer ce mouvement exact à votre montagne, à votre voiture jouet, ou à n'importe quoi d'autre, quels que soient la taille ou la forme.

2. L'« Assistant du Réalisateur » (L'Agent de Prompt)

Une fois que l'ordinateur sait comment la caméra bouge, il doit savoir quoi montrer. Vous pourriez avoir une vidéo de référence, une photo de départ et une description textuelle (par exemple, « un chat assis sur une clôture »).

Le problème : Si vous lancez toutes ces instructions à l'ordinateur, il pourrait s'embrouiller. Il pourrait accidentellement copier le chat de la vidéo de référence au lieu de votre photo, ou mélanger les mouvements de caméra avec l'histoire.
La solution : OmniDirector utilise un « Assistant » intelligent (appelé Agent d'Expansion de Prompt Hiérarchique).
- L'analogie : Considérez cet assistant comme un traducteur qui parle le « Langage de la Caméra » et le « Langage de l'Histoire ». Il regarde la vidéo de référence et écrit un script spécifique : « D'abord, la caméra recule (Plan 1). Ensuite, elle pivote vers la gauche (Plan 2). »
- Il sépare soigneusement les mouvements de caméra des détails de l'histoire. Il garantit que l'ordinateur comprenne : « Utilise le mouvement de la vidéo de référence, mais utilise le chat de votre photo. » Cela empêche l'ordinateur de voler accidentellement les mauvais objets de la vidéo de référence.

3. Le « Guichet Unique » (Clonage Multi-Plans)

La plupart des outils précédents ne pouvaient gérer qu'un seul mouvement de caméra continu. Si vous vouliez une vidéo avec trois plans différents (comme une scène de film), ils échouaient ou devenaient désordonnés.

OmniDirector est spécial car il gère les vidéos Multi-Plans. Il comprend qu'un film n'est pas juste un plan séquence, mais une série de coupes. Il peut regarder une vidéo de référence comportant plusieurs coupes et répliquer exactement cette séquence de plans sur votre image, en gardant l'histoire logique et les transitions fluides.

4. Pourquoi est-ce meilleur qu'avant ?

Pas de « triche » : Les anciennes méthodes essayaient souvent d'apprendre en regardant des paires de vidéos qui étaient identiques à l'exception du mouvement de caméra. Mais ces vidéos sont difficiles à trouver. OmniDirector n'en a pas besoin. Il construit ses propres « données d'entraînement » en transformant des millions de vidéos aléatoires d'Internet en ces grilles de « Pièce Fantôme ».
Pas de « fuite » : Grâce à la grille vide et à l'assistant intelligent, il ne copie pas accidentellement les mauvaises personnes ou les mauvais objets de la vidéo de référence. Il garde votre image propre et ne copie que le mouvement.
Cela fonctionne, tout simplement : L'article démontre que même si vous lui fournissez une vidéo brute ou un simple dessin au trait (comme une carte de contours Canny) au lieu de la grille parfaite, le système est assez intelligent pour comprendre les mouvements de caméra de toute façon. C'est comme un musicien qui peut jouer une chanson parfaitement même si vous fredonnez l'air au lieu de jouer la partition.

Résumé

OmniDirector est comme un opérateur de caméra magique. Vous lui donnez une photo fixe et une vidéo de référence. Il réduit la vidéo de référence à son « squelette » (le mouvement de la grille vide), utilise un assistant intelligent pour écrire un script clair, puis anime votre photo pour qu'elle se déplace exactement comme la vidéo de référence — qu'il s'agisse d'un simple zoom ou d'une scène de film complexe avec plusieurs coupes. Il fait cela sans avoir besoin de données spéciales et sans être perturbé par les différences entre les scènes.

Résumé Technique : OmniDirector

Problématique

Le mouvement de caméra est un élément critique dans la génération de vidéos, façonnant l'atmosphère, l'émotion et la profondeur narrative. Cependant, les méthodes existantes de contrôle de caméra font face à des limitations significatives :

Descriptions Textuelles : Bien qu'accessibles, elles ne parviennent pas à définir précisément des attributs cinématographiques nuancés.
Représentations Paramétriques Explicites : Les méthodes utilisant des matrices ou des coordonnées de Plücker offrent de la précision mais imposent des barrières d'utilisation élevées et peinent lors de la génération multi-plans et des transitions de plans.
Approches par Référence Vidéo :
- Extraction de Paramètres Explicites : Souffre d'ambiguïtés d'échelle lors du transfert de trajectoires de caméra de l'environnement de référence vers des scènes générées ayant des échelles spatiales différentes.
- Apprentissage Implicite/de Bout en Bout : Repose sur des données appariées croisées (vidéos avec un mouvement de caméra identique mais un contenu différent). De telles données sont rares dans le monde réel. Bien que les données synthétiques puissent pallier ce manque, elles manquent souvent de la complexité narrative des séquences réelles, entraînant de faibles performances pour gérer les coupes de plans et les transitions complexes. De plus, les méthodes existantes souffrent souvent de « fuite d'informations », où le modèle copie par inadvertance l'apparence ou le mouvement des personnages de la vidéo de référence plutôt que la seule trajectoire de la caméra.

Il existe un manque de cadre général capable de cloner des mouvements de caméra complexes et multi-plans à partir de vidéos de référence sans nécessiter de données d'entraînement appariées croisées ou de souffrir de fuite de contenu.

Méthodologie

Les auteurs proposent OmniDirector, un cadre unifié conçu pour les Transformeurs de Diffusion Multimodaux (MMDiT) afin de réaliser un clonage de caméra multi-plans généralisé. La méthodologie se compose de trois composantes clés :

1. Représentation par Grille de Caméra (Camera Grid)

Pour découpler le mouvement de la caméra du contenu de la scène et permettre un entraînement évolutif, les auteurs introduisent la Grille de Caméra.

Concept : Au lieu d'utiliser une vidéo brute ou des paramètres explicites, le mouvement de la caméra est rendu sous la forme d'une vidéo d'une scène 3D vide contenant une grille spatiale.
Construction :
- Les poses de caméra ( $R_i, t_i$ ) sont extraites des vidéos de référence.
- Une scène 3D vide est modélisée avec des lignes de grille orthogonales représentant le sol, le plafond et un « mur de tunnel » entourant la trajectoire de la caméra pour visualiser le mouvement relatif.
- Des effets spéciaux comme la distorsion fisheye et le zoom de Hitchcock (dolly zoom) sont pris en charge en modifiant le schéma de rendu (par exemple, en utilisant le modèle de Kannala–Brandt pour la distorsion).
Avantages :
- Généralité : Unifie le clonage mono-plan et multi-plans.
- Découplage : La scène vide empêche toute interférence provenant de l'apparence ou du mouvement des personnages.
- Évolutivité : Toute vidéo peut être convertie en une grille de caméra, permettant la construction de jeux de données d'entraînement à l'échelle du million sans nécessiter de données curatées manuellement et appariées croisées.

2. Architecture et Entraînement d'OmniDirector

Architecture : Construit sur un Transformeur de Diffusion Multimodal (MMDiT).
Injection d'Entrée : La grille de caméra ( $G$ ), l'image de référence ( $I$ ) et le latent vidéo bruité ( $Z_v$ ) sont encodés via un VAE 3D et concaténés le long de la dimension des trames pour former une représentation spatio-temporelle unifiée ( $z_{vis}$ ). Les conditions textuelles sont traitées séparément et interagissent avec les jetons visuels via une attention conjointe.
Stratégie d'Entraînement :
- Jeu de Données : Entraîné sur 1,8 million de paires de vidéos à l'échelle d'Internet (vidéo de référence + grille de caméra générée).
- Objectif d'Auto-Reconstruction : 30 % des échantillons d'entraînement utilisent la grille de caméra elle-même comme vidéo cible. Cela force le modèle à apprendre la structure géométrique et la dynamique temporelle de la grille plutôt que de la traiter comme un simple indice faible, évitant ainsi le surapprentissage de corrélations spécieuses.

3. Agent d'Expansion de Prompt Hiérarchique (PE)

Pour intégrer harmonieusement le contrôle de la caméra avec d'autres signaux (prompts utilisateur, images de référence) lors de l'inférence, un nouvel Agent PE est employé :

Génération de Prompt de Caméra : Un MLLM (Qwen3-VL) génère un prompt de caméra ( $T_c$ $T_{c}$ ) décomposé en :
- Inter-plan (Inter-shot) : Analyse les relations entre les plans adjacents pour assurer la cohérence sémantique à travers les transitions.
- Intra-plan (Intra-shot) : Décrit le mouvement de la caméra au sein de plans individuels basé sur l'estimation de pose et la correction visuelle.
Fusion Sémantique : L'agent fusionne le prompt de la caméra, l'image de référence et le prompt utilisateur en une condition textuelle unique et cohérente, évitant les conflits et la fuite de l'arrière-plan.
Guidage par Classificateur sans Variable Adaptatif (Adaptive CFG) : Une stratégie de débruitage du grossier au fin est utilisée. Les caractéristiques de la grille de caméra sont injectées pendant le régime de bruit élevé pour établir une structure spatiale globale, tandis que les autres signaux sont introduits dans le régime de bruit faible pour affiner les détails locaux.

Contributions Clés

Cadre OmniDirector : Un cadre de génération de vidéo unifié permettant un clonage de caméra multi-plans généralisé sans données appariées croisées, offrant un contrôle de niveau réalisateur pour les MMDiT.
Grille de Caméra : Une nouvelle représentation visuelle générale pour le mouvement de caméra qui découple la trajectoire du contenu, permettant la construction de jeux de données d'entraînement à l'échelle du million.
Agent d'Expansion de Prompt Hiérarchique : Un mécanisme qui intègre systématiquement le mouvement de la caméra avec des signaux multimodaux, assurant la cohérence sémantique dans des scénarios multi-plans et minimisant la fuite d'informations.

Résultats Expérimentaux

Le cadre a été évalué sur un ensemble diversifié de 1 094 échantillons couvrant des vidéos mono et multi-plans, diverses résolutions et des effets complexes.

Performance Quantitative : OmniDirector surpasse les modèles de référence (CamCloneMaster, Seedance2.0, LTX-LoRA) sur l'ensemble des métriques.
- Précision de la Caméra : A atteint une Erreur de Translation Relative (RTE) de 16,84° et une Précision de Translation (T-Pre) de 72,74 %, représentant une amélioration relative de 39,3 % de la précision de translation par rapport à la deuxième meilleure méthode.
- Précision de Transition : A atteint 96,52 % de Précision Temporelle (Tem-Pre) et 83,79 % de Précision Sémantique (Sem-Pre) pour les transitions de plans.
- Taux de Fuite : A démontré le taux de fuite le plus bas (0,51 % par trame, 3,38 % par plan), surpassant de manière significative les modèles de référence qui luttent contre la fuite de contenu.
Performance Qualitative : Le modèle clone fidèlement des trajectoires complexes (incluant les zooms de Hitchcock et les mouvements d'arc) et maintient la cohérence sémantique dans les séquences multi-plans, là où les modèles de référence échouent souvent lors des transitions ou présentent des artefacts de mouvement.
Capacités Émergentes : Le modèle démontre une généralisation zero-shot, exécutant avec succès des mouvements de caméra lorsqu'il est conditionné par des vidéos RGB brutes ou des séquences de contours Canny sans réentraînement, suggérant que la grille de caméra débloque efficacement la compréhension des dynamiques spatiales.

Signification

L'article affirme qu'OmniDirector répond au compromis fondamental entre précision et accessibilité dans le contrôle de la caméra. En introduisant la grille de caméra, les auteurs contournent la rareté des données d'entraînement appariées croisées et l'ambiguïté d'échelle de l'extraction de paramètres explicites. Le cadre permet la génération de vidéos haute fidélité avec des séquences multi-plans et un contrôle de niveau réalisateur, comblant efficacement le fossé entre le contrôle intuitif par référence et les exigences rigoureuses de la cinématographie professionnelle. Ce travail établit un nouveau paradigme pour l'entraînement de modèles de génération vidéo sur des jeux de données massifs, automatiquement curatés à partir de vidéos standards d'Internet.