🤖 AI

TriMotion: Modality-Agnostic Camera Control for Video Generation

TriMotion est un cadre agnostique de la modalité qui unifie les entrées vidéo, de pose et de texte dans un espace d'incorporation de mouvement partagé via un nouveau jeu de données et un objectif de cohérence latente, permettant une génération de vidéo contrôlée par la caméra de haute qualité et flexible à travers des entrées utilisateur hétérogènes.

Auteurs originaux : Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un réalisateur de cinéma. Vous avez un scénario (une description textuelle), un storyboard (une vidéo de référence) et un plan technique (des coordonnées de caméra). Par le passé, si vous vouliez qu'une IA génère une vidéo avec un mouvement de caméra spécifique — comme un zoom avant fluide ou une orbite rotative — vous deviez parler la langue spécifique de l'IA. Si l'IA ne comprenait que les plans techniques, vous ne pouviez pas utiliser votre storyboard. Si elle ne comprenait que les storyboards, vous ne pouviez pas utiliser votre scénario. Vous étiez coincé avec un outil pour une seule tâche.

TriMotion est un nouveau « traducteur universel » pour la génération de vidéos par IA. Il vous permet de contrôler la caméra en utilisant n'importe lequel de ces trois outils : le texte, une vidéo de référence ou des données de caméra techniques. L'IA comprend tous ces éléments comme étant la même chose.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : La « barrière de la langue »

Actuellement, la plupart des outils vidéo IA sont comme des spécialistes qui ne parlent qu'un seul dialecte.

Le Spécialiste du Plan Technique : Il a besoin de chiffres exacts (ex. : « déplace la caméra de 5 mètres vers la gauche »). C'est difficile à écrire pour une personne normale.
Le Spécialiste du Storyboard : Il a besoin d'un clip vidéo pour copier le mouvement. C'est peu flexible si vous voulez changer la vitesse ou la direction.
Le Spécialiste du Scénario : Il a besoin d'une description textuelle (ex. : « la caméra effectue un panoramique vers la gauche »). Mais l'IA a souvent du mal à transformer des mots vagues en mouvements physiques précis et fluides.

2. La Solution : La « piste de danse commune »

Les chercheurs ont construit un système appelé TriMotion. Imaginez le cerveau interne de l'IA comme une immense piste de danse.

Avant, si vous donniez une description textuelle à l'IA, elle essayait de danser sur le texte. Si vous lui donniez une vidéo, elle essayait de danser sur la vidéo. C'étaient des danses différentes.
TriMotion apprend à l'IA à tout traduire sur la même piste de danse. Que vous lui donniez un scénario, une vidéo de référence ou un plan de caméra, l'IA convertit tout cela en les mêmes « pas de danse » (des nombres mathématiques) à l'intérieur de son cerveau.
Parce qu'ils sont tous sur la même piste de danse, l'IA peut passer de l'un à l'autre instantanément. Vous pouvez commencer par une description textuelle, puis la remplacer par une référence vidéo, et le mouvement de la caméra reste parfaitement cohérent.

3. L'Entraînement : Le « Triplet de Mouvement »

Pour apprendre à l'IA ce langage universel, les chercheurs ont créé un jeu de données d'entraînement spécial appelé le Motion Triplet Dataset.

Imaginez un ensemble de cartes d'entraînement. Chaque carte comporte trois éléments :
1. Un clip vidéo d'une caméra en mouvement.
2. Les coordonnées mathématiques exactes du chemin de cette caméra.
3. Une description écrite de ce que la caméra a fait (ex. : « La caméra zoome lentement vers l'avant tout en tournant vers la droite »).
L'IA a étudié des millions de ces cartes. Elle a appris que les mathématiques, la vidéo et les mots décrivent exactement le même mouvement physique. Cela lui a permis de construire cette « piste de danse commune » où les trois entrées signifient la même chose.

4. La Recette Secrète : Le « Ghost Tracking » (Suivi Fantôme)

L'un des plus grands défis de la vidéo par IA est que l'IA peut réussir l'aspect visuel mais se tromper sur le mouvement (la caméra peut dériver ou trembler).

TriMotion utilise une astuce ingénieuse appelée Latent Motion Consistency (Cohérence de mouvement latente).
Imaginez que l'IA est en train de dessiner un tableau. Habituellement, elle dessine toute l'image, puis vérifie si les lignes sont droites. Si elles ne le sont pas, elle efface et redessine. C'est lent et cela peut gâcher l'image.
TriMotion possède un « Ghost Tracker » (Suiveur Fantôme). Pendant que l'IA dessine la vidéo dans sa « phase d'esquisse » (avant que l'image finale ne soit totalement formée), ce Ghost Tracker vérifie le mouvement immédiatement. Il murmure à l'IA : « Hé, la caméra est censée se déplacer vers la gauche, mais ton esquisse dérive vers la droite. Corrige ça maintenant. »
Cela se passe à l'intérieur de l'« esquisse » de l'IA (l'espace latent), de sorte qu'elle n'ait pas à perdre de temps à effacer et redessiner l'image finale de haute qualité. Cela maintient le mouvement fluide et précis dès la première étape.

5. Les Résultats : Que peut-il faire ?

L'article démontre que TriMotion crée des vidéos de haute qualité qui suivent parfaitement les instructions de la caméra, quel que soit l'apport utilisé.

Texte vers Vidéo : Vous tapez « un zoom lent dans une forêt », et la caméra avance de manière fluide.
Vidéo vers Vidéo : Vous montrez un clip d'une caméra qui tourne sur elle-même, et l'IA applique cette rotation exacte à une nouvelle scène.
L'astuce du « Mix-and-Match » : Comme tout repose sur la même piste de danse, vous pouvez faire des choses incroyables comme la Motion Composition (Composition de mouvement). Vous pouvez dire à l'IA de « commencer par un zoom avant » (via le texte) puis de « passer à une rotation » (via une référence vidéo), et l'IA fusionnera les deux de manière fluide en un seul plan continu sans avoir besoin d'être réentraînée.

Résumé

TriMotion est comme si l'on donnait à un réalisateur une télécommande universelle. Qu'il s'exprime par des mots, montre un clip d'exemple ou remette un diagramme technique, l'IA comprend l'instruction comme étant exactement le même mouvement de caméra. Elle utilise un « jeu de données d'entraînement » spécial pour apprendre cette traduction et un « ghost tracker » pour garantir que la caméra se déplace de manière fluide et précise, produisant des vidéos au rendu professionnel qui suivent parfaitement la vision du réalisateur.

Résumé Technique : TriMotion

Énoncé du Problème

Le contrôle du mouvement de la caméra est une technique fondamentale pour diriger les changements de point de vue, organiser l'espace cinématographique et réaliser l'intention de l'utilisateur dans les systèmes de génération de vidéo. Bien que les récentes avancées des modèles de diffusion vidéo conditionnels aient permis diverses modalités de conditionnement, les méthodes existentes de contrôle de caméra sont généralement limitées à une seule modalité d'entrée spécifique.

Les méthodes conditionnées par la pose nécessitent des trajectoires de caméra géométriques explicites, ce qui est peu intuitif pour les utilisateurs généraux et difficile à spécifier avec précision.
Les approches basées sur des vidéos de référence encodent implicitement des motifs de mouvement mais manquent de contrôle de trajectoire explicite et offrent une flexibilité limitée.
Les descriptions textuelles, bien qu'intuitives, ont été sous-explorées pour le contrôle de la caméra en raison d'un manque de structures temporelles explicites et de contraintes géométriques, rendant difficile l'exécution de trajectoires précises et physiquement cohérentes.

Cette restriction liée à la modalité limite la flexibilité des systèmes génératifs. Il existe un besoin pour une représentation de mouvement partagée qui jette un pont entre des entrées hétérogènes (vidéo, pose et texte) afin de permettre un contrôle de mouvement de caméra cohérent à travers différents types d'entrées.

Méthodologie

Les auteurs proposent TriMotion, un cadre unifié et agnostique de la modalité pour la génération de vidéos contrôlées par la caméra. Le cadre projette diverses signaux de contrôle — vidéo, pose et texte — dans un espace unique d'incorporation (embedding) de mouvement continu.

1. Jeu de Données de Triplet de Mouvement (Motion Triplet Dataset)

Pour entraîner un espace multi-modal nécessitant une supervision synchronisée, les auteurs ont construit le Motion Triplet Dataset en étendant le Multi-Cam Video Dataset.

Source : 136K vidéos haute fidélité d'Unreal Engine 5 avec des extrinsèques de caméra de vérité terrain précises.
Traitement : Un pipeline automatisé convertit les extrinsèques de caméra brutes en descriptions de langage naturel ancrées dans la géométrie.
- Les séquences de pose brutes sont converties en trajectoires relatives ancrées au premier plan.
- Les changements de translation et de rotation par image sont calculés et mappés vers des opérations de caméra canoniques (ex: Dolly, Pan, Tilt) pour former des séquences symboliques compactes.
- Un grand modèle de langage (Qwen3-4B-Instruct) génère deux niveaux de descriptions : un résumé court et un paragraphe détaillé décrivant les transitions temporelles et les changements de vitesse, en évitant les valeurs métriques explicites.
Résultat : Un jeu de données fournissant une supervision alignée sur les vidéos, les trajectoires de caméra et les descriptions de mouvement.

2. Espace d'Incorporation de Mouvement Unifié

TriMotion apprend une représentation partagée où les entrées vidéo, texte et pose sont alignées.

Encodeurs : Des encodeurs spécifiques à la modalité ( $\Phi_{video}, \Phi_{text}, \Phi_{pose}$ $Φ_{v i d eo}, Φ_{t e x t}, Φ_{p ose}$ ) produisent des séquences de jetons (tokens) de mouvement.
- Vidéo : Utilise un module d'agrégation de caractéristiques (basé sur VGGT) pour extraire des jetons de caméra à partir d'informations géométriques multi-vues.
- Texte : Utilise un encodeur T5 gelé avec des requêtes de mouvement apprenables qui effectuent une attention croisée sur les jetons de texte pour inférer la dynamique temporelle.
- Pose : Projette les matrices extrinsèques de caméra aplaties via un MLP par image.
Objectifs d'Alignement : Les encodeurs sont entraînés avec une perte composite pour garantir :
- Alignement Global : La perte InfoNCE aligne les jetons de mouvement globaux entre les modalités.
- Synchronisation Temporelle : Minimisation de la distance cosinus entre les jetons temporels correspondants.
- Fidélité Géométrique : Un régresseur de pose partagé prédit les extrinsèques de la caméra à partir des embeddings, garantissant que l'espace préserve la géométrie 3D physique.

3. Cohérence de Mouvement Latent

Pour garantir une stricte cohérence géométrique sans le coût du décodage dans l'espace des pixels, TriMotion introduit un objectif de Cohérence de Mouvement Latent.

Prédicteur d'Embedding de Mouvement ( $\mathcal{M}_{pred}$ ) : Un module composé de convolutions 3D et d'un Transformer temporel qui estime une séquence d'embedding de mouvement à partir d'une représentation vidéo latente propre ( $z_0$ ).
Stratégie d'Entraînement : Le prédicteur est entraîné pour aligner sa sortie avec l'embedding de mouvement cible dérivé de la vidéo de vérité terrain.
Intégration de la Diffusion : Pendant l'entraînement de la diffusion, le modèle reconstruit un latent cible propre à partir de l'entrée bruitée. Ce latent reconstruit est injecté dans le prédicteur gelé. L'embedding de mouvement prédit est ensuite comparé à l'embedding de mouvement cible en utilisant une perte de cohérence de mouvement. Cela impose que la trajectoire générée corresponde directement à la cible dans l'espace latent.

4. Backbone de Génération

Le cadre utilise un transformeur de diffusion vidéo latent.

Conditionnement : Le débruiteur est conditionné sur une description d'apparence globale, la première image source, et la séquence d'embedding de mouvement unifiée injectée via des MLPs de projection spécifiques aux blocs.
Entraînement : Le modèle supporte à la fois l'Image-vers-Vidéo (I2V) et la Vidéo-vers-Vidéo (V2V) via un entraînement conjoint équilibré, ne mettant à jour que les couches d'attention et les MLPs de projection pour préserver les priors génératifs pré-entraînés.

Principales Contributions

Cadre TriMotion : Une approche unifiée permettant le contrôle de la caméra via des entrées vidéo, pose ou texte en les mappant vers un espace d'embedding de mouvement partagé.
Motion Triplet Dataset : Un nouveau jeu de données associant des vidéos multi-vues à des descriptions textuelles ancrées dans la géométrie, permettant une supervision multi-modale synchronisée.
Cohérence de Mouvement Latent : Un nouvel objectif qui régularise le backbone de diffusion dans l'espace latent, assurant la fidélité de la trajectoire sans décodage répété dans l'espace des pixels.
Capacités Cross-Modales : L'espace d'embedding partagé permet de nouvelles applications telles que la composition séquentielle de mouvements (combiner des mouvements provenant de différentes modalités) et l'interpolation de mouvement cross-modale.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur les tâches I2V et V2V en utilisant les jeux de données Koala-36M et RealEstate10K.

Performance Quantitative : TriMotion atteint des résultats de pointe ou compétitifs sur l'ensemble des critères de qualité visuelle (FVD, FID, CLIP Score), de qualité dynamique (Lissage du mouvement, Scintillement temporel) et de précision du mouvement de caméra (Erreur de rotation, Erreur de translation, CamMC). Notamment, la variante conditionnée par la pose est la plus performante sur la plupart des métriques, tandis que les variantes vidéo et texte restent très compétitives, validant l'efficacité de l'espace partagé.
Comparaison Qualitative : TriMotion génère des vidéos plus propres avec un mouvement plus stable et suit plus fidèlement les trajectoires cibles que les bases de référence comme CamI2V, MotionClone et ReCamMaster. Il évite les artefacts et la dégradation de texture observés dans les méthodes reposant sur le rendu explicite de nuages de points 3D (ex: TrajectoryCrafter).
Études d'Ablation :
- La suppression de la perte de cohérence de mouvement latente dégrade significativement la précision de la caméra.
- Le conditionnement par la cible uniquement surpasse la concaténation ou la soustraction des embeddings source/cible, fournissant le signal de mouvement le plus pur.
- L'espace de mouvement unifié démontre un fort alignement cross-modal (Recall@1 élevé) et une fidélité géométrique (précision de régression de pose compétitive).
Étude Utilisateur : Les évaluations humaines confirment que le pipeline de légendage ancré dans la géométrie produit des descriptions de haute qualité et que TriMotion génère des vidéos qui suivent les mouvements cibles plus fidèlement avec moins d'artefacts que les méthodes précédentes.

Signification et Revendications

L'article affirme que TriMotion établit de nouveaux standards pour la génération de vidéos contrôlables par la caméra en surmontant la limitation des entrées spécifiques à une modalité. En apprenant un espace d'embedding de mouvement partagé, le cadre permet un contrôle de caméra flexible et cohérent à travers des entrées hétérogènes.

Les auteurs soulignent que l'objectif de cohérence de mouvement latent est crucial pour améliorer la fidélité de la trajectoire tout en contournant les goulots d'étranglement traditionnels du décodage. De plus, l'espace partagé inaugure de nouveaux paradigmes d'interaction, permettant avec succès la composition séquentielle de mouvements et l'interpolation de mouvement cross-modale sans réentraînement ni conception manuelle de trajectoire.

L'article conclut modestement, reconnaissant que bien que TriMotion transfère efficacement des mouvements de caméra fluides, les trajectoires extrêmes nécessitant des régions non vues peuvent encore produire des artefacts d'outpainting de bordure. Des travaux futurs sont suggérés pour intégrer l'outpainting explicite de l'arrière-plan 3D ou étendre le cadre pour modéliser conjointement d'autres attributs cinématographiques comme l'étalonnage des couleurs.