💻 computer science

OrthoMotion:Disentangling Camera and Subject Motion via Geometry Semantics Orthogonal Attention

OrthoMotion est un nouveau cadre de génération de vidéo qui garantit le désenchevêtrement du mouvement de la caméra et du sujet en concevant des opérateurs d'attention algébriquement complémentaires — acheminant le mouvement de la caméra via une rotation RoPE géométrique et le mouvement du sujet via une injection de valeur sémantique — atteignant ainsi une précision de contrôle de pointe tout en réduisant considérablement l'interférence.

Auteurs originaux : Zijie Meng

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zijie Meng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez un film. Vous avez deux boutons principaux à tourner : l'un déplace la caméra (zoom avant, panoramique gauche ou orbite autour du sujet), et l'autre déplace l'acteur (le sujet) à travers la scène.

Dans la plupart des outils de génération de vidéo actuels, ces deux boutons sont bloqués ensemble. Si vous essayez de bouger la caméra, l'acteur glisse accidentellement hors de sa trajectoire. Si vous essayez de bouger l'acteur, la caméra semble vaciller. Ce papier, OrthoMotion, explique pourquoi cela se produit et construit un nouveau système où les boutons fonctionnent indépendamment, parfaitement.

Voici la décomposition de leur solution en utilisant des analogies simples :

1. Le Problème : La confusion de l'« Échelle Partagée »

Les auteurs expliquent que les modèles d'IA actuels sont confus à cause d'une astuce mathématique appelée profondeur inverse (1/Z).

L'analogie : Imaginez que vous regardez une scène de rue. Si une voiture roule vers vous, elle paraît plus grande. Si vous vous approchez de la voiture, elle paraît aussi plus grande. Pour une caméra 2D, « le mouvement de la voiture » et « votre mouvement » se ressemblent exactement mathématiquement.
Le résultat : Comme les mathématiques sont identiques, l'IA ne peut pas distinguer si le mouvement provient de la caméra ou de l'objet. C'est comme essayer de séparer le sel et le poivre qui ont été broyés en une seule poudre fine. L'IA devine, et quand elle se trompe, la caméra et le sujet interfèrent l'un avec l'autre.

2. La Solution : Deux « Langages » Différents

Les auteurs ont réalisé qu'au lieu d'essayer de mieux deviner, ils devaient parler deux « langages » différents à l'IA pour qu'elle ne les confonde jamais. Ils ont construit un nouveau système à l'intérieur du cerveau de l'IA (spécifiquement dans un mécanisme d'attention) qui route les deux types de mouvements vers des canaux séparés :

Le Canal Caméra (Le langage de la « Géométrie ») :
- Comment ça marche : Ils traitent le mouvement de la caméra comme une rotation. Imaginez faire tourner un globe terrestre. La taille des continents ne change pas ; ils tournent simplement.
- La Magie : Ils forcent les instructions de la caméra à être une « rotation préservant la norme ». Cela signifie que l'instruction de la caméra dit à l'IA comment tourner, mais ne change jamais la taille ou le poids des données. C'est une rotation pure et propre.
Le Canal Sujet (Le langage « Sémantique ») :
- Comment ça marche : Ils traitent le mouvement de l'acteur comme une translation (ajout ou décalage). Imaginez faire glisser un autocollant sur une feuille de papier.
- La Magie : Ils injectent la trajectoire de l'acteur comme une « valeur porteuse » (gated value). C'est comme ajouter une instruction spécifique uniquement aux pixels où l'acteur existe, sans toucher au reste de la scène.

3. La Garantie « Orthogonale »

La partie la plus importante du papier est la façon dont ils garantissent que ces deux langages ne se mélangent jamais.

L'analogie : Pensez à une pièce en 3D. La Caméra se déplace strictement selon l'axe X (gauche/droite), et le Sujet se déplace strictement selon l'axe Y (haut/bas). Peu importe jusqu'où vous allez à gauche, vous ne montez jamais accidentellement. En mathématiques, ces directions sont appelées orthogonales (à un angle parfait de 90 degrés).
L'Innovation : Les auteurs ont ajouté un « régularisateur » (une règle d'entraînement) qui agit comme un professeur strict. Il vérifie constamment : « Est-ce que la caméra déplace le sujet ? Est-ce que le sujet déplace la caméra ? » Si la réponse est oui, il les repousse jusqu'à ce qu'ils soient parfaitement perpendiculaires (orthogonaux).
La Revendication : Contrairement aux méthodes précédentes qui espèrent que l'IA apprenne à les séparer, cette méthode garantit la séparation par conception. Ce n'est pas un coup de chance ; c'est une règle intégrée.

4. Les Résultats : Plus de « Diaphonie » (Cross-Talk)

Le papier introduit une nouvelle métrique appelée Erreur de Diaphonie (Cross-Talk Error - CTE) pour mesurer à quel point les boutons interfèrent.

Le Résultat : Lorsqu'ils ont testé leur système, ils ont constaté que les méthodes précédentes provoquaient une dérive significative du sujet lorsque la caméra bougeait (comme une dérive de +25 pixels). OrthoMotion a réduit cette dérive à presque rien (seulement +2 pixels).
Qualité : Crucialement, ils ont atteint cette séparation sans dégrader l'aspect visuel de la vidéo. La qualité (fidélité) est restée élevée, et l'IA pouvait toujours générer des vidéos réalistes.

Résumé

OrthoMotion résout le problème des « boutons bloqués » dans la génération de vidéo en réalisant que le mouvement de la caméra et celui de l'objet utilisaient le même langage confus. Ils ont corrigé cela en :

Donnant à la caméra un langage de « rotation » pur (tourner).
Donnant au sujet un langage de « translation » pur (glisser).
Ajoutant une règle qui force ces deux langages à rester à un angle parfait de 90 degrés l'un par rapport à l'autre, garantissant que le mouvement de l'un ne déplace jamais accidentellement l'autre.

Le résultat est le premier générateur de vidéo capable de contrôler indépendamment la trajectoire de la caméra et celle de l'acteur, avec une séparation mathématiquement garantie.

Résumé Technique : OrthoMotion

Énoncé du Problème

La génération de vidéos contrôlable nécessite un contrôle indépendant du mouvement de la caméra et du mouvement du sujet. Cependant, les méthodes existantes souffrent d'un enchevêtrement (entanglement), où le contrôle d'un axe (ex: l'orbite de la caméra) déforme par inadvertance l'autre (ex: la trajectoire du sujet).

L'article soutient qu'il ne s'agit pas simplement d'un échec architectural, mais d'une ambiguïté représentationnelle. Sur la base de l'équation du flux optique pour un point de scène à une profondeur $Z$ , le mouvement de translation de la caméra et l'auto-mouvement de l'objet sont tous deux proportionnels au facteur d'inverse de la profondeur ( $1/Z$ ). Par conséquent, dans un cadre conditionné par de la 2D, la séparation entre le flux induit par la caméra et le flux induit par l'objet est un problème inverse mal posé (non identifiable). Sans contraintes explicites, un modèle ne peut distinguer un mouvement de caméra d'un mouvement d'objet sur la seule base de preuves d'images 2D, ce qui conduit à une interférence intrinsèque (cross-talk).

Méthodologie : OrthoMotion

OrthoMotion résout cet enchevêtrement en reformulant le découplage comme un problème de conception d'opérateur au sein du mécanisme d'attention d'un Transformer de Diffusion (spécifiquement Wan2.1). Il introduit l'Attention Géométrique-Sémantique Orthogonale (GSO), qui route les contrôles de la caméra et du sujet dans des sous-opérateurs algébriquement complémentaires.

1. Canal Géométrique (Caméra)

Le mouvement de la caméra est injecté dans la phase de l'Embedding de Position Rotative (RoPE).

Mécanisme : Au lieu d'une injection additive ou d'embeddings projectifs ne préservant pas la norme (qui brisent les invariants de RoPE), OrthoMotion applique une rotation préservant la norme aux vecteurs de requête (query) et de clé (key).
Forme Mathématique : Une matrice orthogonale globale $\Omega(g) \in SO(d_h)$ est composée avec la rotation $R(p)$ standard de RoPE. Le logit devient $\tilde{q}_i^\top \tilde{k}_j = q_i^\top R(p_i)^\top \Phi_{ij} R(p_j) k_j$ , où $\Phi_{ij}$ dépend uniquement de la pose relative de la caméra.
Garantie Théorique : Par la Proposition 1 et le Théorème 2, cette opération préserve les normes des tokens et la géométrie de la température softmax, garantissant que le contrôle de la caméra agit comme une déformation géométrique pure sans déformer les statistiques d'attention ou se faire passer pour un terme d'objet par pixel.

2. Canal Sémantique (Sujet)

Le mouvement du sujet est injecté dans les valeurs (values) de la Cross-Attention.

Mécanisme : Les tokens de trajectoire du sujet sont ajoutés aux clés/valeurs textuelles et sont régulés par un masque doux $M_t(x)$ spécifique à la région du sujet.
Forme Mathématique : La mise à jour est une translation additive dans l'espace des valeurs : $o_i = \sum \alpha_{ij} v_j + \sum \beta_{ik} v_{\tau}^k$ .
Garantie Théorique : Conformément à la Proposition 3, cette opération est additive et locale. Elle ne modifie pas la géométrie des requêtes/clés (la phase de la caméra) et est strictement confinée au masque du sujet, empêchant toute fuite en dehors de la région cible.

3. Régularisateur de Découplage

Pour garantir que les deux canaux n'interfèrent pas, les auteurs introduisent un Régularisateur de Découplage ( $\mathcal{L}_\perp$ ).

Objectif : Le régularisateur minimise la norme de Frobenius du produit scalaire entre les Jacobiens de réponse de la caméra ( $\hat{J}_g$ ) et du sujet ( $\hat{J}_\tau$ ) :
$\mathcal{L}_\perp = \| \hat{J}_g^\top \hat{J}_\tau \|_F^2$
Garantie Théorique : Le Théorème 3 prouve que la minimisation de $\mathcal{L}_\perp$ pousse les sous-espaces de réponse vers l'orthogonalité. Cela limite le cross-talk de premier ordre (fuite) entre les deux contrôles. Contrairement aux méthodes antérieures qui espèrent que le découplage émerge, OrthoMotion le garantit par construction.

Contributions Clés

Diagnostic de la Représentation : L'article prouve formellement que l'enchevêtrement caméra-objet provient du partage de l'échelle $1/Z$ dans le flux optique, rendant la séparation 2D non identifiable sans contraintes d'opérateurs spécifiques.
Attention GSO avec Régularisation : Il propose une architecture à double canal (Phase Géométrique + Injection de Valeur Sémantique) et un régularisateur qui impose mathématiquement l'orthogonalité entre leurs sous-espaces de réponse.
Métrique de Cross-Talk (CTE) : Une nouvelle métrique est introduite pour quantifier la fuite :
- $CTE_{c \to s}$ : Dérive du sujet lors d'un balayage de la caméra.
- $CTE_{s \to c}$ : Dérive de la caméra lors d'un balayage du sujet.
Premier Découplage Garanti : C'est la première méthode à fournir une garantie théorique de découplage plutôt que de s'appuyer sur un comportement émergent.

Résultats Expérimentaux

Évalué sur le backbone Wan2.1-1.3B (avec une généralisation testée sur 14B et CogVideoX-2B), OrthoMotion atteint :

Précision de l'État de l'Art : Surpasse simultanément les bases (MotionCtrl, MotionPro, Tora+ReRoPE) en erreur de rotation/translation de caméra et en précision de trajectoire du sujet (ObjMC).
Réduction Drastique du Cross-Talk : Réduit le $CTE_{c \to s}$ de plus de 2,4× par rapport à une variante sans régulariseur (11,3 px $\to$ 4,6 px).
Aucune Perte de Fidélité : Réalise ces gains sans dégrader la FVD (Fréchet Video Distance) ou la similitude CLIP ; en fait, il s'améliore par rapport à elles.
Insights d'Ablation :
- Supprimer le régulariseur ( $\mathcal{L}_\perp$ ) augmente significativement le cross-talk.
- Utiliser des injections ne préservant pas la norme (comme Plücker additive) dégrade la fidélité.
- Le poids de régularisation optimal se situe à $\lambda=0.1$ .
- Les performances sur un seul axe égalent ou battent les contrôleurs spécialisés, confirmant l'absence de "pénalité de contrôle conjoint".

Signification et Revendications

L'article affirme résoudre le problème ouvert du contrôle découplé caméra-sujet en s'attaquant à l'ambiguïté de représentation fondamentale plutôt qu'en ajustant simplement l'architecture.

Changement de Paradigme Théorique : Il déplace le domaine du traitement du découplage comme un artefact de données ou d'entraînement vers une garantie de conception via l'orthogonalité des opérateurs.
Impact Pratique : Il permet une création cinématographique où la caméra et le sujet peuvent être pilotés indépendamment ("deux cadrans séparés") sans les "traînées" et les "perturbations" observées dans les méthodes précédentes.
Limites : Les auteurs reconnaissent que la méthode repose actuellement sur des estimations de Jacobien de premier ordre et suppose des scènes rigides (basé sur l'Eq. 1). L'extension à des sujets déformables et des scènes multi-objets est identifiée comme un travail futur.