Résumé Technique : ParaScale

Énoncé du Problème

Le contrôle de caméra piloté par une vidéo de référence dans la génération de vidéo vise à transférer le mouvement cinématique d'un clip de référence vers une nouvelle scène générée. Cependant, une incompatibilité géométrique fondamentale existe entre les scènes de référence et de cible arbitraires : elles opèrent souvent à des échelles physiques radicalement différentes (par exemple, une caméra balayant une galaxie versus un léger mouvement au-dessus d'un bureau).

Les méthodes actuelles extraient généralement une trajectoire de caméra (translation $T$ et rotation $\omega$) d'une référence et l'injectent directement dans un générateur de cible. Ce transfert « naïf » échoue car la reconstruction monoculaire ne récupère la translation et la profondeur qu'à un facteur d'échelle global inconnu (une transformation de similitude). Par conséquent, l'amplitude absolue de la translation $\|T\|$ n'a aucun sens sans un facteur d'échelle de profondeur $Z$ correspondant. Lorsqu'une trajectoire de référence est appliquée à une cible ayant une échelle de scène différente, le mouvement résultant est soit imperceptible (si la cible est « plus grande » que la référence), soit violemment exagéré (si la cible est « plus petite »), brisant ainsi la fidélité visuelle de la génération.

Méthodologie : Le Nombre de Parallaxe et ParaScale

Fondement Théorique

L'article établit que la force perçue du mouvement de translation est régie non pas par le vecteur de translation brut, mais par le rapport entre la translation et la profondeur. Basé sur l'équation de projection pour un point à une profondeur $Z$, le mouvement d'image induit par la translation suit une échelle de $\|T\|/Z$.

Les auteurs définissent le Nombre de Parallaxe ($\Pi$) comme un descripteur sans dimension et invariant de jauge :
$$\Pi_t = \frac{\|\Delta T_t\|}{\bar{Z}_t}$$
Où :

• $\|\Delta T_t\|$ est la ligne de base inter-images de la caméra (amplitude de la translation).
• $\bar{Z}_t$ est la profondeur médiane robuste de la scène pour cette image.

L'article prouve que $\Pi$ est invariant sous la jauge d'échelle de profondeur (le fait de multiplier à la fois $T$ et $Z$ par un facteur $s$ laisse $\Pi$ inchangé). Par conséquent, $\Pi$, plutôt que la trajectoire brute $T$, est la quantité unique qui doit être préservée pour obtenir un transfert de mouvement fidèle à l'échelle.

Le Module ParaScale

ParaScale est un module plug-and-play, sans entraînement, inséré entre l'extraction de la pose et l'injection de la pose dans un pipeline de génération. Il fonctionne comme suit :

1. Extraction : À partir de la vidéo de référence, il estime la trajectoire de la caméra et une profondeur médiane robuste $\bar{Z}^{ref}_t$ en utilisant la structure-à-mouvement (SfM) monoculaire et un estimateur de profondeur. Il calcule le Nombre de Parallaxe invariant de jauge $\Pi^{ref}_t$.
2. Estimation de la Cible : Pour la scène cible, il estime la profondeur médiane $\bar{Z}^{tgt}_t$ à partir de l'image de conditionnement ou du premier latent.
3. Réalisation : Il calcule un gain de translation par image $\alpha_t$ pour faire correspondre le Nombre de Parallaxe de la référence à la profondeur de la cible :
   $$\alpha_t = \frac{\bar{Z}^{tgt}_t}{\bar{Z}^{ref}_t}$$
   La translation calibrée est $T^{cal}_t = \alpha_t T^{ref}_t$, tandis que la rotation $R^{cal}_t$ est transmise inchangée ($R^{ref}_t$).
4. Injection : Les extrinsèques calibrés sont convertis au format requis par le générateur (par exemple, cartes de Plücker ou matrices $RT$ brutes) et injectés dans un modèle de diffusion conditionné par la pose et gelé.

Les preuves théoriques dans l'article démontrent que cette adaptation par image est nécessaire et suffisante pour préserver le profil de parallaxe temporel, alors qu'une mise à l'échelle globale ou l'absence de mise à l'échelle échouent lorsque la profondeur de la scène varie dans le temps ou diffère considérablement entre les scènes.

Métrique d'Évaluation : PCE

Pour quantifier la fidélité d'échelle, les auteurs introduisent l'Erreur de Cohérence de Parallaxe (PCE) :
$$\text{PCE} = \frac{1}{N} \sum_{t=1}^{N} \left| \log \frac{\Pi^{out}_t}{\Pi^{ref}_t} \right|$$
Contrairement aux métriques standards comme TransErr (qui reposent sur un alignement de similitude et peuvent masquer des décalages d'échelle globale), la PCE est symétrique par rapport à l'échelle et invariante de jauge. Elle expose directement les écarts dans la force du mouvement perçu.

Contributions Clés

1. Principe Invariant de Jauge : L'identification du Nombre de Parallaxe ($\Pi$) comme le bon invariant pour le transfert de mouvement, prouvant que la préservation des trajectoires brutes est géométriquement erronée.
2. ParaScale : Un module d'inférence sans entraînement, agnostique au générateur, qui réalise à nouveau $\Pi$ par image par rapport à la profondeur de la cible, ne nécessant aucun réentraînement du backbone génératif.
3. Métrique PCE : Une nouvelle métrique d'évaluation qui mesure spécifiquement la fidélité d'échelle et expose les décalages d'échelle de scène que les métriques traditionnelles manquent.
4. Validation Empirique : Démonstration à travers quatre ordres de grandeur d'échelle de scène (tabletop, humain/pièce, architecture et cosmique) et sur de multiples architectures de backbones.

Résultats

Les expériences ont été menées en utilisant un backbone de transformeur de diffusion Wan2.1 avec un conditionnement de Plücker, comparant ParaScale au transfert Brut (Raw), à la mise à l'échelle par norme globale (Global-norm), à MotionMaster et à la calibration d'échelle par entraînement de CameraCtrl II.

• Fidélité d'Échelle : ParaScale est la seule méthode qui maintient le Nombre de Parallaxe réalisé sur la ligne d'identité à travers tous les régimes d'échelle. Le transfert Brut sous-alimente significativement les scènes cosmiques et sur-alimente les scènes de type « tabletop ».
• Réduction d'Erreur : ParaScale réduit l'Erreur de Cohérence de Parallaxe (PCE) de plus de 3$\times$ par rapport au transfert Brut non calibré et surpasse les méthodes de mise à l'échelle par norme globale et de calibration par entraînement.
• Fidélité Visuelle : La méthode atteint ces gains sans perte de qualité visuelle ; les scores FVD (Fréchet Video Distance) et CLIP-SIM sont préservés ou améliorés par rapport aux bases de référence.
• Généralité : Le module fonctionne efficacement à travers différents types de générateurs (conditionnés par Plücker et conditionnés par matrice) sans réentraînement.

Signification et Revendications

L'article affirme que ParaScale traite une « hypothèse silencieuse » dans les contrôleurs pilotés par référence : l'idée que les nombres de trajectoire sont directement réutilisables. En formalisant le fait géométrique que le mouvement induit par la translation dépend de la profondeur, les auteurs fournissent une solution rigoureuse au problème de décalage d'échelle.

La signification réside dans la capacité de réutiliser des mouvements de caméra cinématiques à travers des contextes très différents (de l'échelle macro à l'échelle cosmique) sans intervention manuelle ou réentraînement. L'article affirme que ParaScale est la première méthode à exposer et à réaliser à nouveau le Nombre de Parallaxe invariant de jauge lors de l'inférence entre des références et des cibles arbitraires.

Limites : Les auteurs notent que la méthode repose sur des estimations de profondeur monoculaire (où les erreurs se propagent linéairement dans le gain $\alpha_t$) et suppose une géométrie de scène rigide conformément au modèle de projection sous-jacent. L'extension de l'approche aux scènes dynamiques et aux champs d'échelle anisotropes est identifiée comme un travail futur.