Probing into Camera Control of Video Models

Résumé Technique : Sonde pour le Contrôle de Caméra des Modèles Vidéo

Énoncé du Problème
Les modèles de génération vidéo possèdent des a priori riches pour la structure spatiale et la dynamique temporelle, mais permettre un mouvement de caméra contrôlé reste un défi majeur. Les approches existantes reposent généralement sur un fine-tuning des modèles vidéo sur des jeux de données appariés de poses de caméra, en utilisant des modules de caméra supplémentaires (par exemple, adaptateurs, embeddings ou modifications de l'attention). Les auteurs identifient trois limitations fondamentales dans ce paradigme :

1. Cartographie Implicite et Ininterprétable : La relation entre le mouvement de caméra et le contenu est encodée implicitement, apprenant souvent des corrélations spécifiques au jeu de données plutôt que la géométrie sous-jacente.
2. Limitations des Données : Les jeux de données annotés avec des caméras disponibles sont souvent limités en échelle, diversité et dynamique (généralement synthétiques ou dérivés de la Structure-from-Motion), ce qui restreint la généralisation à des motifs de mouvement réalistes et à des scènes complexes.
3. Dégradation des A priori : Le fine-tuning sur des jeux de données spécialisés tend à biaiser le modèle vers une distribution de sortie plus étroite, annulant les a priori diversifiés appris lors du pré-entraînement à grande échelle et dégradant la qualité visuelle.

De plus, les méthodes existantes sans entraînement reposent souvent sur des opérations non différentiables (par exemple, reconstruction de nuage de points, inpainting), rendant l'optimisation de bout en bout inabordable.

Méthodologie : CamProbe
L'article propose CamProbe, une méthode sans entraînement qui reformule le contrôle de caméra non pas comme un problème d'apprentissage génératif, mais comme une forme de guidage géométrique appliqué via des champs de déplacement.

• Formulation du Champ de Déplacement : Au lieu d'apprendre une cartographie des trajectoires de caméra vers la vidéo, la méthode construit un ensemble de champs de déplacement ($\mathcal{F}$) pour une trajectoire de caméra donnée. Étant donnée une trajectoire de caméra $T_f = (R_f, t_f)$, la méthode calcule les transformations relatives par rapport à la première image. Elle élève les coordonnées de pixels latents en points pseudo-3D en utilisant un estimateur de profondeur hors-the-shelf ($D_f$), applique la transformation de caméra, et les projette à nouveau sur le plan de l'image pour dériver une grille de déformation dense (champ de déplacement).
• Échantillonnage Différentiable dans la Diffusion : Ces champs de déplacement sont intégrés dans le processus de débruitage du modèle de diffusion vidéo. À chaque pas de temps $t$ (spécifiquement durant la phase précoce $t \in [T, 0.8T]$), le latent propre estimé $\hat{z}_0$ est déformé à l'aide du champ de déplacement via un opérateur d'échantillonnage différentiable ($\circ$).
  • La mise à jour suit une forme de guidance sans classifieur : $\hat{z}'_{0,f} = \hat{z}_{0,f} + \omega (\mathcal{F}_f \circ \hat{z}_{0,f} - \hat{z}_{0,f})$.
  • L'estimation modifiée est utilisée pour mettre à jour le latent bruité $z_t$ (ou la vitesse $v_t$ dans l'appariement de flux) avant l'étape d'échantillonnage suivante.
• Nature Sans Entraînement : La méthode ne nécessite aucun module supplémentaire, aucun fine-tuning ni aucune donnée appariée. Les champs de déplacement peuvent être définis heuristiquement (comme fait dans ce travail avec une déformation basée sur la profondeur) ou appris.

Contributions Clés

1. Reformulation du Contrôle de Caméra : Les auteurs proposent de traiter le contrôle de caméra comme un ensemble de champs de déplacement appliqués via un échantillonnage différentiable durant le débruitage, permettant un contrôle sans entraînement ni modifications architecturales.
2. Sonde pour l'Analyse de Modèle : La méthode sert de sonde standardisée pour isoler et analyser les capacités inhérentes de contrôle de caméra des modèles de base vidéo fondamentaux, séparant le comportement du modèle des artefacts induits par la condition textuelle ou des jeux de données d'entraînement spécifiques.
3. Identification de Biais Universels : En utilisant la sonde, les auteurs identifient des comportements systématiques à travers des modèles vidéo représentatifs :
   • Sous-estimation des Capacités : Les modèles fonctionnent souvent mieux sous un guidage géométrique que sous des invites textuelles, suggérant que les limitations résident dans le mécanisme de guidage plutôt que dans le modèle lui-même.
   • Fuite Asymétrique : Les mouvements de translation sont plus faciles à générer que les mouvements de rotation ; les commandes de rotation fuient souvent vers la translation, mais l'inverse est moins fréquent.
   • Préférence Directionnelle : Les modèles présentent un biais en faveur du mouvement horizontal par rapport au mouvement vertical.
   • Changement de Mode : Une force de contrôle excessive peut provoquer un « changement de mode » où un mouvement fluide se dégrade en transitions abruptes.
4. Étalonnage Multi-vues : L'article introduit un protocole d'évaluation multi-niveaux (2D, 2.5D et 3D) pour évaluer la cohérence multi-vues et compare cinq modèles vidéo sous des mouvements de caméra orbitaux.

Résultats

• Performance vs. Baselines Fine-tunées : Comparé aux méthodes fine-tunées de l'état de l'art (par exemple, Gen3C, TrajectoryCrafter, ReCamMaster), CamProbe atteint une qualité visuelle compétitive avec seulement une légère baisse de précision du contrôle de caméra (mesurée par l'Erreur de Pose Relative). Crucialement, il préserve l'a priori génératif du modèle de base, entraînant une dégradation moindre de la qualité d'imagerie et de la fluidité du mouvement par rapport aux approches fine-tunées.
• Efficacité : La méthode engendre une surcharge de mémoire GPU négligeable. Le coût principal d'exécution provient de l'estimation de profondeur et de l'échantillonnage latent, qui peut être réduit en utilisant une profondeur constante ou en sautant certaines étapes d'échantillonnage.
• Constats de la Sonde :
  • Vue Unique : Les modèles montrent un compromis entre la force du mouvement et la qualité. HunyuanVideo-1.5 et Wan2.2-I2V-A14B démontrent le meilleur équilibre.
  • Multi-vues : Bien que certains modèles (par exemple, LTX-2.3) produisent des vues statiques de haute qualité, d'autres (par exemple, HunyuanVideo-1.5) atteignent un meilleur équilibre entre cohérence géométrique et alignement du mouvement, indiquant un potentiel plus élevé pour les tâches 3D/4D.
  • Comparaison avec CamTrol : CamProbe produit une dynamique plus forte que la méthode sans entraînement CamTrol tout en maintenant une qualité visuelle comparable, attribué à sa préservation des dynamiques intrinsèques du modèle plutôt qu'à la propagation d'une seule référence statique.

Signification et Revendications
L'article soutient que le contrôle de caméra dans la génération vidéo ne doit pas être traité comme un problème d'apprentissage implicite nécessitant des jeux de données massifs et un fine-tuning. Au contraire, il peut être résolu efficacement par une génération guidée par des champs de déplacement. Les auteurs affirment qu'un champ de déplacement défini heuristiquement suffit comme signal suffisamment fort pour induire un mouvement de caméra sans compromettre la qualité du modèle de base.

La signification de ce travail réside dans deux domaines :

1. Utilité Pratique : Il offre un mécanisme simple et sans entraînement pour contrôler le mouvement de caméra dans les modèles vidéo existants, préservant leurs capacités génératives haute fidélité.
2. Insight Analytique : Il fournit un outil pour « sonder » les capacités latentes des modèles fondamentaux, révélant que de nombreux modèles possèdent une compréhension géométrique inhérente qui est souvent obscurcie par les méthodes d'évaluation actuelles (qui reposent sur des invites textuelles) ou les paradigmes d'entraînement. Les résultats suggèrent que les limitations dans le contrôle de caméra actuel sont souvent dues au mécanisme d'induction plutôt qu'à l'incapacité des modèles à générer du contenu géométriquement cohérent.

Les auteurs reconnaissent des limitations, notant que le champ de déplacement heuristique actuel peut être moins fiable dans des scènes avec des relations spatiales complexes et que le guidage géométrique est grossier. Ils suggèrent que les travaux futurs pourraient se concentrer sur l'apprentissage des champs de déplacement ou sur l'affinement des stratégies de mise à jour de diffusion pour une précision encore plus grande.