Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video

Résumé Technique : Warp-as-History

Énoncé du Problème
La génération vidéo contrôlée par caméra vise à synthétiser des vidéos suivant des trajectoires de point de vue prescrites. Les approches existantes relèvent généralement de deux catégories, toutes deux présentant des limitations significatives. Les méthodes basées sur l'entraînement (par exemple, CameraCtrl, PRoPE) injectent des informations sur la caméra via des encodeurs dédiés, des branches de contrôle ou des modifications de l'encodage positionnel, nécessitant typiquement un post-entraînement sur de vastes ensembles de données vidéo annotées par caméra. À l'inverse, les méthodes sans entraînement évitent cette charge de données mais transfèrent souvent le coût computationnel vers le temps d'inférence, s'appuyant sur une optimisation au moment du test, un guidage au moment du débruitage, ou des procédures complexes de déformation et de repeinture. L'article postule que les modèles récents de génération vidéo possèdent déjà des capacités latentes de mouvement de caméra, mais qu'ils manquent d'un mécanisme pour les exposer et les piloter sans modifications architecturales lourdes ou réentraînement extensif.

Méthodologie : Warp-as-History
Les auteurs proposent Warp-as-History, un cadre qui convertit les déformations géométriques induites par la caméra en « pseudo-histoire déformée par la caméra » pour conditionner un modèle de génération vidéo figé. La méthode opère à travers trois mécanismes centraux, utilisant la voie native d'histoire visuelle du modèle plutôt que d'introduire de nouvelles branches de contrôle :

1. Construction de la Pseudo-Histoire Déformée par la Caméra : Étant donnée une trajectoire de caméra cible, la méthode reconstruit la scène (en utilisant un modèle prêt à l'emploi comme Pi3X) et la projette sur les vues de caméra cibles pour générer une vidéo de déformation 2D. Au lieu de traiter cela comme une cible de rendu rigide ou un signal de conditionnement séparé, les images déformées sont traitées via l'opérateur standard de construction d'histoire du modèle ($H$). Elles sont découpées en patches, encodées et emballées comme des jetons d'histoire visuelle ordinaires.
2. Alignement Positionnel de l'Image Cible : Pour garantir que le modèle interprète l'histoire déformée comme une preuve pour l'image actuelle en cours de débruitage (et non simplement comme un contexte passé), la méthode attribue aux jetons déformés les mêmes indices d'encodage positionnel rotatif temporel (RoPE) que les latents bruyants cibles correspondants. Cet alignement permet au modèle figé d'appliquer son comportement pré-entraîné de « continuation de l'histoire vers le futur » aux indices de mouvement induits par la caméra.
3. Sélection des Jetons Visibles : Le mouvement de la caméra crée de nouvelles régions visibles (disocclusions) que la déformation ne peut pas observer, et des imperfections géométriques peuvent créer des trous ou des artefacts. La méthode filtre le flux d'histoire en supprimant les jetons correspondant à des régions invalides ou invisibles dans la déformation. Cela force le modèle à s'appuyer sur son prior génératif pour compléter ces régions tout en utilisant les régions déformées fiables comme preuve de mouvement.

Régimes d'Entraînement
Le cadre est évalué dans deux configurations :

• Zéro-shot : L'interface est appliquée directement à un modèle de génération vidéo pré-entraîné et figé (spécifiquement Helios). Cela révèle une capacité latente, non triviale, du modèle à suivre les trajectoires de caméra lorsqu'il est présenté avec une histoire déformée, sans aucune mise à jour des paramètres.
• Finetuning sur une seule vidéo d'entraînement : Pour stabiliser le comportement et améliorer la qualité visuelle, les auteurs effectuent un finetuning léger hors ligne LoRA sur une seule vidéo annotée par caméra séparée. Cette mise à jour est entraînée hors ligne et partagée entre toutes les vidéos de test ; elle n'implique ni optimisation au moment du test ni adaptation par vidéo. L'objectif n'est pas d'apprendre le contrôle de caméra à partir de zéro, mais d'ajuster la façon dont le modèle équilibre la preuve déformée contre son prior génératif pour la dynamique et les disocclusions.

Contributions Clés

1. Exposition des Priors Latents : L'article démontre que les modèles vidéo conditionnés par l'histoire pré-entraînés contiennent un prior faible et latent de suivi de caméra. En acheminant la pseudo-histoire déformée par la caméra via la voie native d'histoire avec un alignement et un filtrage spécifiques, cette capacité peut être activée de manière zéro-shot.
2. Activation à Faibles Ressources : Les auteurs montrent qu'une seule vidéo d'entraînement séparée suffit à stabiliser et généraliser ce comportement. Cela suggère que le finetuning agit comme un « stabilisateur de comportement » pour un prior existant plutôt que comme un mécanisme d'apprentissage de nouveaux modules de contrôle de caméra à partir de zéro.
3. Efficacité et Généralisation : La méthode évite les vastes ensembles de données annotées par caméra, les modifications architecturales et l'optimisation au moment du test. Elle atteint des performances compétitives sur divers ensembles de données (WorldScore, RE10K, DAVIS) avec nettement moins de données d'entraînement que les références de l'état de l'art.

Résultats
Des expériences extensives confirment l'efficacité de l'approche :

• Adhérence à la Caméra : Sur WorldScore, le réglage zéro-shot améliore les scores de contrôle de caméra de 26,42 (référence texte uniquement) à 61,32, avec des gains supplémentaires jusqu'à 62,00 après un finetuning one-shot.
• Qualité Visuelle et Cohérence : Dans les comparaisons avec des références entraînées à grande échelle (Gen3C, Voyager, ViewCrafter) sur RE10K et DAVIS, Warp-as-History (finetuné sur une seule vidéo) atteint une précision de suivi de caméra comparable tout en surpassant souvent ces dernières sur les métriques de qualité visuelle (FID, FVD, DOVER, et axes VBench tels que la cohérence du sujet et de l'arrière-plan).
• Performance Qualitative : La méthode préserve le contenu de la scène et le mouvement des premiers plans plus proprement que les méthodes antérieures basées sur la déformation, évitant les artefacts courants comme le flou ou les objets déformés.
• Études d'Ablation : Le retrait de l'alignement de l'image cible ou de la sélection des jetons visibles dégrade significativement les performances, confirmant la nécessité de l'alignement temporel et du filtrage des preuves.

Signification et Revendications
L'article revendique que le contrôle de caméra pourrait être une capacité inhérente et latente au sein des modèles de génération vidéo, débloquable via l'interface d'histoire visuelle. La signification de Warp-as-History réside dans sa capacité à atteindre un fort contrôle de caméra avec des ressources minimales (une vidéo d'entraînement, aucune optimisation au moment du test) en exploitant la capacité existante du modèle à interpréter l'histoire visuelle. Les auteurs présentent la méthode comme un « cadre de contrôle de caméra à faibles ressources » plutôt que comme un nouveau modèle génératif, soulignant que l'étape de finetuning sert à amplifier et stabiliser un prior existant plutôt qu'à apprendre un nouveau mécanisme de contrôle. Ce travail suggère que le contrôle de caméra futur ne nécessitera pas d'ensembles de données massifs ou de modifications architecturales complexes, mais plutôt de meilleures interfaces pour accéder au raisonnement géométrique latent au sein des modèles pré-entraînés.