Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video

Resumen Técnico: Warp-as-History

Enunciado del Problema
La generación de video controlada por cámara tiene como objetivo sintetizar videos que sigan trayectorias de punto de vista prescritas. Los enfoques existentes generalmente caen en dos categorías, ambas con limitaciones significativas. Los métodos basados en entrenamiento (por ejemplo, CameraCtrl, PRoPE) inyectan información de cámara mediante codificadores dedicados, ramas de control o modificaciones de codificación posicional, requiriendo típicamente un entrenamiento posterior en conjuntos de datos de video a gran escala y anotados con cámara. Por el contrario, los métodos sin entrenamiento evitan esta carga de datos pero a menudo trasladan el costo computacional al tiempo de inferencia, dependiendo de optimización en tiempo de prueba, guía en tiempo de desruido o procedimientos complejos de deformación y repintado. El artículo postula que los modelos recientes de generación de video ya poseen capacidades latentes de movimiento de cámara, pero carecen de un mecanismo para exponerlas y dirigirlas sin cambios arquitectónicos pesados o reentrenamiento extensivo.

Metodología: Warp-as-History
Los autores proponen Warp-as-History, un marco que convierte las deformaciones geométricas inducidas por la cámara en "pseudo-historia deformada por cámara" para condicionar un modelo de generación de video congelado. El método opera a través de tres mecanismos centrales, utilizando la vía nativa de historia visual del modelo en lugar de introducir nuevas ramas de control:

1. Construcción de Pseudo-Historia Deformada por Cámara: Dada una trayectoria de cámara objetivo, el método reconstruye la escena (utilizando un modelo listo para usar como Pi3X) y la proyecta a las vistas de cámara objetivo para generar un video de deformación 2D. En lugar de tratar esto como un objetivo de renderizado rígido o una señal de condicionamiento separada, los fotogramas deformados se procesan a través del operador estándar de construcción de historia del modelo ($H$). Se dividen en parches, se codifican y se empaquetan como tokens de historia visual ordinarios.
2. Alineación Posicional del Fotograma Objetivo: Para asegurar que el modelo interprete la historia deformada como evidencia para el fotograma actual que se está desruiendo (en lugar de solo contexto pasado), el método asigna a los tokens deformados los mismos índices de Incrustación Posicional Rotatoria Temporal (RoPE) que los latentes objetivo ruidosos correspondientes. Esta alineación permite que el modelo congelado aplique su comportamiento preentrenado de "continuación de historia hacia futuro" a las señales de movimiento inducidas por la cámara.
3. Selección de Tokens Visibles: El movimiento de la cámara crea regiones recién visibles (disocclusiones) que la deformación no puede observar, y las imperfecciones geométricas pueden crear agujeros o artefactos. El método filtra el flujo de historia eliminando tokens que corresponden a regiones inválidas o invisibles en la deformación. Esto obliga al modelo a depender de su prior generativo para completar estas regiones mientras utiliza las regiones deformadas confiables como evidencia de movimiento.

Régimen de Entrenamiento
El marco se evalúa en dos configuraciones:

• Zero-Shot: La interfaz se aplica directamente a un modelo de generación de video preentrenado y congelado (específicamente Helios). Esto revela una capacidad latente y no trivial del modelo para seguir trayectorias de cámara cuando se le presenta una historia deformada, sin ninguna actualización de parámetros.
• Ajuste Fino con Un Video de Entrenamiento: Para estabilizar el comportamiento y mejorar la calidad visual, los autores realizan un ajuste fino ligero LoRA fuera de línea en un único video separado anotado con cámara. Esta actualización se entrena fuera de línea y se comparte entre todos los videos de prueba; no implica optimización en tiempo de prueba ni adaptación por video. El objetivo no es aprender el control de cámara desde cero, sino ajustar cómo el modelo equilibra la evidencia deformada frente a su prior generativo para la dinámica y la disocclusión.

Contribuciones Clave

1. Exposición de Priors Latentes: El artículo demuestra que los modelos de video condicionados por historia preentrenados contienen un prior débil y latente de seguimiento de cámara. Al enrutar la pseudo-historia deformada por cámara a través de la vía nativa de historia con una alineación y filtrado específicos, esta capacidad puede activarse de manera zero-shot.
2. Activación de Bajo Recurso: Los autores muestran que un solo video de entrenamiento separado es suficiente para estabilizar y generalizar este comportamiento. Esto sugiere que el ajuste fino actúa como un "estabilizador de comportamiento" para un prior existente en lugar de un mecanismo para aprender nuevos módulos de control de cámara desde cero.
3. Eficiencia y Generalización: El método evita conjuntos de datos a gran escala anotados con cámara, modificaciones arquitectónicas y optimización en tiempo de prueba. Logra un rendimiento competitivo en diversos conjuntos de datos (WorldScore, RE10K, DAVIS) con significativamente menos datos de entrenamiento que las líneas base más avanzadas.

Resultados
Experimentos extensivos confirman la efectividad del enfoque:

• Adherencia a la Cámara: En WorldScore, la configuración zero-shot mejora las puntuaciones de control de cámara de 26.42 (línea base solo texto) a 61.32, con ganancias adicionales a 62.00 después del ajuste fino de un solo disparo.
• Calidad Visual y Consistencia: En comparaciones con líneas base entrenadas a gran escala (Gen3C, Voyager, ViewCrafter) en RE10K y DAVIS, Warp-as-History (ajustado fino en solo un video) logra una precisión de seguimiento de cámara comparable mientras a menudo supera a estas en métricas de calidad visual (FID, FVD, DOVER y ejes de VBench como Consistencia del Sujeto y del Fondo).
• Rendimiento Cualitativo: El método preserva el contenido de la escena y el movimiento del primer plano de manera más limpia que los métodos basados en deformación anteriores, evitando artefactos comunes como desenfoque u objetos distorsionados.
• Estudios de Ablación: Eliminar la alineación del fotograma objetivo o la selección de tokens visibles degrada significativamente el rendimiento, confirmando la necesidad de tanto la alineación temporal como el filtrado de evidencia.

Significado y Afirmaciones
El artículo afirma que el control de cámara puede ser una capacidad inherente y latente dentro de los modelos de generación de video que puede desbloquearse a través de la interfaz de historia visual. La importancia de Warp-as-History radica en su capacidad para lograr un fuerte control de cámara con recursos mínimos (un video de entrenamiento, sin optimización en tiempo de prueba) aprovechando la capacidad existente del modelo para interpretar la historia visual. Los autores enmarcan el método como un "marco de control de cámara de bajo recurso" en lugar de un nuevo modelo generativo, enfatizando que el paso de ajuste fino sirve para amplificar y estabilizar un prior existente en lugar de aprender un nuevo mecanismo de control. El trabajo sugiere que el control de cámara futuro podría no requerir conjuntos de datos masivos o cambios arquitectónicos complejos, sino mejores interfaces para acceder al razonamiento geométrico latente dentro de los modelos preentrenados.