Probing into Camera Control of Video Models

Resumen Técnico: Sondeo del Control de Cámara en Modelos de Video

Enunciado del Problema
Los modelos de generación de video poseen priores ricos para la estructura espacial y la dinámica temporal, sin embargo, habilitar un movimiento de cámara controlable sigue siendo un desafío significativo. Los enfoques existentes dependen típicamente del ajuste fino de modelos de video en conjuntos de datos emparejados de pose de cámara utilizando módulos de cámara adicionales (por ejemplo, adaptadores, incrustaciones o modificaciones de atención). Los autores identifican tres limitaciones fundamentales en este paradigma:

1. Mapeo Implícito e Ininterpretable: La relación entre el movimiento de la cámara y el contenido se codifica implícitamente, aprendiendo a menudo correlaciones específicas del conjunto de datos en lugar de la geometría subyacente.
2. Limitaciones de Datos: Los conjuntos de datos anotados con cámara disponibles suelen ser limitados en escala, diversidad y dinámica (típicamente sintéticos o derivados de Estructura a partir de Movimiento), lo que restringe la generalización a patrones de movimiento realistas y escenas complejas.
3. Degradación de Prior: El ajuste fino en conjuntos de datos especializados tiende a sesgar el modelo hacia una distribución de salida más estrecha, anulando los priores diversos aprendidos durante el preentrenamiento a gran escala y degradando la calidad visual.

Además, los métodos existentes sin entrenamiento a menudo dependen de operaciones no diferenciables (por ejemplo, reconstrucción de nubes de puntos, inpainting), lo que hace intratable la optimización de extremo a extremo.

Metodología: CamProbe
El artículo propone CamProbe, un método sin entrenamiento que reformula el control de la cámara no como un problema de aprendizaje generativo, sino como una forma de guía geométrica aplicada mediante campos de desplazamiento.

• Formulación del Campo de Desplazamiento: En lugar de aprender un mapeo desde trayectorias de cámara hacia video, el método construye un conjunto de campos de desplazamiento ($\mathcal{F}$) para una trayectoria de cámara dada. Dada una trayectoria de cámara $T_f = (R_f, t_f)$, el método calcula transformaciones relativas con respecto al primer fotograma. Eleva las coordenadas de píxeles latentes a puntos pseudo-3D utilizando un estimador de profundidad listo para usar ($D_f$), aplica la transformación de la cámara y los proyecta de nuevo al plano de la imagen para derivar una cuadrícula de deformación densa (campo de desplazamiento).
• Muestreo Diferenciable en Difusión: Estos campos de desplazamiento se integran en el proceso de eliminación de ruido del modelo de difusión de video. En cada paso de tiempo $t$ (específicamente durante la etapa temprana $t \in [T, 0.8T]$), el latente limpio estimado $\hat{z}_0$ se deforma utilizando el campo de desplazamiento mediante un operador de muestreo diferenciable ($\circ$).
  • La actualización sigue una forma de guía sin clasificador: $\hat{z}'_{0,f} = \hat{z}_{0,f} + \omega (\mathcal{F}_f \circ \hat{z}_{0,f} - \hat{z}_{0,f})$.
  • La estimación modificada se utiliza para actualizar el latente ruidoso $z_t$ (o la velocidad $v_t$ en la coincidencia de flujos) antes del siguiente paso de muestreo.
• Naturaleza sin Entrenamiento: El método no requiere módulos adicionales, ajuste fino ni datos emparejados. Los campos de desplazamiento pueden definirse heurísticamente (como se hace en este trabajo utilizando deformación basada en profundidad) o aprenderse.

Contribuciones Clave

1. Reformulación del Control de Cámara: Los autores proponen tratar el control de la cámara como un conjunto de campos de desplazamiento aplicados mediante muestreo diferenciable durante la eliminación de ruido, permitiendo el control sin entrenamiento ni cambios arquitectónicos.
2. Sondeo para Análisis de Modelos: El método sirve como un sondeo estandarizado para aislar y analizar las capacidades inherentes de control de cámara de los modelos base de video fundamentales, separando el comportamiento del modelo de los artefactos inducidos por la condicionamiento por texto o conjuntos de datos de entrenamiento específicos.
3. Identificación de Sesgos Universales: Utilizando el sondeo, los autores identifican comportamientos sistemáticos en modelos de video representativos:
   • Subestimación de la Capacidad: Los modelos a menudo funcionan mejor bajo guía geométrica que bajo indicaciones de texto, lo que sugiere que las limitaciones residen en el mecanismo de guía y no en el modelo en sí.
   • Fuga Asimétrica: Los movimientos de traslación son más fáciles de generar que los rotacionales; las órdenes rotacionales a menudo se filtran hacia la traslación, pero lo contrario es menos común.
   • Preferencia Direccional: Los modelos exhiben un sesgo hacia el movimiento horizontal sobre el vertical.
   • Cambio de Modo: Un exceso de fuerza de control puede causar un "cambio de modo" donde el movimiento suave se degrada en transiciones abruptas.
4. Evaluación Multivista: El artículo introduce un protocolo de evaluación multinivel (2D, 2.5D y 3D) para evaluar la consistencia multivista y establece un punto de referencia para cinco modelos de video bajo movimientos de cámara orbital.

Resultados

• Rendimiento frente a Líneas Base de Ajuste Fino: En comparación con métodos de ajuste fino de última generación (por ejemplo, Gen3C, TrajectoryCrafter, ReCamMaster), CamProbe logra una calidad visual competitiva con una caída menor en la precisión del control de la cámara (medida por el Error de Pose Relativa). Crucialmente, preserva el prior generativo del modelo base, resultando en una menor degradación de la calidad de la imagen y la suavidad del movimiento en comparación con los enfoques de ajuste fino.
• Eficiencia: El método incurre en una sobrecarga de memoria de GPU adicional negligible. El principal costo de tiempo de ejecución proviene de la estimación de profundidad y el muestreo latente, lo cual puede reducirse utilizando profundidad constante o omitiendo ciertos pasos de muestreo.
• Hallazgos del Sondeo:
  • Vista Única: Los modelos muestran una compensación entre la fuerza del movimiento y la calidad. HunyuanVideo-1.5 y Wan2.2-I2V-A14B demuestran el mejor equilibrio.
  • Multivista: Mientras que algunos modelos (por ejemplo, LTX-2.3) producen vistas estáticas de alta calidad, otros (por ejemplo, HunyuanVideo-1.5) logran un mejor equilibrio entre consistencia geométrica y alineación del movimiento, indicando un mayor potencial para tareas 3D/4D.
  • Comparación con CamTrol: CamProbe produce dinámicas más fuertes que el método sin entrenamiento CamTrol mientras mantiene una calidad visual comparable, atribuido a su preservación de las dinámicas intrínsecas del modelo en lugar de propagar una única referencia estática.

Significado y Afirmaciones
El artículo argumenta que el control de la cámara en la generación de video no necesita tratarse como un problema de aprendizaje implícito que requiera conjuntos de datos masivos y ajuste fino. En su lugar, puede resolverse eficazmente mediante generación guiada por campos de desplazamiento. Los autores afirman que incluso un campo de desplazamiento definido heurísticamente sirve como una señal suficientemente fuerte para inducir movimiento de cámara sin comprometer la calidad del modelo base.

El significado de este trabajo radica en dos áreas:

1. Utilidad Práctica: Ofrece un mecanismo simple y sin entrenamiento para controlar el movimiento de la cámara en modelos de video existentes, preservando sus capacidades generativas de alta fidelidad.
2. Perspectiva Analítica: Proporciona una herramienta para "sondear" las capacidades latentes de los modelos fundamentales, revelando que muchos modelos poseen una comprensión geométrica inherente que a menudo queda oscurecida por los métodos de evaluación actuales (que dependen de indicaciones de texto) o paradigmas de entrenamiento. Los hallazgos sugieren que las limitaciones en el control de cámara actual se deben a menudo al mecanismo de inducción y no a la incapacidad de los modelos para generar contenido geométricamente consistente.

Los autores reconocen limitaciones, señalando que el campo de desplazamiento heurístico actual puede ser menos fiable en escenas con relaciones espaciales complejas y que la guía geométrica es gruesa. Sugieren que el trabajo futuro podría centrarse en aprender los campos de desplazamiento o refinar las estrategias de actualización de difusión para lograr una mayor precisión.