Resumen Técnico: EPiC: Aprendizaje Eficiente de Control de Cámara de Video con Guía Precisa de Anclaje-Video

Enunciado del Problema

Los avances recientes en modelos de difusión de video (VDM) han mejorado la generación de video realista, pero el control de las trayectorias de la cámara sigue siendo un desafío significativo. Los enfoques existentes dependen típicamente de crear "videos de anclaje" (videos renderizados que aproximan los movimientos de cámara deseados) para guiar a los modelos de difusión. Estos métodos generalmente implican elevar una imagen fuente a una nube de puntos 3D y volver a renderizarla a lo largo de una trayectoria de cámara. Sin embargo, este proceso enfrenta dos limitaciones críticas:

1. Inexactitud y Desalineación: Los errores en la reconstrucción de la nube de puntos y en la estimación de la trayectoria de la cámara provocan desalineaciones a nivel de píxel entre los videos de anclaje y los videos fuente. Esto obliga al modelo a compensar los errores de renderizado y reparar contenido desalineado, lo que resulta en un entrenamiento ineficiente, altos costos computacionales y una menor calidad.
2. Restricciones de Datos y Estimación: Los datos 3D de alta calidad a menudo requieren costosos sistemas de captura de movimiento, o dependen de estimadores inexactos. En consecuencia, el entrenamiento suele limitarse a conjuntos de datos estáticos y multivista (por ejemplo, RealEstate10K), lo que restringe la generalización a videos dinámicos del mundo real ("in-the-wild"). Además, muchos métodos anteriores requieren un ajuste fino completo extensivo del modelo base, aumentando la cantidad de parámetros y el tiempo de entrenamiento.

Metodología

Los autores proponen EPiC (Control de Cámara de Video Eficiente y Preciso), un marco diseñado para aprender el control de la cámara de manera eficiente construyendo videos de entrenamiento de anclaje bien alineados sin requerir estimación de pose de cámara o de nube de puntos durante el entrenamiento.

1. Construcción de Video de Anclaje Basada en Visibilidad

En lugar de renderizar a partir de nubes de puntos 3D estimadas, EPiC construye videos de anclaje enmascarando el video fuente basándose en la visibilidad del primer fotograma.

• Rastreo de Píxeles: El método estima las trayectorias de los píxeles desde el primer fotograma utilizando flujo óptico denso (RAFT).
• Enmascaramiento: Para cada fotograma subsiguiente, solo se preservan los píxeles que pueden rastrearse confiablemente hasta el primer fotograma. Los píxeles sin correspondencia válida (que representan regiones recién reveladas u oclusiones) se enmascaran.
• Inyección de Artefactos: Para cerrar la brecha entre el entrenamiento (fuente enmascarada) y la inferencia (renderizado posiblemente imperfecto de nubes de puntos), los autores inyectan artefactos sintéticos de "píxeles voladores" en los videos de anclaje enmascarados durante el entrenamiento. Esto enseña al modelo a ignorar dichos artefactos durante la inferencia.
• Beneficio: Este proceso asegura una alineación precisa en las regiones visibles e imita las propiedades geométricas de los videos de anclaje (excluyendo contenido nuevo) sin necesidad de reconstrucción 3D.

2. Anchor-ControlNet

EPiC introduce Anchor-ControlNet, un módulo ligero que integra la guía de videos de anclaje en modelos de difusión de video preentrenados (específicamente CogVideoX-5B-I2V) sin modificar el modelo base.

• Arquitectura: Es un módulo basado en DiT con solo ~26M de parámetros (<1% del modelo base). Inyecta señales de control en el 25% inicial de las capas del modelo base utilizando una dimensión oculta reducida (256 frente a 3072).
• Enmascaramiento de Salida Consciente de Visibilidad: Una innovación clave es que la salida del ControlNet se enmascara mediante el mapa de visibilidad. El ControlNet tiene la tarea únicamente de copiar el contenido visible del video de anclaje. La síntesis de regiones ocluidas o invisibles se delega enteramente al modelo de difusión base congelado. Esta división del trabajo evita que los errores en las regiones invisibles corrompan la salida y simplifica la tarea de aprendizaje.

3. Entrenamiento e Inferencia

• Entrenamiento: El modelo se entrena con 5.000 videos del mundo real (de Panda70M) durante solo 500 pasos. El modelo base permanece congelado; solo se entrena el Anchor-ControlNet.
• Inferencia (I2V): Soporta dos modos:
  • Nube de Puntos Completa: Renderizado estándar a partir de profundidad estimada.
  • Nube de Puntos Enmascarada: Los usuarios pueden segmentar objetos dinámicos (por ejemplo, personas, animales) utilizando GroundedSAM. Estas regiones se excluyen del renderizado de la nube de puntos 3D, permitiendo que el fondo impulse el movimiento de la cámara mientras los objetos del primer plano se mueven naturalmente dentro del video generado.
• Inferencia (V2V): Soporta el control de video a video construyendo nubes de puntos dinámicas a partir del video de entrada utilizando estimación de profundidad (DepthCrafter) y aplicando la trayectoria objetivo como una transformación relativa.

Contribuciones Clave

1. Nueva Tubería de Video de Anclaje: Una estrategia de enmascaramiento basada en visibilidad que produce pares anclaje-fuente perfectamente alineados sin estimación de pose de cámara o de nube de puntos, permitiendo el entrenamiento en diversos videos del mundo real.
2. Anchor-ControlNet Ligero: Un adaptador consciente de la visibilidad que condiciona sobre videos de anclaje con <1% de parámetros adicionales. Su diseño separa las tareas de copiar contenido visible (ControlNet) y sintetizar regiones invisibles (Modelo Base), mejorando la eficiencia del entrenamiento y la calidad de la salida.
3. Eficiencia y Generalización: El marco logra un rendimiento de vanguardia con significativamente menos parámetros, pasos de entrenamiento y datos en comparación con métodos anteriores. Demuestra una fuerte generalización cero-shot a tareas de Video a Video (V2V) a pesar de haber sido entrenado únicamente con datos de Imagen a Video (I2V).

Resultados

• Rendimiento: En los benchmarks RealEstate10K y MiraData para control de cámara I2V, EPiC logra los errores de rotación y traslación más bajos (por ejemplo, 0.40 ± 0.11 RotErr en RE10K) y las puntuaciones de calidad total más altas entre los métodos comparados (CameraCtrl, AC3D, ViewCrafter, Gen3C, etc.).
• Eficiencia: EPiC converge con 5.000 videos y 500 pasos de entrenamiento (aproximadamente 15 horas de GPU), lo que es más de un orden de magnitud más eficiente en términos de datos y costo computacional que métodos como TrajCrafter o ViewCrafter. Utiliza solo 26M de parámetros entrenables en comparación con miles de millones en algunas líneas base.
• Generalización V2V: A pesar de entrenarse solo con datos I2V, EPiC logra un rendimiento comparable al de métodos entrenados específicamente para V2V (por ejemplo, GCD, TrajectoryCrafter) en el conjunto de datos Kubric-4D, demostrando una generalización cero-shot robusta.
• Cualitativo: Las comparaciones visuales muestran que EPiC preserva mejor la fidelidad del contenido visible que los métodos que reparan en exceso las regiones desalineadas y genera contenido más coherente en las regiones invisibles en comparación con los métodos que siguen rígidamente señales de anclaje erróneas.

Significado

El artículo afirma que EPiC aborda la ineficiencia fundamental de los métodos actuales de control de cámara transformando la tarea de aprendizaje de "reparar contenido desalineado" a "copiar regiones visibles". Al eliminar la dependencia de una estimación 3D precisa durante el entrenamiento y utilizar un ControlNet ligero y consciente de la visibilidad, EPiC permite un control de cámara preciso informado por 3D con recursos computacionales mínimos. Este enfoque permite una aplicación robusta a videos dinámicos del mundo real y apoya el control flexible sobre elementos de escena estáticos y dinámicos, avanzando la practicidad de la generación de video controlable para aplicaciones como la regrabación de películas y la cinematografía virtual.