Resumen Técnico: SymphoMotion

Planteamiento del Problema

Controlar simultáneamente el movimiento de la cámara y la dinámica de los objetos es esencial para generar vídeos coherentes y expresivos. Sin embargo, los métodos actuales enfrentan limitaciones significativas:

• Enfoque en una sola modalidad: Los enfoques existentes suelen tratar el movimiento de la cámara (p. ej., CameraCtrl, Uni3C) o la dinámica de los objetos (p. ej., MotionCtrl, MagicMotion) de forma aislada.
• Ambigüedad 2D: Los métodos que intentan un control conjunto suelen depender de pistas 2D (flujo óptico, cajas delimitadoras) dentro del plano de la imagen. Esto falla al intentar desvincular el movimiento real del objeto del paralaje inducido por la cámara, lo que conduce a comportamientos desincronizados y una reducción del realismo, especialmente bajo cambios significativos de punto de vista.
• Escasez de Datos: Existe una falta crítica de conjuntos de datos del mundo real que proporcionen anotaciones emparejadas de poses de cámara y trayectorias 3D a nivel de objeto. Los conjuntos de datos existentes son ya sea centrados en la cámara (escenas estáticas) o centrados en el objeto (cámaras fijas), mientras que los conjuntos de datos sintéticos sufren de brechas de dominio.

Metodología: SymphoMotion

SymphoMotion es un marco unificado basado en difusión diseñado para gobernar conjuntamente las trayectorias de la cámara y la dinámica de los objetos dentro de un único modelo. Está construido sobre la arquitectura preentrenada Wan-I2V e introduce dos mecanismos complementarios:

1. Control de Trayectoria de Cámara (CTC)

Para asegurar transiciones de punto de vista estables y estructuralmente consistentes, el CTC integra trayectorias de cámara explícitas con pistas conscientes de la geometría:

• Prerrequisitos Geométricos 3D: En lugar de depender únicamente de incrustaciones (embeddings) de Plücker, el método estima una nube de puntos a partir de la imagen de referencia utilizando Depth-Pro.
• Módulo de Control de Punto de Vista (VCM): Este módulo fusiona dos entradas codificadas:
  • Representación de Movimiento ($c_{cam}$): Derivada de las incrustaciones de Plücker de la secuencia de la pose de la cámara objetivo.
  • Representación Geométrica ($c_{pcd}$): Extraída de fotogramas de nubes de puntos renderizados a lo largo de la trayectoria objetivo utilizando un codificador Wan.
• Integración: Estas características se concatenan con el latente ruidoso y se añaden como pistas de movimiento explícitas al modelo de difusión, mejorando la coherencia espacial y la fidelidad geométrica.

2. Control de Dinámica de Objetos (ODC)

Para permitir la manipulación de objetos sensible a la profundidad y espacialmente coherente, el ODC combina la guía visual 2D con incrustaciones de trayectoria 3D:

• Guía Visual 2D: Las trayectorias 3D de los objetos se proyectan en el plano de la imagen basándose en las poses de la cámara objetivo. Se ajustan y renderizan cajas delimitadoras por fotograma sobre los fotogramas de la nube de puntos, sirviendo como anclajes espaciales explícitos para guiar al modelo en la localización de objetos a través de los fotogramas.
• Condicionamiento de Trayectoria 3D: Un Módulo de Movimiento de Objeto (OMM) codifica las trayectorias 3D (transformadas al sistema de coordenadas de la cámara de referencia) y los prompts semánticos de la entidad. Estos se fusionan e inyectan en los bloques del transformador de difusión mediante atención cruzada, permitiendo que el modelo alinee las representaciones latentes con los caminos 3D especificados.

Entrenamiento e Inferencia

• Estrategia de Entrenamiento: Se emplea un enfoque de dos etapas. Primero, el módulo CTC se entrena para aprender el control de la cámara; posteriormente, el CTC se congela y el módulo ODC se entrena para el movimiento de objetos.
• Pipeline de Inferencia: Los usuarios proporcionan una imagen de referencia, un prompt de texto e inputs interactivos. El sistema reconstruye una nube de puntos 3D, permite a los usuarios seleccionar objetos (vía SAM2) y arrastrarlos en el espacio 3D para definir trayectorias, y especifica una ruta de cámara. El modelo genera entonces un vídeo adhiriéndose a estas restricciones.

Contribuciones Clave

1. Marco Unificado: La propuesta de SymphoMotion, el primer marco que controla conjuntamente el movimiento de la cámara y la dinámica de los objetos en un solo modelo, permitiendo una especificación de movimiento coherente, flexible y consciente de la profundidad.
2. Dataset RealCOD-25K: La construcción de un conjunto de datos a gran escala del mundo real que contiene más de 25,000 clips de vídeo con poses de cámara y trayectorias 3D a nivel de objeto sincronizadas. Esto aborda la brecha de datos crítica para el entrenamiento y la evaluación de modelos de control de movimiento unificados.
3. Rendimiento: Experimentos extensos y estudios de usuario demostrando que SymphoMotion supera a los métodos del estado del arte en fidelidad visual, controlabilidad de la cámara y precisión del movimiento de los objetos.

Resultados Experimentales

El artículo evalúa SymphoMotion frente a baselines como CameraCtrl, ViewCrafter, Uni3C y MotionCtrl utilizando un conjunto curado de 100 vídeos del mundo real.

• Métricas Cuantitativas:
  • Calidad Visual: SymphoMotion logra los valores más bajos de FID (70.47) y FVD (332.50), indicando una calidad de imagen y coherencia temporal superiores en comparación con los baselines (p. ej., FVD de MotionCtrl: 738.41).
  • Control de Cámara: Logra los errores más bajos de traslación (0.37) y rotación (0.05), superando a los baselines dedicados al control de cámara.
  • Control de Objetos: Alcanza una puntuación Box-IoU significativamente mayor (61.88) en comparación con MotionCtrl (31.42), demostrando una adherencia a la trayectoria más precisa.
• Estudio de Usuario: En un estudio ciego (escala 1-5), SymphoMotion recibió las calificaciones más altas en todas las categorías: Calidad Visual (4.87), Alineación con el Texto (4.02), Movimiento de Cámara (4.36) y Movimiento de Objeto (4.58).
• Estudios de Ablación: Eliminar los prerrequisitos geométricos 3D ($c_{pcd}$), la guía visual 2D (cajas delimitadoras) o el condicionamiento de la trayectoria 3D resultó en caídas de rendimiento mensurables en todas las métricas, confirmando la necesidad de cada componente.

Significancia

El artículo afirma que SymphoMotion establece un nuevo estándar para el control de movimiento unificado en la generación de vídeo. Al lograr desvincular el paralaje inducido por la cámara de la dinámica real de los objetos mediante representaciones conscientes del 3D, permite la generación de vídeos que reflejan fielmente movimientos complejos de cámara y objetos definidos por el usuario. La introducción de RealCOD-25K se destaca como una contribución fundamental para el campo, proporcionando la supervisión necesaria para ir más allá de las limitaciones del control basado únicamente en 2D o la dependencia de datos sintéticos.