TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance

Resumen Técnico: TRACE

1. Planteamiento del Problema

El objetivo de TRACE es permitir la edición de la trayectoria de movimiento de un objeto específico en un video, manteniendo intacto el contenido restante de la escena (fondo, otros objetos, dinámica de la cámara).

• Limitaciones de los métodos existentes:

  • Las herramientas actuales de edición de video suelen centrarse en cambios de apariencia (estilo, textura) o requieren señales de control espaciotemporales densas y tediosas, como secuencias de máscaras o cuadros delimitadores (bounding boxes) por cada fotograma.
  • Proporcionar estas señales manualmente es extremadamente difícil para el usuario, especialmente en videos con movimiento de cámara dinámico, ya que el usuario debe traducir mentalmente su intención de movimiento en colocaciones locales por fotograma.
  • Los métodos de generación de video (Image-to-Video) no están diseñados para editar videos existentes preservando la identidad del objeto y el fondo original bajo restricciones estrictas.

• La propuesta: Introducir un nuevo paradigma de "Edición de Video con Diseño de Movimiento en el Primer Fotograma". El usuario define la trayectoria deseada del objeto simplemente dibujando una ruta en el primer fotograma (como si la cámara estuviera fija), y el sistema debe inferir cómo se traduce ese movimiento al espacio 3D de la escena a medida que la cámara se mueve.

2. Metodología

TRACE es un marco de trabajo de dos etapas que desacopla la transformación de la intención del usuario en señales de control espaciales y la síntesis del video final.

Etapa 1: Módulo de Transformación de Movimiento Cross-View (Cross-View Motion Transformation)

• Desafío: Existe una desalineación espacial entre el diseño de la ruta en el primer fotograma (vista estática) y la posición real del objeto en los fotogramas subsiguientes debido a la dinámica de la cámara.
• Solución: Un módulo basado en un Transformador de Difusión (DiT) que mapea la ruta definida en el primer fotograma a una secuencia de cuadros delimitadores (bounding boxes) alineada con el video dinámico.
• Entradas del modelo:
  1. Imagen del primer fotograma ($J_{first}$): Codificada mediante un 3DVAE para proporcionar contexto visual de la escena estática y la perspectiva de la cámara.
  2. Trayectorias de puntos ($P$): Una cuadrícula de rastros de puntos dispersos que capturan el movimiento de la cámara.
  3. Cuadros delimitadores de referencia ($B_{ref}$): Interpolados a partir de las cajas definidas por el usuario en el primer fotograma.
• Entrenamiento: Se utiliza un enfoque de flow-matching para predecir la secuencia de cajas objetivo ($B_{tgt}$). Debido a la dificultad de obtener datos reales emparejados (cámara estática vs. dinámica), los autores crearon una tubería de datos sintéticos utilizando ReCamMaster para re-renderizar videos estáticos con trayectorias de cámara dinámicas, generando pares de cajas alineadas.

Etapa 2: Módulo de Re-síntesis de Video (Video Re-Synthesis)

• Objetivo: Generar un nuevo video donde el objeto siga la trayectoria predicha ($B_{tgt}$) mientras se preserva la fidelidad del objeto original y el fondo.
• Arquitectura: Se adapta un modelo de difusión de video (basado en Wan 2.1, un modelo de 1.4B parámetros) con fine-tuning usando LoRA.
• Mecanismo de Control:
  • El modelo recibe como entrada el video original enmascarado, el primer fotograma (como referencia de identidad), y dos tipos de máscaras derivadas de las cajas predichas:
    1. Máscaras de inpainting ($M_{inpaint}$): Regiones donde el objeto original debe ser eliminado y relleno con el fondo.
    2. Máscaras de síntesis ($M_{obj}$): Regiones donde el nuevo objeto debe ser generado siguiendo la nueva trayectoria.
• Ventaja clave: A diferencia de la inserción de objetos tradicional donde el objeto puede "alucinar" libremente, TRACE utiliza el primer fotograma como referencia de identidad para garantizar que el objeto re-sintetizado mantenga su apariencia original (color, textura) mientras cambia su movimiento.

3. Contribuciones Clave

1. Nuevo Paradigma de Interacción: Definición del problema de edición de video mediante el diseño de movimiento en un solo fotograma de anclaje, eliminando la necesidad de especificar controles por fotograma.
2. Arquitectura TRACE: Desarrollo de un pipeline de dos etapas que resuelve la desalineación espaciotemporal mediante un módulo de transformación de movimiento cross-view y un modelo de difusión condicional para la re-síntesis.
3. Generación de Datos Sintéticos: Creación de un conjunto de datos masivo (110k pares) para entrenar el módulo de transformación, superando la falta de datos reales emparejados de cámara estática/dinámica.
4. Aplicaciones Versátiles: Demostración de capacidades como edición de múltiples objetos, inserción de objetos con control de movimiento, edición de atributos y reemplazo de objetos, todo manteniendo la coherencia temporal.

4. Resultados y Evaluación

Los experimentos se realizaron en videos del mundo real y benchmarks estándar (DAVIS, VBench).

• Transformación de Movimiento (Etapa 1):
  • TRACE supera significativamente a las líneas base (interpolación simple y métodos de warping 3D como MegaSAM y Depth Anything).
  • Logra un IoU de 0.80 y un mAP de 0.91 en la tarea de mapeo de vista a vista, mientras que los métodos 3D fallan debido al ruido en la estimación de profundidad y pose, produciendo trayectorias inestables.
• Re-síntesis de Video (Etapa 2):
  • En el benchmark DAVIS, TRACE obtiene los mejores resultados en SSIM, LPIPS y Tube IoU, superando a modelos I2V (como MagicMotion) y V2V (como VACE, HunyuanCustom).
  • Preserva mejor la identidad del objeto y la consistencia del fondo en comparación con competidores que tienden a alucinar fondos o cambiar la identidad del objeto.
• Evaluación del Sistema Completo:
  • En el benchmark VBench, TRACE obtiene el mejor puntaje en Calidad de Imagen, Suavidad de Movimiento y Parpadeo Temporal.
  • Estudio de Usuario: Los participantes prefirieron TRACE en más del 77% de los casos en calidad de video y hasta el 85% frente a competidores específicos, destacando su superioridad en la preservación de la identidad del objeto y el control del movimiento.

5. Significado e Impacto

TRACE representa un avance significativo en la edición de video generativa al hacer que el control del movimiento de objetos sea intuitivo y accesible para usuarios no expertos.

• Simplificación del Flujo de Trabajo: Elimina la barrera técnica de tener que dibujar máscaras o cajas en cada fotograma, permitiendo a los creativos planificar el movimiento en post-producción de manera natural.
• Coherencia Temporal y Espacial: Resuelve el problema crítico de mantener la consistencia del objeto y el fondo en escenas con movimiento de cámara complejo, algo que los métodos anteriores no lograban de forma robusta.
• Aplicaciones Prácticas: Abre nuevas posibilidades para la industria del cine y la publicidad, permitiendo la re-planificación de movimientos, la inserción controlada de objetos y la corrección de errores de movimiento sin necesidad de re-grabar la escena.

En resumen, TRACE establece un nuevo estándar para la edición de movimiento en videos, combinando la facilidad de uso de la edición en un solo fotograma con la potencia de los modelos de difusión modernos para lograr resultados realistas y temporalmente consistentes.