Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting

Resumen Técnico: Reshoot-Anything

1. El Problema

El control preciso de la cámara para "regrabar" (reshoot) videos dinámicos y no rígidos (escenas del mundo real con movimiento) está severamente limitado por la escasez de datos emparejados de múltiples vistas.

• Limitación de datos: Entrenar modelos de video a video requiere pares de videos que capturen la misma acción desde diferentes ángulos, lo cual es logísticamente difícil y costoso de obtener a escala.
• Brecha Sintético-Real: Los métodos existentes que dependen de datos sintéticos (renderizados) sufren una gran brecha de generalización, fallando en texturas realistas, animaciones complejas e interacciones dinámicas no vistas durante el entrenamiento.
• Vulnerabilidad de los métodos actuales: Los enfoques basados únicamente en "anclajes" (anchors) 3D/4D propagan errores de reconstrucción y artefactos directamente a la salida final, mientras que los métodos que intentan usar el video original como entrada adicional a menudo están limitados por pipelines de datos 4D costosos y de baja calidad.

2. Metodología

Los autores proponen un marco auto-supervisado altamente escalable que entrena el modelo utilizando exclusivamente videos monoculares de internet, evitando la necesidad de anotaciones 3D explícitas.

A. Generación de Tripletes Pseudo-Multivista (Entrenamiento)
En lugar de buscar datos reales de múltiples cámaras, el sistema sintetiza los datos de entrenamiento a partir de un solo video de entrada ($V$):

1. Caminatas Aleatorias Suaves (Smooth Random Walk): Se extraen dos clips distintos del mismo video ($V_s$ como fuente y $V_t$ como objetivo) utilizando trayectorias de recorte independientes y suaves que simulan el movimiento de cámaras dinámicas.
2. Generación del Video Ancla ($V_a$): Se crea un video ancla sintético tomando el primer frame de la fuente ($V_s[0]$) y deformándolo (forward-warping) para alinearlo con la trayectoria del video objetivo ($V_t$). Esto se logra utilizando un campo de flujo denso (basado en rastreadores como AllTracker).
   • Propósito: Este proceso simula los artefactos, oclusiones y des-oclusiones que ocurrirían en un ancla basada en nubes de puntos durante la inferencia.
3. El "Cuello de Botella" Espacial: Dado que las trayectorias de recorte son independientes, el video objetivo ($V_t$) a menudo requiere regiones que están ocultas en el frame correspondiente de la fuente ($V_s$). Esto obliga al modelo a buscar texturas faltantes en otros frames temporales del video fuente, aprendiendo así una estructura 4D implícita (espacio-tiempo).

B. Arquitectura del Modelo
El modelo adapta un modelo de difusión de video pre-entrenado basado en DiT (Diffusion Transformer), específicamente la arquitectura WAN 2.2 I2V:

• Fusión de Tokens: En lugar de usar capas de atención cruzada separadas (que suelen ser ineficaces), el video ancla ($V_a$) y el video fuente ($V_s$) se codifican en latentes y se concatenan temporalmente como tokens dentro del mecanismo de auto-atención principal del DiT.
• Offset RoPE: Se aplica una posición rotacional (RoPE) con un desplazamiento (offset) fijo grande a los tokens de la fuente. Esto desacopla la posición temporal percibida de la fuente de la trayectoria de denoising del objetivo, permitiendo que el modelo entienda que la fuente es un contexto estático o diferente en el tiempo.
• Pérdida de Reconstrucción Auxiliar: Se aplica una pérdida de reconstrucción a los tokens de salida correspondientes a la fuente para asegurar que el modelo retenga la fidelidad de las texturas originales y no las distorsione.

C. Estrategia Híbrida y Aumentaciones

• Mezcla de Datos: Aunque el entrenamiento es principalmente con videos monoculares, se incorpora un 15% de datos sintéticos (de ReCamMaster) para ayudar al modelo a generalizar a trayectorias de cámara extremas (ej. rotaciones orbitales de 120°) que son raras en videos monoculares estándar.
• Aumentaciones Técnicas:
  • Ruido 3D-Aware: Se inyecta ruido gaussiano en el frame de referencia del ancla antes de la deformación para evitar que el modelo simplemente copie texturas del ancla.
  • Fondo Fluorescente: Se usan fondos de alto contraste (rosa fluorescente) en las regiones enmascaradas del ancla para proporcionar señales de borde claras.
  • Referencia Aleatoria: Se selecciona aleatoriamente el frame de referencia para la deformación del ancla para evitar sesgos hacia los frames iniciales.

3. Contribuciones Clave

1. Pipeline Auto-Supervisado Escalable: Un método para generar triplets de entrenamiento (Fuente, Ancla, Objetivo) a partir de cualquier video monocular, eliminando la dependencia de datos multi-vista costosos.
2. Arquitectura Eficiente de Tokenización: Una adaptación mínima pero efectiva que utiliza la auto-atención pre-entrenada del DiT para fusionar condiciones de geometría (ancla) y textura (fuente), logrando una sincronización temporal superior.
3. Aprendizaje de Estructuras 4D Implícitas: Demostración de que un modelo puede aprender a reconstruir escenas 4D dinámicas y realizar "enrutamiento" de contenido a través del tiempo y el espacio, simplemente resolviendo la tarea de rellenar oclusiones artificiales en un entorno 2D.

4. Resultados

El modelo se evaluó en un conjunto de datos diverso de videos dinámicos del mundo real, comparándose con métodos SOTA como TrajectoryCrafter, ReCamMaster y EX-4D.

• Consistencia Temporal y Calidad: El modelo alcanza el estado del arte (SOTA) en métricas de consistencia temporal (VBench, CLIP-F) y calidad estética, superando a los competidores en la preservación de detalles finos (como rasgos faciales).
• Control de Cámara: Logra una precisión de cámara competitiva, manteniendo la fidelidad geométrica incluso en movimientos complejos.
• Robustez: A diferencia de los métodos basados solo en anclas (que propagan artefactos) o solo sintéticos (que fallan en realismo), Reshoot-Anything combina la precisión geométrica con texturas de alta fidelidad extraídas del video fuente.
• Ablaciones: Los experimentos confirman que la mezcla de datos sintéticos es crucial para trayectorias extremas, y que la arquitectura de concatenación de tokens supera significativamente a la atención cruzada tradicional.

5. Significado e Impacto

• Democratización del Re-shooting: Permite la regrabación de videos dinámicos con control de cámara preciso utilizando solo videos de una sola cámara, lo que es vital para aplicaciones en cine, robótica y realidad virtual donde los datos multi-vista no están disponibles.
• Paradigma de Aprendizaje 4D: Demuestra que las estructuras 4D complejas pueden aprenderse implícitamente a partir de datos 2D si se diseña una tarea de entrenamiento adecuada (el "cuello de botella" de oclusión).
• Escalabilidad: Al depender de videos de internet en lugar de datasets sintéticos costosos o grabaciones multi-cámara, el método es altamente escalable y adaptable a cualquier dominio visual.

En resumen, Reshoot-Anything representa un avance significativo al resolver el problema de la escasez de datos para la regrabación de video mediante una estrategia auto-supervisada inteligente que fuerza al modelo a comprender la geometría 4D del mundo real a través de la manipulación de videos monoculares.