From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation

Resumen Técnico: De la Sincronía a la Secuencia

1. El Problema: Discontinuidades en la Generación Exo-a-Ego

La tarea de generación de video Exo-a-Ego consiste en sintetizar una vista en primera persona (egocéntrica) a partir de una vista en tercera persona (exocéntrica) sincronizada y sus poses de cámara correspondientes. Aunque la disponibilidad de datos emparejados y sincronizados facilita la supervisión, el artículo identifica un obstáculo fundamental que los métodos actuales ignoran:

• Discontinuidades Espacio-Temporales y Geométricas: En los pares de video sincronizados, existe un "salto" abrupto entre el último fotograma de la vista exocéntrica y el primero de la vista egocéntrica.
  • Visualmente: Hay una gran diferencia de perspectiva y contenido.
  • Geométricamente: Las poses de la cámara ($p_x$ al final de la secuencia exo y $p_g$ al inicio de la secuencia ego) pueden diferir drásticamente.
• Fallo de los Modelos Estándar: Los generadores de video convencionales (basados en difusión) asumen trayectorias de movimiento suaves y continuas. La naturaleza discontinua de los pares Exo-Ego sincronizados viola estas suposiciones, provocando artefactos, falta de coherencia temporal y transiciones bruscas en los resultados generados.

2. Metodología: Syn2Seq-Forcing

Los autores proponen un nuevo paradigma llamado Syn2Seq-Forcing (Forzamiento Secuencial de Sincronía), que transforma el problema de una tarea de "condición-salida" discreta a un modelo de señal secuencial continua.

Concepto Central:
En lugar de intentar mapear directamente el video exocéntrico ($X$) al egocéntrico ($G$), el método interpola entre ambos para crear una única secuencia temporal continua:
$$S = [X, \mathcal{I}, G]$$
Donde $\mathcal{I}$ es un segmento intermedio interpolado que actúa como un "puente" suave.

Componentes Clave del Pipeline:

1. Interpolación de Video (Pseudo-Ground Truth):

   • Se utiliza un modelo de difusión de video preentrenado y congelado, WFLF (basado en Wan2.2-Lightning), configurado para generar fotogramas intermedios entre el último fotograma exocéntrico ($x_T$) y el primero egocéntrico ($g_1$).
   • Este modelo genera $T-2$ fotogramas de transición, creando un segmento $\mathcal{I}$ que suaviza la transición visual sin necesidad de aprender la interpolación desde cero durante el entrenamiento principal.

2. Interpolación de Poses de Cámara:

   • Se construye una secuencia de poses unificada $P = (P_x, P_i, P_g)$.
   • La interpolación de rotación se realiza mediante SLERP (Interpolación Lineal Esférica) para mantener la geometría de las cuaterniones unitarias, y la traslación se interpola linealmente. Esto asegura una transición geométrica suave en el espacio 3D.

3. Modelado Secuencial con DFoT:

   • Se utiliza un Transformador de Forzamiento de Difusión (Diffusion Forcing Transformer - DFoT).
   • A diferencia de los pipelines estándar, DFoT aplica niveles de ruido independientes por fotograma. Esto permite que el modelo condicione la generación de fotogramas futuros sobre un historial arbitrario de fotogramas pasados (algunos ruidosos, otros limpios).
   • El modelo aprende a predecir el ruido de la secuencia completa $S$ condicionada por las poses $P$, tratando la transición Exo $\to$ Interpolación $\to$ Ego como un solo flujo de datos coherente.

4. Entrenamiento y Inferencia:

   • Entrenamiento: Se utiliza un enfoque de dos etapas (pre-entrenamiento y ajuste fino). Durante el ajuste fino, se entrena al modelo en sub-tareas estocásticas: ya sea predecir la transición Exo $\to$ Interpolación o Interpolación $\to$ Ego, dentro de la misma secuencia unificada.
   • Inferencia: Dado el video exocéntrico limpio y todas las poses, el modelo genera simultáneamente el segmento de transición y el video egocéntrico final en un solo proceso de denoising.

3. Contribuciones Clave

1. Identificación del Núcleo del Problema: Demostraron que la principal barrera en la generación Exo-a-Ego no es la calidad de la condición, sino las discontinuidades inducidas por la sincronización.
2. Reformulación Secuencial: Propusieron reemplazar la formulación condicional tradicional por un modelo de señal secuencial con interpolación, logrando mejoras significativas incluso sin interpolar las poses (solo con interpolación de video).
3. Marco Unificado: Introdujeron un paradigma general que puede unificar tanto la generación Exo-a-Ego como Ego-a-Exo dentro de un único modelo de secuencia continua, ofreciendo flexibilidad conceptual para futuras investigaciones en síntesis de video multi-vista.

4. Resultados Experimentales

El método se evaluó en el conjunto de datos Ego-Exo4D (categorías: Bicicleta, Salud y Cocina) comparado con métodos baselines como TrajectoryCrafter, Wan-FCtrl y Exo2EgoSyn.

• Métricas Cuantitativas: Syn2Seq-Forcing superó consistentemente a todos los métodos baselines en métricas de fidelidad de píxel (PSNR), similitud estructural (SSIM) y distancia perceptual (LPIPS) en todas las categorías.
  • Ejemplo (Categoría Salud): PSNR de 16.71 (Ours) vs 15.62 (Exo2EgoSyn) y 14.30 (Trj-Crafter).
• Estudios de Ablación:
  • Interpolación de Video: Demostraron que interpolar solo los fotogramas (sin interpolar poses) ya produce ganancias sustanciales, confirmando que la discontinuidad visual es el factor dominante.
  • Interpolación de Poses: La adición de interpolación de poses (FPI) mejora aún más los resultados sobre la interpolación solo de fotogramas (FI).
  • Embedding de Poses: Se encontró que las incrustaciones de Plücker (6 dimensiones por píxel) superan a las codificaciones globales o de rayos para representar las poses de la cámara en este contexto.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cambia el Paradigma: Mueve el enfoque de "traducción de vista" a "modelado de secuencia continua", alineando la tarea de generación Exo-a-Ego con las suposiciones de suavidad inherentes a los modelos de difusión modernos.
• Eficiencia y Flexibilidad: Al utilizar un modelo preentrenado (WFLF) solo para generar pseudo-etiquetas de interpolación y no para el entrenamiento final, el método es eficiente y evita la necesidad de datos 3D explícitos o múltiples vistas exocéntricas (requiere solo una vista exo).
• Fundamento para el Futuro: Establece una base sólida para la síntesis de video de largo horizonte y la traducción bidireccional de vistas (Exo $\leftrightarrow$ Ego), lo cual es crucial para aplicaciones en robótica, realidad aumentada y virtual, donde la coherencia temporal y la transición suave entre perspectivas son vitales para la percepción y la interacción.

En conclusión, el artículo demuestra que suavizar la transición mediante interpolación es la clave para desbloquear la alta calidad en la generación de video entre vistas cruzadas, superando las limitaciones de los enfoques condicionales directos.