Resumen Técnico: MoCam - Síntesis Unificada de Nuevas Vistas mediante Dinámicas de Eliminación de Ruido Estructurada

1. Declaración del Problema

La síntesis generativa de nuevas vistas enfrenta un dilema fundamental al reconciliar los priores geométricos con los priores de apariencia.

• Priores Geométricos: Los métodos que dependen de geometría reconstruida (por ejemplo, mapas de profundidad, nubes de puntos) proporcionan una alineación espacial esencial para las trayectorias de la cámara objetivo. Sin embargo, bajo cambios de vista significativos o entrada monoculular, estos priores se vuelven inevitablemente dispersos, incompletos y erróneos debido a la oclusión inversa y a la imprecisión de la profundidad.
• Priores de Apariencia: Las imágenes o videos de origen ofrecen detalles visuales de alta fidelidad, pero carecen de correspondencia geométrica con los puntos de vista nuevos.
• El Conflicto: Los enfoques existentes propagan errores geométricos a lo largo del proceso de generación (al depender exclusivamente de andamios) o intentan fusionar geometría y apariencia de forma estática. La fusión estática genera conflictos de señal donde las señales de apariencia fuertes provocan una deriva geométrica temprana en la generación, o una geometría defectuosa "hornea" permanentemente errores estructurales en la salida tardía de la generación. Esto resulta en colapso geométrico, artefactos visuales e inestabilidad, particularmente en tareas de re-cámara 4D (escenas dinámicas) y reconstrucción 3D de una sola imagen.

2. Metodología: MoCam

MoCam introduce un marco que unifica la síntesis de vistas estáticas y dinámicas mediante el empleo de dinámicas de eliminación de ruido estructuradas dentro de un proceso de difusión. La idea central es que los modelos de difusión tienen necesidades representacionales distintas a través de diferentes fases de eliminación de ruido: las etapas tempranas requieren un anclaje estructural grueso, mientras que las etapas posteriores exigen un refinamiento de alta frecuencia.

2.1 Descripción General de la Pipeline

El método opera en tres etapas principales:

1. Generación de Andamio: Se construye una nube de puntos dinámica a partir del video de entrada monoculular (o una sola imagen replicada para $N$ fotogramas) utilizando un estimador de profundidad y una proyección de perspectiva inversa. Esta nube de puntos se renderiza a lo largo de la trayectoria de la cámara objetivo para crear un "video de andamio" ($x_{ren}^{tgt}$) grueso. Este andamio está alineado espacialmente con el movimiento objetivo, pero contiene artefactos significativos (agujeros, distorsiones).
2. Arquitectura de Doble Condicionamiento: El modelo utiliza dos señales de condicionamiento distintas:
   • Condición de Andamio ($c_{ren}$): Derivada del video de andamio renderizado, proporcionando priores fuertes de movimiento y estructura.
   • Condición de Apariencia de Referencia ($c_{src}$): Derivada del video de origen original, proporcionando textura de alta fidelidad y dinámicas de objetos.
3. Generación por Etapas: En lugar de fusionar estas señales estáticamente, MoCam las desacopla temporalmente basándose en el paso de tiempo de eliminación de ruido $t$.

2.2 Dinámicas de Eliminación de Ruido Estructurada

El proceso de generación está gobernado por un contexto dependiente del tiempo $c(t)$, definido por un interruptor en un umbral predefinido $T_{switch}$ (establecido empíricamente en 0.85):

$$c(t) = \begin{cases} c_{ren} & \text{si } t > T_{switch} \quad (\text{Etapa Temprana}) \\ c_{src} & \text{si } t \le T_{switch} \quad (\text{Etapa Posterior}) \end{cases}$$

• Etapa Temprana ($t > T_{switch}$): El modelo se condiciona exclusivamente sobre el andamio ($c_{ren}$). Dado que la variable latente es mayoritariamente ruido, la tarea principal es establecer la estructura global y la coherencia del movimiento. El modelo se ve obligado a adherirse a la trayectoria de la cámara objetivo, tolerando deliberadamente la incompletitud geométrica del andamio para anclar la disposición de la escena.
• Etapa Posterior ($t \le T_{switch}$): El modelo cambia a condicionarse exclusivamente sobre la apariencia de origen ($c_{src}$). Para esta etapa, ya se ha establecido una estructura coherente de baja frecuencia. El modelo utiliza el video de referencia de alta fidelidad para sintetizar detalles, refinar texturas y corregir activamente los errores geométricos y rellenar las regiones ocluidas inversamente heredadas del andamio. Esto evita que los defectos del andamio se horneen permanentemente en la salida final.

El marco se basa en modelos generativos de video latente preentrenados (por ejemplo, Wan2.2), operando en un espacio latente comprimido mediante un Autoencoder Variacional (VAE).

3. Contribuciones Clave

1. Identificación del Conflicto de Señal: El artículo identifica la tensión fundamental entre los priores geométricos y de apariencia en la síntesis generativa de vistas, argumentando que la fusión estática conduce a interferencia de señales y propagación de errores.
2. Dinámicas de Eliminación de Ruido Estructurada: Los autores proponen una solución principista que desacopla temporalmente estas señales. Al alinear el andamio con el anclaje estructural temprano y la apariencia con el refinamiento de etapa posterior, el método logra un desentrelazamiento robusto entre geometría y apariencia.
3. Marco Unificado: MoCam presenta un único marco aplicable tanto a la reconstrucción 3D de una sola imagen como a la re-cámara 4D de video. Demuestra que el condicionamiento por etapas se generaliza a través de modalidades de entrada, abordando el desafío de sintetizar vistas bajo geometría poco fiable sin requerir optimización por escena.

4. Resultados Experimentales

El método fue evaluado en el conjunto de datos OpenVid-1M (videos monoculares en el mundo real) y el conjunto de datos multi-vista de iPhone.

• Rendimiento Cuantitativo: MoCam supera significativamente a los métodos más avanzados (GEN3C, TrajCrafter, ReCam) en múltiples métricas:
  • Calidad Perceptiva: Logra puntuaciones superiores en las métricas de VBench (Consistencia de Fondo, Consistencia del Sujeto, Calidad de Imagen) y puntuaciones FVD-V más bajas (por ejemplo, 255.16 frente a 289.37 para GEN3C en reconstrucción 3D).
  • Precisión de la Pose: Mantiene los errores de rotación y traslación más bajos, demostrando un control preciso de la cámara.
  • Métricas a Nivel de Píxel: En el conjunto de datos de iPhone, MoCam logra el PSNR y SSIM más altos, y el LPIPS y FVD más bajos, indicando una alta fidelidad respecto a la verdad fundamental.
• Robustez ante la Degradación Geométrica: Los experimentos que varían la magnitud del movimiento de la cámara (órbitas de 30° a 90°) muestran que MoCam mantiene un rendimiento consistente a medida que aumenta la dispersión geométrica. Los competidores sufren deriva catastrófica o colapso estructural bajo grandes cambios de vista, mientras que el enfoque por etapas de MoCam previene la deriva y corrige errores dispersos.
• Estudios de Ablación:
  • Solo Andamio: Resulta en métricas colapsadas, confirmando que el condicionamiento geométrico persistente hornea errores.
  • Andamio-Temprano: Evita los peores artefactos pero produce detalles borrosos en regiones ocluidas inversamente sin la señal de apariencia de etapa posterior.
  • Ambos-Estático: Sufre inestabilidad geométrica catastrófica (altos errores de rotación/traslación) debido a la interferencia de señales, validando la necesidad del desacoplamiento temporal.
  • Generalización: El método funciona consistentemente a través de diferentes arquitecturas base (Wan2.1 y Wan2.2).

5. Significado y Afirmaciones

El artículo afirma que MoCam aborda el desafío subyacente de sintetizar vistas bajo geometría poco fiable transformando el proceso de eliminación de ruido en una progresión estructurada desde la alineación hasta el realismo.

• Robustez: El método logra un desentrelazamiento robusto entre geometría y apariencia, generando resultados coherentes y fotorrealistas incluso cuando las nubes de puntos contienen agujeros severos o distorsiones.
• Corrección de Errores: A diferencia de métodos anteriores que propagan errores, el condicionamiento de apariencia de etapa posterior de MoCam corrige activamente las inexactitudes geométricas.
• Enfoque Unificado: Destaca que el mismo principio de generación se aplica tanto a la síntesis de vistas estáticas como dinámicas, ofreciendo una solución unificada para la reconstrucción 3D y la re-cámara 4D sin necesidad de datos multi-vista densos ni optimización por escena.

Los autores concluyen que su diseño por etapas establece nuevos estándares para la síntesis de vistas controlable al mitigar eficazmente las limitaciones de las reconstrucciones monoculares imperfectas.