One View Is Enough! Monocular Training for In-the-Wild Novel View Generation

Resumen Técnico: OVIE - Síntesis de Nuevas Vistas Monocular para Entornos "In-the-Wild"

1. El Problema

La síntesis de nuevas vistas (Novel View Synthesis - NVS) monocular busca generar vistas realistas de una escena desde posiciones de cámara no observadas, basándose únicamente en una sola imagen de entrada.

• Limitación actual: Los métodos existentes dependen casi exclusivamente de supervisión multi-vista (pares de imágenes con poses conocidas). Esto restringe el entrenamiento a conjuntos de datos pequeños y específicos (como RealEstate10K o DL3DV), limitando la generalización a dominios no vistos (out-of-domain).
• El desafío: Los datos de video no son una solución perfecta debido a elementos dinámicos (personas, vehículos) que violan la suposición de escena estática y corrompen la supervisión geométrica.
• Objetivo: Desarrollar un modelo que pueda entrenarse exclusivamente con imágenes sueltas de internet (sin pares multi-vista, sin anotaciones de profundidad ni poses) y que generalice a cualquier escena del mundo real.

2. Metodología (OVIE)

Los autores proponen OVIE, un marco de entrenamiento que elimina la dependencia de datos multi-vista utilizando la estimación de profundidad monocular como un "andamio" geométrico.

A. Generación de Pares Pseudo-Etiqueta (Training Time):
En lugar de usar pares reales, el sistema construye pares de entrenamiento on-the-fly:

1. Levantamiento a 3D: Se utiliza un estimador de profundidad monocular pre-entrenado y congelado (específicamente MoGe-2, que proporciona profundidad métrica) para convertir la imagen de entrada en una nube de puntos 3D.
2. Muestreo de Cámara: Se muestrea una transformación de cámara ($T_{0\to1}$) plausible basada en la geometría de la escena.
3. Reproyección: La nube de puntos se transforma y se reproyecta al plano de la imagen objetivo, generando una vista pseudo-objetivo ($I^*_1$) y una máscara de validez binaria ($M$).
   • La máscara $M$ marca píxeles válidos y regiones de oclusión/desocclusión (donde la geometría 3D no tiene información).

B. Arquitectura del Modelo:

• Entrada: Imagen fuente ($I_0$) y transformación de cámara relativa ($T_{0\to1}$).
• Salida: Imagen sintetizada ($\hat{I}_1$) directamente en el espacio de píxeles.
• Diseño: Es un modelo feed-forward (sin optimización por escena ni representaciones 3D intermedias durante la inferencia). Utiliza un codificador convolucional, un cuello de botella basado en Transformers (ViT-B) condicionado por la pose, y un decodificador convolucional simétrico.
• Condicionamiento: La pose se codifica como un vector de 7 dimensiones (traslación + cuaternión) y se integra mediante Adaptive Layer Normalization (AdaLN).

C. Función de Pérdida (Training Objective):
Dado que las pseudo-vistas son parciales (tienen agujeros por oclusiones), las pérdidas se calculan solo en las regiones válidas definidas por la máscara $M$:

1. Pérdida de Reconstrucción ($L_{recon}$): Error cuadrático medio (MSE) enmascarado para asegurar fidelidad geométrica.
2. Pérdida Perceptual ($L_{perc}$): Combina LPIPS y P-DINO (activaciones de un modelo DINO pre-entrenado) aplicados a las regiones válidas para mantener la consistencia semántica y de textura.
3. Pérdida Adversarial ($L_{adv}$): Un discriminador PatchGAN entrena al generador para que las texturas en las regiones no observadas (agujeros) sean realistas. Curiosamente, el discriminador compara la imagen fuente con la generada (asumiendo consistencia de textura local), ya que la pseudo-vista incompleta no es una muestra "real" confiable.

3. Contribuciones Clave

1. Paradigma de Entrenamiento Escalable y Agnóstico al Dominio: Demuestran que es posible entrenar un modelo de NVS de alta calidad utilizando 30 millones de imágenes sueltas de internet (ImageNet, Open Images, Places, OpenStreetView) sin necesidad de pares multi-vista.
2. Conciencia de Escala Métrica: Al utilizar un estimador de profundidad métrica (MoGe-2), el modelo aprende relaciones de escala reales. Esto permite que el modelo maneje desplazamientos de cámara en metros reales, algo que los métodos basados en poses de SLAM (ambiguas en escala) no logran sin calibración.
3. Modelo Geométrico-Free en Inferencia: A diferencia de los métodos de "warping" que requieren estimar profundidad en tiempo de prueba (propagando errores), OVIE es puramente una red neuronal feed-forward. No necesita estimadores de profundidad ni estructuras 3D durante la inferencia, lo que lo hace extremadamente rápido y robusto.
4. Velocidad de Inferencia: El modelo opera a >100 FPS (aprox. 8.6 ms), siendo 600 veces más rápido que los métodos basados en difusión o autoregresivos más rápidos.

4. Resultados Experimentales

• Generalización Fuera de Dominio (Out-of-Domain):
  • En RealEstate10K (dominio de entrenamiento de los baselines), OVIE, entrenado sin ver estos datos, compite o supera a métodos de última generación (SOTA) que sí se entrenaron en ese dominio.
  • En DL3DV (un conjunto de datos más diverso y fuera de dominio para todos), OVIE supera a todas las líneas base en todas las métricas (PSNR, SSIM, LPIPS, FID).
• Calidad Visual: Genera vistas con consistencia geométrica, parallax métrico correcto y relleno convincente de regiones no observadas (inpainting), incluso en escenas no naturales (pinturas, objetos).
• Análisis de Escala de Datos:
  • La cantidad de datos es el factor más crítico: aumentar el tamaño del conjunto de entrenamiento de 3k a 30M imágenes mejora consistentemente el rendimiento.
  • La diversidad de los datos aporta ganancias marginales adicionales, pero la escala es el motor principal.
• Ablación de Pérdidas: Se demostró que la combinación de pérdidas perceptuales (LPIPS + P-DINO) y adversariales es crucial para la calidad visual, mientras que la pérdida de reconstrucción L2 (MSE) es superior a L1 o Charbonnier para preservar detalles de alta frecuencia en este contexto.

5. Significado e Impacto

• Democratización del NVS: OVIE rompe la barrera de la necesidad de datos multi-vista costosos y difíciles de obtener. Permite aplicar síntesis de vistas a cualquier colección de imágenes de internet, incluyendo archivos históricos, arte y escenas donde la captura 3D es imposible.
• Navegación Interactiva en Tiempo Real: Gracias a su velocidad de inferencia (116 FPS), el modelo habilita aplicaciones prácticas como navegación interactiva en 3D a partir de una sola foto, útil para robots, realidad virtual y herramientas de exploración de escenas.
• Cambio de Paradigma: El trabajo sugiere que la capacidad de razonamiento geométrico 3D puede adquirirse a partir de datos 2D a escala de internet, utilizando la profundidad monocular como supervisión indirecta, en lugar de depender de la recolección explícita de escenas 3D.

En resumen, OVIE demuestra que "una vista es suficiente" para entrenar modelos de síntesis de vistas robustos y generalizables, superando a los métodos anteriores en velocidad y capacidad de adaptación a nuevos dominios.