GaMO: Geometry-aware Multi-view Diffusion Outpainting for Sparse-View 3D Reconstruction

1. El Problema: Reconstrucción 3D con Vistas Escasas

La reconstrucción de escenas 3D completas a partir de un número limitado de imágenes de entrada (vistas escasas) es un desafío fundamental en visión por computadora. Aunque métodos recientes como 3D Gaussian Splatting (3DGS) logran resultados impresionantes con datos densos, sufren graves degradaciones cuando solo se disponen de pocas vistas (ej. 3, 6 o 9 imágenes).

Los enfoques actuales basados en difusión (que generan nuevas vistas para aumentar los datos de entrenamiento) presentan tres limitaciones críticas:

1. Cobertura insuficiente: Se centran en generar nuevas perspectivas angulares, pero a menudo fallan en extenderse más allá de los bordes de las vistas conocidas, dejando "agujeros" negros en la reconstrucción.
2. Inconsistencias geométricas: Las variaciones internas de los modelos de difusión generan inconsistencias fotométricas y geométricas entre las vistas generadas y las de entrada, especialmente cuando el solapamiento aumenta, provocando artefactos como "fantasmas" (ghosting).
3. Ineficiencia computacional: Los pipelines existentes requieren una planificación de trayectorias compleja y muestreo de poses de cámara, lo que los hace lentos y costosos.

2. Metodología: GaMO (Geometry-aware Multi-view Outpainter)

El núcleo de la propuesta es reformular el problema de la generación de vistas como un problema de outpainting (expansión de imagen) en lugar de la generación de nuevas vistas desde cero. En lugar de "alucinar" perspectivas completamente nuevas, GaMO expande el Campo de Visión (FOV) de las vistas de entrada existentes, preservando el contenido original y rellenando las regiones no observadas en los bordes.

El pipeline consta de tres etapas principales (ver Fig. 3 del artículo):

A. Inicialización 3D Grosera (Coarse 3D Initialization)

• Se utiliza DUSt3R para generar una nube de puntos inicial y se entrena un modelo 3DGS "grosero".
• A partir de este modelo, se generan dos priores geométricos esenciales:
  1. Máscara de Opacidad: Se renderiza un mapa de opacidad con un FOV más amplio que las vistas de entrada. Las regiones con baja opacidad indican áreas que requieren outpainting.
  2. Renderizado Grosero: Se genera una imagen de color de baja fidelidad para servir como referencia de apariencia y geometría.

B. Outpainter Multi-vista Consciente de la Geometría (GaMO)

Esta es la etapa central que utiliza un modelo de difusión pre-entrenado (MVGenMaster) en un modo zero-shot (sin ajuste fino).

• Condicionamiento Multi-vista: El modelo recibe no solo las imágenes de entrada, sino también:
  • Embeddings de Rayos Plücker: Para codificar la geometría de la cámara (origen y dirección de los rayos).
  • Mapas de Coordenadas Canónicas (CCM): Para alinear la estructura geométrica.
  • Señales Aumentadas: Las vistas de entrada se "deforman" (warp) y se combinan con el contenido original en el centro para guiar la generación en los bordes.
• Fusión de Latentes con Máscara (Mask Latent Blending): Durante el proceso de denoising del modelo de difusión, el sistema mezcla el latente generado con el latente del "renderizado grosero" basado en la máscara de opacidad.
  • Esto asegura que el contenido generado respete la estructura geométrica existente.
  • Se utiliza una Programación Iterativa de Máscaras (Iterative Mask Scheduling): La máscara se reduce progresivamente a medida que avanza el denoising, permitiendo primero la generación libre en los bordes y luego un ajuste fino para alinearse con la geometría conocida.
• Resampling de Ruido: Tras cada fusión, se realiza un resampling de ruido para eliminar artefactos en los bordes y garantizar transiciones suaves.

C. Refinamiento 3DGS

• Las vistas generadas con outpainting (ahora con un FOV más amplio) se utilizan junto con las vistas originales para refinar el modelo 3DGS final.
• Se emplea una función de pérdida que combina la pérdida de reconstrucción estándar (L1, D-SSIM) con una pérdida perceptual (LPIPS) específica para las regiones outpainted, lo que ayuda a llenar agujeros y reducir artefactos sin sobre-suavizar.

3. Contribuciones Clave

1. Nuevo Paradigma (Outpainting vs. Generación): Demuestran que, en escenarios de vistas muy escasas, expandir el FOV de las vistas existentes es superior a generar nuevas vistas intermedias, ya que mantiene una consistencia geométrica inherente y evita la introducción de inconsistencias.
2. Estrategia Zero-Shot Geométrica: Desarrollan un enfoque de outpainting consciente de la geometría que no requiere entrenamiento adicional del modelo de difusión, utilizando condicionamiento de rayos Plücker y fusión de latentes.
3. Eficiencia Sin Precedentes: El método es significativamente más rápido que las alternativas basadas en difusión (como GuidedVD-3DGS), reduciendo el tiempo total de reconstrucción a menos de 10 minutos (aprox. 8 min en una RTX 4090), logrando una aceleración de hasta 25x.
4. Rendimiento Superior: Logran una mayor coherencia estructural y calidad perceptual, eliminando agujeros negros y artefactos de "fantasmas" comunes en otros métodos.

4. Resultados Experimentales

El método se evaluó en tres conjuntos de datos estándar: Replica, ScanNet++ y Mip-NeRF 360, con configuraciones de 3, 6 y 9 vistas de entrada.

• Métricas Cuantitativas: GaMO superó consistentemente a los métodos state-of-the-art (incluyendo 3DGS, FSGS, Difix3D, GenFusion y GuidedVD-3DGS) en métricas de SSIM (similitud estructural) y LPIPS (calidad perceptual), y mostró un PSNR competitivo o superior.
  • Ejemplo: En Replica con 3 vistas, GaMO obtuvo un SSIM de 0.865 y LPIPS de 0.117, superando a GuidedVD-3DGS (SSIM 0.864, LPIPS 0.138).
• Resultados Cualitativos: Las visualizaciones muestran una cobertura de escena mucho más completa, con bordes nítidos y una geometría coherente, eliminando los agujeros negros típicos en las regiones no observadas.
• Eficiencia: Mientras que GuidedVD-3DGS tarda más de 3 horas, GaMO completa el proceso en menos de 10 minutos.

5. Significado e Impacto

GaMO representa un avance significativo en la reconstrucción 3D práctica. Al demostrar que la expansión de campo de visión (outpainting) es una estrategia más robusta y eficiente que la generación de nuevas vistas para datos escasos, ofrece una solución viable para aplicaciones del mundo real donde la captura de datos es limitada (ej. tours virtuales rápidos, telepresencia inmersiva, escaneo con móviles).

Su capacidad para operar en modo zero-shot y su extrema velocidad lo convierten en una herramienta accesible y escalable, superando la barrera de la inconsistencia geométrica que ha limitado el uso de modelos de difusión en la reconstrucción 3D de alta fidelidad.

Limitaciones: El método no puede recuperar contenido completamente ocluido en todas las vistas de entrada (un problema inherente a la mayoría de métodos de generación), y su rendimiento depende de la distribución de las vistas de entrada (vistas muy agrupadas pueden degradar los resultados).