Generalizable Sparse-View 3D Reconstruction from Unconstrained Images

1. Planteamiento del Problema

La reconstrucción de escenas 3D a partir de imágenes escasas y sin pose de internet ("in-the-wild") sigue siendo un desafío significativo debido a tres factores principales:

1. Iluminación Variable: Las fotos de internet a menudo capturan la misma escena bajo condiciones de iluminación drásticamente diferentes (hora del día, estaciones).
2. Oclusiones Transitorias: Las capturas con dispositivos móviles frecuentemente contienen objetos en movimiento (turistas, vehículos) que actúan como distractores dinámicos en lugar de geometría estática de la escena.
3. Vistas Escasas: Los conjuntos de datos del mundo real a menudo carecen de la cobertura densa y multi-vista requerida por los métodos tradicionales.

Limitaciones de los Métodos Existentes:

• Métodos basados en optimización (ej. WildGaussians, NexusSplats): Requieren una extensa optimización por escena (horas de entrenamiento) y a menudo fallan cuando las vistas son escasas o la iluminación difiere de las condiciones de entrenamiento. Tienen dificultades para generalizar a escenas no vistas.
• Métodos feed-forward: Aunque son rápidos, suelen limitarse a iluminación fija o requieren poses de cámara precisas. A menudo fallan en separar la geometría de la apariencia, lo que genera artefactos bajo iluminación variable.

2. Metodología: GenWildSplat

GenWildSplat es un marco feed-forward que reconstruye escenas 3D en un solo paso (aprox. 3 segundos) sin optimización por escena. Integra la predicción de geometría, el control de apariencia y el manejo de oclusiones en una arquitectura unificada.

A. Arquitectura Central

El marco se basa en AnySplat, utilizando una columna vertebral transformadora VGGT para procesar imágenes multi-vista escasas y sin pose en mapas de características ricos. Estas características son decodificadas por cabezales especializados:

• Cabezal de Profundidad: Predice mapas de profundidad por píxel.
• Cabezal de Cámara: Estima intrínsecas y extrínsecas de la cámara.
• Cabezal Gaussiano: Predice atributos canónicos de Gaussiana 3D (posición, rotación, escala, opacidad y coeficientes armónicos esféricos independientes de la apariencia).

B. Componentes Clave

1. Representación del Espacio Canónico:
   El modelo predice un conjunto "canónico" de Gaussianas 3D ($\mathcal{G}_c$) que representan la geometría estática de la escena, separada de condiciones de iluminación específicas.

2. Adaptador de Apariencia (Control de Iluminación):
   Para manejar la iluminación variable, el modelo introduce un Adaptador de Apariencia.

   • Un Codificador de Luz ($E_{Light}$) extrae un código de luz compacto ($L_i$) de cada imagen de entrada.
   • Un MLP ($F_{light}$) modula los colores canónicos de las Gaussianas ($c$) basándose en el código de luz objetivo para producir colores transformados ($c_{L_i}$).
   • Esto permite al modelo renderizar la misma escena bajo condiciones de iluminación novedosas simplemente cambiando el código de luz, sin re-optimizar la geometría.

3. Modelado de Oclusiones:
   Para manejar objetos transitorios (personas, coches), el sistema aprovecha una red de segmentación semántica pre-entrenada (YOLOv8).

   • Genera máscaras binarias que identifican regiones transitorias.
   • Estas máscaras se utilizan para enmascarar la pérdida de supervisión, asegurando que el modelo solo aprenda de contenido estático. Esto evita "explicar" estructuras estáticas (como árboles) como oclusiones y evita el colapso del gradiente en regiones dinámicas.

C. Estrategia de Aprendizaje por Currículo

Entrenar directamente con datos a gran escala y no restringidos es inestable debido a la naturaleza mal planteada de aprender simultáneamente geometría, iluminación y oclusiones. Los autores emplean un currículo de tres etapas:

1. Etapa 1 (Iluminación): Entrenar en una sola escena sintética con variaciones de iluminación para aprender la separación de iluminación sin confusores geométricos/occlusiones.
2. Etapa 2 (Multi-escena): Introducir diversas escenas sintéticas para aprender priores robustos de geometría y apariencia.
3. Etapa 3 (Oclusiones): Añadir objetos transitorios sintéticos con máscaras de verdad fundamental para enseñar al modelo a ignorar elementos dinámicos.

3. Contribuciones Clave

• Primera aproximación Feed-forward para Escenas Salvajes: GenWildSplat es el primer método que integra el modelado de apariencia y el manejo de oclusiones dentro de un paradigma de reconstrucción 3D feed-forward para imágenes escasas y sin pose.
• Generalización sin Optimización: Logra un rendimiento de última generación (SOTA) en escenas no vistas en 3 segundos sin ninguna optimización en tiempo de prueba o ajuste por escena.
• Transferencia de Apariencia entre Escenas: Al separar la geometría de la iluminación, el modelo puede transferir estilos de iluminación de una escena a otra (ej. aplicar la iluminación de una escena de atardecer a un edificio diferente), una capacidad ausente en métodos previos de optimización conjunta.
• Manejo Robusto de Oclusiones: El uso de priores de segmentación externos para supervisión enmascarada asegura un entrenamiento estable y una reconstrucción limpia incluso con oclusiones transitorias pesadas.

4. Resultados Experimentales

El método fue evaluado en PhotoTourism y el desafiante conjunto de datos MegaScenes (que presenta vistas escasas, iluminación diversa y oclusiones pesadas).

• Rendimiento Cuantitativo:
  • Supera a las líneas base basadas en optimización (WildGaussians, NexusSplats, GS-W) en MegaScenes.
  • MegaScenes (6-Vistas): Logra 15.84 PSNR, 0.440 SSIM y 0.407 LPIPS, superando significativamente al siguiente mejor método (NexusSplats: 13.92 PSNR).
  • Tiempo de Inferencia: 3 segundos frente a horas para métodos basados en optimización.
• Rendimiento Cualitativo:
  • Produce renderizados consistentes en la vista con menos artefactos (ej. cielos sin "picos" ni distorsiones geométricas) en comparación con las líneas base.
  • Maneja con éxito condiciones de iluminación novedosas y elimina objetos transitorios (personas/coches) para revelar la geometría estática subyacente.
• Estudios de Ablación:
  • Eliminar el Adaptador de Apariencia resulta en salidas de apariencia fija y única.
  • Eliminar el Manejo de Oclusiones conduce a objetos transitorios incrustados.
  • Eliminar el Aprendizaje por Currículo causa colapso de color e inestabilidad.

5. Significado e Impacto

GenWildSplat representa un gran avance en la reconstrucción 3D generalizable.

• Aplicabilidad en Tiempo Real: Al eliminar la necesidad de optimización por escena, habilita la comprensión de escenas 3D en tiempo real para RA/RV, navegación y gemelos digitales utilizando fotos crudas de internet.
• Robustez: Demuestra que priores pre-entrenados a gran escala (mediante aprendizaje por currículo en datos sintéticos) pueden generalizar efectivamente a condiciones complejas y del mundo real "in-the-wild" donde fallan los métodos tradicionales.
• Controlabilidad: La capacidad de controlar la apariencia y la iluminación post-reconstrucción abre nuevas posibilidades para la creación de contenido y la edición de escenas sin re-entrenamiento.

Limitaciones:
El artículo reconoce que el método aún lucha con vistas extremadamente escasas (lo que lleva a geometría faltante), vistas muy fuera de la distribución de entrenamiento (causando artefactos), escenas interiores con máscaras imperfectas, y aún no modela sombras proyectadas ni re-iluminación físicamente precisa.