ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination

1. El Problema

La reconstrucción de activos 3D listos para producción a partir de imágenes enfrenta varios desafíos fundamentales:

• Desacoplamiento Iluminación-Material: Determinar las propiedades materiales (BRDF espacialmente variable) y la iluminación ambiental a partir de una sola imagen es un problema mal planteado (ill-posed). La misma apariencia 2D puede ser causada por infinitas combinaciones de reflectancia superficial e iluminación.
• Limitaciones de los Métodos Existentes:
  • Los modelos generativos basados en difusión ofrecen alta fidelidad geométrica pero son lentos y sufren de alucinaciones.
  • Los Modelos de Reconstrucción Grandes (LRMs) actuales son rápidos pero a menudo predicen materiales globales (no variables espacialmente) y carecen de estimación de iluminación ambiental, lo que impide el relighting (cambio de iluminación) realista.
  • Los métodos de optimización inversa requieren muchas vistas y tiempos de inferencia largos.
• Necesidad: Existe una brecha entre los prototipos de investigación y las necesidades de los artistas: se necesita una reconstrucción rápida, precisa, con materiales PBR (Renderizado Basado en Física) variables espacialmente y descompuesta de la iluminación, capaz de funcionar con pocas vistas (sparse multi-view).

2. Metodología: ReLi3D

ReLi3D es un sistema unificado de inferencia feed-forward (de un solo paso) que reconstruye geometría, materiales y entorno en menos de un segundo. Su núcleo es la idea de que las restricciones multivista proporcionan la información faltante para separar los materiales de la iluminación.

Arquitectura de Dos Caminos (Two-Path Architecture)

El sistema utiliza un transformador de condicionamiento cruzado compartido que fusiona un número arbitrario de vistas de entrada y alimenta dos caminos paralelos:

1. Fusión de Características Cross-View:

   • Utiliza tokens de DINOv2 y modulación de cámara.
   • Selecciona una "vista héroe" (hero view) como flujo de consultas (query stream) para el transformador.
   • Emplea una mezcla latente (latent mixing) con tokens aprendibles para crear una representación unificada de características (triplanas) que es consistente entre todas las vistas.

2. Caminos de Predicción:

   • Camino de Geometría y Apariencia: Predice la estructura de la malla y los parámetros de BRDF espacialmente variables (Albedo, Rugosidad, Metálico y Normales) directamente desde las características unificadas de la triplana. Utiliza Flexicubes para la extracción de mallas y desenrollado UV rápido.
   • Camino de Iluminación: Predice un entorno HDR coherente utilizando una extensión multivista de RENI++ (una representación latente compacta para iluminación). Este camino utiliza tokens sensibles a máscaras (mask-aware tokens) para inferir la iluminación tanto de las observaciones directas del fondo como de los reflejos indirectos en el objeto.

3. Entrenamiento Desacoplado vía MC+MIS:

   • Se utiliza un renderizador Monte Carlo diferenciable con Muestreo de Importancia Múltiple (MIS).
   • Este renderizador une ambos caminos, forzando que los materiales y la iluminación predichos expliquen físicamente las imágenes observadas.
   • Enmascaramiento Estocástico: Durante el entrenamiento, se ocultan aleatoriamente píxeles de fondo en algunas vistas. Esto obliga a la red a aprender a inferir la iluminación tanto de las observaciones directas del entorno como de los reflejos en el objeto, mejorando la robustez en escenarios reales donde el fondo puede estar recortado o saturado.

Entrenamiento de Dominio Mixto

El modelo se entrena con una mezcla de:

• Datos sintéticos PBR (con supervisión completa de materiales).
• Datos sintéticos RGB-only.
• Capturas del mundo real (dataset UCO3D) utilizando auto-supervisión en el espacio de la imagen.
  Esto permite una generalización robusta sin colapso de supervisión.

3. Contribuciones Clave

• Primera Pipeline Unificada Feed-Forward: Es el primer sistema capaz de reconstruir simultáneamente geometría, materiales PBR variables espacialmente e iluminación HDR en tiempo interactivo (< 1s).
• Desacoplamiento Multivista: Demuestra que la fusión multivista es el mecanismo principal para resolver la ambigüedad material-iluminación, superando las limitaciones de los métodos de vista única.
• Arquitectura de Doble Camino: Una estrategia novedosa que separa la predicción de la estructura/apariencia de la estimación del entorno, unificadas mediante un renderizador físico diferenciable.
• Generalización de Dominio: Un protocolo de entrenamiento que combina datos sintéticos y reales, permitiendo que el modelo funcione robustamente en capturas del mundo real con iluminación compleja y ruido.

4. Resultados

Los experimentos muestran que ReLi3D supera a los métodos más recientes (como SF3D, SPAR3D, 3DTopia-XL y Hunyuan3D) en múltiples métricas:

• Calidad de Materiales y Relighting:
  • Logra un PSNR de 25.00 dB en la reconstrucción de albedo (vs 18.42 dB de SF3D).
  • Predice mapas de rugosidad y metálico con alta fidelidad espacial.
  • En tareas de relighting (cambiar la iluminación de la escena reconstruida), ReLi3D obtiene el mejor rendimiento en todas las métricas, incluso cuando los métodos competidores reciben mapas de entorno de verdad absoluta como entrada.
• Velocidad:
  • Realiza la reconstrucción completa en ~0.3 segundos en una sola GPU H100.
  • Es aproximadamente 100 veces más rápido que los enfoques generativos basados en difusión como Hunyuan3D.
• Robustez Multivista:
  • El rendimiento mejora significativamente al aumentar el número de vistas (de 1 a 16), resolviendo ambigüedades en áreas no observadas.
  • Mantiene un alto rendimiento en datos del mundo real (UCO3D, Stanford ORB) con máscaras imperfectas y desenfoque de movimiento.

5. Significado e Impacto

ReLi3D representa un avance significativo en la visión por computadora 3D al cerrar la brecha entre la investigación académica y la aplicabilidad industrial:

• Eficiencia: Permite la generación de activos 3D "relightable" (capaces de cambiar de iluminación) en tiempo real, lo cual es crucial para flujos de trabajo de diseño industrial, medios interactivos y robótica.
• Calidad Física: Al desacoplar correctamente la iluminación de los materiales, permite que los activos generados respondan físicamente a nuevas condiciones de luz, algo que los métodos anteriores no lograban con alta fidelidad.
• Adopción: Al ser un modelo feed-forward rápido y preciso, facilita la digitalización de activos en tiempo real a partir de capturas casuales, eliminando la necesidad de procesos de optimización lentos y costosos.

En resumen, ReLi3D establece un nuevo estado del arte al demostrar que la reconstrucción 3D completa, con materiales físicamente precisos y descompuestos de la iluminación, puede lograrse de manera instantánea mediante el uso inteligente de restricciones multivista y renderizado diferenciable.