GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers

1. El Problema

El reiluminación de una persona a partir de una única fotografía (monocular) es una tarea fundamental en gráficos por computadora y visión artificial, pero es intrínsecamente mal planteada (ill-posed). Una imagen 2D es una proyección ambigua que entrelaza tres factores distintos:

1. La geometría 3D del sujeto.
2. La apariencia intrínseca (color base/albedo).
3. La iluminación de la escena.

Los métodos actuales presentan dos enfoques principales con limitaciones significativas:

• Modelos "Traductores" de extremo a extremo: Aprenden un mapeo directo de píxel a píxel pero carecen de modelado geométrico explícito, lo que resulta en sombras y brillos físicamente implausibles.
• Cadenas de procesamiento secuenciales: Primero estiman buffers intermedios (albedo, normales) y luego renderizan la imagen. El problema crítico aquí es la acumulación de errores: cualquier imprecisión en la estimación geométrica inicial se "hornea" en los buffers y no puede ser corregida por el renderizador posterior.

2. Metodología

Los autores proponen GeoRelight, un marco unificado que resuelve simultáneamente la reiluminación y la reconstrucción geométrica 3D, en lugar de tratarlos como tareas secuenciales. La sinergia entre ambas tareas permite que la geometría mejore el sombreado y que el sombreado refine la estimación de la forma.

El núcleo del sistema es un Transformador de Difusión Multimodal (Multi-Modal Diffusion Transformer - DiT) que genera conjuntamente:

• La imagen reiluminada.
• El albedo intrínseco.
• Las normales de superficie.
• La geometría 3D.
• La máscara de segmentación.

Contribuciones Técnicas Clave:

A. Arquitectura DiT Flexible Multimodal

• Adaptan un DiT de video preentrenado, reutilizando la dimensión temporal ($T$) como una dimensión de modalidad ($M$).
• Esto permite apilar todas las modalidades objetivo (albedo, normales, geometría, etc.) y procesarlas en paralelo como si fueran frames de un video.
• Utilizan una máscara de interruptor de modalidad ($c_{switch}$) que indica al modelo si una modalidad es una condición clara (entrada) o un objetivo ruidoso a generar, permitiendo un control flexible durante la inferencia y el entrenamiento.

B. Representación Geométrica iNOD (Isotropic Normalized Orthographic Depth)

• Para que la geometría sea compatible con los modelos de difusión latente (que usan VAEs preentrenados), se necesita una representación que no sufra distorsiones ni ruido excesivo tras la compresión.
• iNOD es una representación densa y sin distorsiones:
  1. Se toma la nube de puntos métrica 3D.
  2. Se aplica una normalización isotrópica: toda la geometría 3D se escala para caber en un cubo $[-1, 1]$ basándose en su arista más larga (no solo el eje Z), preservando la relación de aspecto y la forma relativa.
  3. Se proyecta ortográficamente en el plano XY tomando los valores Z.
• Ventaja: Es compatible con VAEs, no requiere intrínsecos de cámara en la inferencia y preserva la geometría 3D sin distorsiones anisotrópicas.

C. Entrenamiento Estratégico con Datos Mixtos

• Abordan la brecha entre datos sintéticos (etiquetados perfectamente pero poco realistas) y datos reales (fotorrealistas pero sin etiquetas de geometría/iluminación).
• Estrategia:
  1. Entrenan primero solo con datos sintéticos para aprender la desconexión física.
  2. Usan este modelo para auto-etiquetar datos reales (Light Stage y datos "in-the-wild"), generando pseudo-etiquetas de albedo, normales e iNOD.
  3. Realizan un entrenamiento mixto donde el modelo aprende relaciones físicas de los datos sintéticos y realismo fotográfico de los datos reales, utilizando diferentes modos de tarea (ej. "Intrinsic→Relit" para datos reales sin pares de iluminación).

3. Resultados

GeoRelight logra resultados del estado del arte (SOTA) en múltiples métricas y tareas:

• Reiluminación: Supera a métodos baselines como IC-Light, NeuralGaffer y DiffusionRenderer en métricas cuantitativas (PSNR, SSIM, LPIPS) y cualitativas. Genera sombras y brillos físicamente plausibles consistentes con la nueva iluminación.
• Reconstrucción 3D: Logra una reconstrucción de alta fidelidad, superando a estimadores de geometría especializados como VGGT y MoGe2. Captura detalles de alta frecuencia (arrugas en la ropa, cabello, ojos) que otros métodos pierden o distorsionan.
• Estimación de Intrínsecos: Obtiene un rendimiento superior en la estimación de albedo y normales de superficie, demostrando que la generación conjunta mejora la precisión de cada tarea individual.
• Estudio de Usuarios: En una comparación contra métodos de código cerrado (como LuxPostFacto), GeoRelight fue preferido en más del 93% de los votos tanto para reiluminación como para reconstrucción 3D.

4. Significado e Impacto

• Unificación de Tareas: GeoRelight demuestra que la reiluminación y la reconstrucción 3D no deben ser tareas secuenciales, sino procesos sinérgicos que se benefician mutuamente al resolverse juntos.
• Avance en Representación 3D: La introducción de iNOD resuelve un cuello de botella técnico importante: cómo representar geometría 3D densa dentro de espacios latentes de modelos de difusión 2D sin perder información ni introducir distorsiones.
• Aplicabilidad: El marco permite la generación de avatares 3D editables, efectos de iluminación en cine y realidad virtual, y edición creativa de fotos con consistencia física.
• Escalabilidad: Aunque actualmente es un método de imagen única, la arquitectura basada en DiT de video sugiere una ruta clara para extender estas capacidades a la reiluminación y reconstrucción de video con consistencia temporal.

En resumen, GeoRelight establece un nuevo estándar al combinar la precisión geométrica con el realismo fotográfico mediante un enfoque de generación conjunta impulsado por difusión, superando las limitaciones de las pipelines secuenciales tradicionales.