Resumen Técnico: PIXLRelight

Definición del Problema

El reiluminación de una sola imagen busca modificar la iluminación de una fotografía para que coincida con una condición de iluminación objetivo especificada por el usuario. Aunque los motores de renderizado basados en física (PBR) (por ejemplo, Blender, Unreal Engine) ofrecen un control preciso sobre el tipo, posición, color e intensidad de la luz, aplicar este control a fotografías "in-the-wild" (en el mundo real) es fundamentalmente difícil debido al desafío de recuperar la geometría, los materiales y el transporte de luz a partir de una sola imagen.

Los enfoques existentes sufren tres limitaciones principales:

1. Control Limitado: Los métodos condicionados por mapas de entorno HDR, texto o imágenes de referencia luchan por expresar una iluminación espacialmente localizada y multi-fuente, común en escenas interiores.
2. Acumulación de Errores: Las tuberías inversas-para-frente que estiman G-buffers y los vuelven a renderizar a menudo fallan al codificar los indicios necesarios (por ejemplo, transparencia, dispersión subsuperficial), lo que hace que los errores se acumulen a través de las etapas.
3. Costo Computacional: Los enfoques que combinan PBR con renderizado neuronal (por ejemplo, Careaga y Aksoy [5]) a menudo requieren optimizaciones costosas de renderizado diferenciable por imagen para ajustar entornos de iluminación 3D, lo que limita la diversidad de los datos de entrenamiento y la velocidad de inferencia.

Metodología

Los autores proponen PIXLRelight, un enfoque basado en transformadores de alimentación directa que une la controlabilidad de PBR y la síntesis de imágenes aprendida a través de una interfaz compartida de condicionamiento intrínseco. La idea central es desacoplar qué debe ser la iluminación objetivo de cómo se aplica a una fotografía real.

1. Interfaz de Condicionamiento Intrínseco

El método utiliza un modelo de formación de imágenes intrínsecas donde una imagen $I$ se descompone en:
$$I = A \odot S + R$$
Donde $A$ es el albedo difuso, $S$ es el sombreado difuso y $R$ es el residuo no difuso (reflejos especulares, transparencia, etc.).

La condición de iluminación objetivo no se representa mediante una imagen RGB, sino por la concatenación canal a canal de los mapas intrínsecos objetivo: $C_T = [A_T; S_T; R_T]$. Esta interfaz es consistente tanto en el entrenamiento como en la inferencia:

• Entrenamiento: $C_T$ se extrae de fotografías reales, emparejadas y multi-iluminación utilizando un modelo de descomposición intrínseca congelado (Marigold-IID-Lighting [20]).
• Inferencia: $C_T$ se genera trazando rayos (path-tracing) una reconstrucción 3D aproximada de la escena de entrada bajo luces PBR especificadas por el usuario. Crucialmente, el modelo nunca ve la imagen RGB renderizada; solo ve los buffers intrínsecos, que portan indicios precisos para la iluminación deseada mientras absorben las imperfecciones de la reconstrucción 3D subyacente.

2. Arquitectura

PIXLRelight es un transformador de alimentación directa diseñado para predicción densa:

• Codificadores Asimétricos: La imagen de origen ($I_S$), dominada por detalles de alta frecuencia, se tokeniza mediante un Vision Transformer (ViT). La pila intrínseca ($C_T$), dominada por estructuras suaves de menor frecuencia, se tokeniza mediante un ConvNeXt.
• Fusión: Los tokens de origen y de condicionamiento se fusionan por ubicación espacial mediante una pequeña MLP antes de entrar en un tronco transformador compartido.
• Cabeza de Modulación: En lugar de regredir directamente la imagen RGB objetivo, la red predice una modulación afín por píxel de la imagen de origen. La salida se calcula como $\hat{I}_T = \text{clip}((1 + g) \odot I_S + b, 0, 1)$, donde $g$ (ganancia) y $b$ (sesgo) son mapas aprendidos. La red se inicializa para emitir la identidad ($g=0, b=0$), aprendiendo solo la transformación de iluminación residual. Esto preserva los detalles fotorrealistas de la fuente por construcción.

3. Estrategia de Entrenamiento e Inferencia

• Entrenamiento: El modelo se entrena de extremo a extremo en conjuntos de datos emparejados de multi-iluminación (MIIW, BigTime, VIDIT) utilizando pérdidas fotométricas y perceptuales. No se requiere ninguna tubería de renderizado inversa-para-frente ni optimización por imagen. Para simular artefactos de tiempo de inferencia, la tubería de entrenamiento aplica aumentaciones de corrupción estocástica al condicionamiento intrínseco $C_T$.
• Inferencia:
  1. Estimar profundidad métrica (Depth Anything 3) y materiales (Marigold-IID-Appearance) a partir de la imagen de origen.
  2. Construir una malla texturizada e importarla en Blender.
  3. Autorar la iluminación deseada utilizando luces PBR arbitrarias.
  4. Renderizar la escena en Cycles para extraer los buffers intrínsecos objetivo ($A_T, S_T, R_T$).
  5. Alimentar la imagen de origen y los buffers intrínsecos a PIXLRelight para generar la imagen reiluminada en un solo paso de alimentación directa.

Contribuciones Clave

1. Interfaz de Condicionamiento Intrínseco: Un mecanismo de condicionamiento unificado que utiliza la descomposición de la apariencia objetivo (albedo, sombreado, residuo) y sirve como puente entre fotografías reales y renderizados PBR.
2. Estrategia de Entrenamiento Directo: Un enfoque de entrenamiento de extremo a extremo en fotografías emparejadas de multi-iluminación que elimina la necesidad de tuberías de renderizado inversas-para-frente o optimizaciones por imagen.
3. Modelo PIXLRelight: Un transformador de alimentación directa que logra una calidad de reiluminación de vanguardia con un tiempo de inferencia inferior a 0,1 s, habilitando la autoría de iluminación interactiva.

Resultados

Rendimiento Cuantitativo

Evaluado en la división de prueba de las Imágenes de Multi-iluminación del MIT en la Naturaleza (MIIW), PIXLRelight supera significativamente a las líneas base existentes (DiffusionRenderer, UniRelight, RGBX, Ouroboros, V-RGBX):

• PSNR: 29,18 dB (vs. 19,38 dB para el siguiente mejor, Ouroboros).
• SSIM: 0,893 (vs. 0,763).
• LPIPS: 0,195 (vs. 0,438).
• Velocidad: 0,09 segundos por imagen, lo que es al menos un orden de magnitud más rápido que todas las líneas base (la siguiente más rápida es 0,62 s).

Rendimiento Cualitativo

• Controlabilidad: En experimentos que utilizan iluminación trazada por rayos y autorada por el usuario (Blender), PIXLRelight transfiere con éxito efectos de iluminación complejos (por ejemplo, sombras de luz lateral, brillos interiores cálidos, focos enfocados) mientras preserva los detalles fotográficos de la imagen de origen.
• Robustez: A diferencia de las líneas base que se desvían de la fuente o fallan al representar fuentes de campo cercano, PIXLRelight mantiene la fidelidad de la identidad. Es robusto ante la geometría aproximada y los errores de materiales inherentes a la reconstrucción 3D de una sola imagen, ya que el RGB de origen y los intrínsecos objetivo se procesan a través de ramas separadas.

Significado y Afirmaciones

El artículo afirma que PIXLRelight lleva con éxito el control de iluminación física de la informática gráfica a fotografías "in-the-wild". Al separar la especificación de la iluminación objetivo de su aplicación, el método permite un control de iluminación arbitrario al estilo PBR sin la sobrecarga computacional de la optimización por imagen. Los autores enfatizan que este enfoque logra una calidad de vanguardia mientras se ejecuta en menos de una décima de segundo, haciendo viable la autoría de iluminación interactiva en fotografías reales. El método se basa en la suposición de que la descomposición intrínseca proporciona un puente suficiente entre los dominios real y sintético, permitiendo que el modelo absorba artefactos de reconstrucción mientras transfiere con precisión los indicios de iluminación.