Resumen Técnico: DiFaReli++: Reiluminación Facial con Difusión y Sombras Proyectadas Consistentes

Enunciado del Problema

La reiluminación facial de una sola vista en entornos naturales es una tarea desafiante que requiere ajustar el sombreado facial a nuevas condiciones de iluminación, teniendo en cuenta fenómenos físicos complejos como la iluminación global, la dispersión subsuperficial y la oclusión propia (sombras proyectadas). Los métodos existentes más avanzados suelen depender de la descomposición de imágenes intrínsecas, estimando la forma 3D, el albedo y los parámetros de iluminación para volver a renderizar la imagen. Sin embargo, este enfoque es propenso a errores en escenarios del mundo real, donde la estimación precisa de la geometría (especialmente para el cabello, las orejas y las áreas ocluidas) es difícil. Además, estos métodos a menudo luchan por eliminar o añadir realísticamente brillos intensos y sombras proyectadas, lo que conduce a artefactos residuales y resultados físicamente implausibles. Adicionalmente, muchos enfoques de alto rendimiento requieren datos de entrenamiento extensos, como imágenes multivista, datos de escenario de iluminación o verdades de iluminación, que no están fácilmente disponibles para aplicaciones en entornos naturales.

Metodología

Los autores proponen DiFaReli++, un marco que evita la necesidad de una descomposición intrínseca precisa y puede entrenarse únicamente con imágenes 2D sin escaneos 3D, pares reiluminados o verdades de iluminación. El núcleo del método aprovecha un Modelo Implícito de Difusión de Eliminación de Ruido Condicional (DDIM).

1. Codificación de Características y Desentrelazado

En lugar de descomponer la imagen en componentes físicos, el método codifica la imagen de entrada en un vector de características que desentrelaza la iluminación de otros atributos. Este vector incluye:

• Iluminación: Coeficientes de Armónicos Esféricos (SH) estimados mediante el estimador listo para usar DECA.
• Forma y Cámara: Parámetros de forma facial 3D (modelo FLAME) y pose de la cámara, también obtenidos de DECA.
• Identidad: Incrustaciones de características profundas de ArcFace.
• Sombra y Fondo: Un escalar para la intensidad de la sombra (en la versión base) o un mapa de sombras (en DiFaReli++), y máscaras de segmentación o imágenes de fondo.

2. Técnica de Condicionamiento Novel

Una innovación clave es el mecanismo de condicionamiento para el DDIM, que separa las entradas en condiciones "espaciales" y "no espaciales":

• Condicionamiento Espacial: Los parámetros de iluminación y forma objetivo se utilizan para renderizar una referencia de sombreado (una malla facial sombreada en gris). Esta referencia, junto con un mapa de sombras y máscaras de segmentación, se introduce en una red moduladora. La red moduladora calcula pesos de modulación espacial por capa que se multiplican con las salidas del bloque residual del DDIM. Esto permite que la red aprenda interacciones complejas entre luz y geometría de forma implícita, preservando al mismo tiempo la estructura espacial.
• Condicionamiento No Espacial: La identidad, la forma y los parámetros de la cámara se procesan mediante Perceptrones Multicapa (MLP) e inyectan en el DDIM utilizando Normalización de Grupo Adaptativa (AdaGN) para preservar la identidad y la consistencia estructural.

3. Sombras Proyectadas Consistentes (Especificidades de DiFaReli++)

Para abordar la limitación del control de intensidad de sombra escalar, DiFaReli++ introduce una estrategia de condicionamiento de mapa de sombras:

• Entrenamiento: Un mapa de sombras se infiere utilizando un modelo DiFaReli preentrenado para generar versiones de "sombra fuerte" y "sombra débil" de una imagen de entrada. La diferencia de píxeles entre estas versiones se umbraliza para crear una máscara binaria de sombra, que luego se escala por la intensidad de sombra estimada.
• Inferencia: En el momento de la prueba, se genera un mapa de sombras trazado por rayos a partir de la profundidad estimada y la iluminación objetivo. Este mapa guía al DDIM para sintetizar nuevas sombras proyectadas físicamente plausibles que se alinean con la dirección de la iluminación objetivo, asegurando consistencia temporal en escenarios de iluminación dinámica.

4. Área Reiluminable Expandida

El marco expande la región reiluminable más allá de la cara al reemplazar el condicionamiento de píxeles de fondo crudos con máscaras de segmentación (por ejemplo, ropa, sombreros, cuello). Esto permite que la red reilumine partes no faciales mientras preserva su integridad estructural, en lugar de tratarlas como un fondo estático.

5. Destilación de Disparo Único

Para superar la velocidad de inferencia lenta de los modelos de difusión (que requieren múltiples pasos de eliminación de ruido), los autores proponen un marco de reiluminación de disparo único. Una red supervisada con la misma arquitectura que DiFaReli++ se entrena con datos sintéticos generados por el modelo maestro (DiFaReli++) utilizando una pérdida L2 simple. Esta red destilada realiza la reiluminación en un solo paso, logrando una aceleración de 1.000 veces mientras supera sorprendentemente al modelo maestro en métricas visuales.

Contribuciones Clave

1. Un Marco de Vanguardia: Un sistema de reiluminación facial basado en DDIM condicional que produce resultados fotorrealistas sin requerir descomposición intrínseca precisa ni verdades 3D/de iluminación.
2. Técnica de Condicionamiento Novel: Un método que convierte una referencia de sombreado renderizada en pesos de modulación espacial para el DDIM, modelando eficazmente interacciones complejas entre luz y geometría.
3. Sombras Proyectadas Consistentes: Una extensión (DiFaReli++) que utiliza mapas de sombras inferidos y trazados por rayos para generar sombras proyectadas físicamente plausibles y temporalmente consistentes bajo iluminación dinámica.
4. Alcance Expandido: La capacidad de reiluminar partes no faciales (ropa, sombreros) utilizando máscaras de segmentación, superando la limitación de solo rostro de trabajos anteriores.
5. Eficiencia de Disparo Único: Una red destilada de disparo único que logra métricas de rendimiento superiores y una aceleración masiva en comparación con el modelo maestro basado en difusión.

Resultados

El método se evaluó en la referencia Multi-PIE y el conjunto de datos FFHQ, comparando con métodos recientes de vanguardia (por ejemplo, Total Relighting, DiffusionRig, IC-Light, HoloRelighting).

• Rendimiento Cuantitativo: DiFaReli++ obtuvo las mejores puntuaciones en todas las métricas (DSSIM, MSE, LPIPS) en el conjunto de datos Multi-PIE tanto para escenarios de iluminación objetivo del mismo sujeto como de sujetos cruzados.
• Estudios de Usuarios: En tres estudios de usuarios (calidad de reiluminación en partes faciales/no faciales, luces en movimiento y mapas HDR rotatorios), el método propuesto fue preferido sobre todas las líneas base en la mayoría de las comparaciones (por ejemplo, tasa de preferencia del 70-72%).
• Mejoras Cualitativas: El método elimina eficazmente las sombras duras existentes y sintetiza nuevas que se alinean con la iluminación objetivo. Preserva detalles de alta frecuencia (cabello, textura de la piel) y maneja accesorios y ropa mejor que sus competidores.
• Velocidad: El modelo destilado de disparo único se ejecuta en aproximadamente 0,07 segundos por imagen (dado datos preprocesados), superando significativamente a las técnicas de aceleración de difusión (DPM-Solver, UniPC) que requieren múltiples pasos y tardan más de 1 segundo.

Significado y Afirmaciones

El artículo afirma que DiFaReli++ representa un avance significativo al cambiar el paradigma de la descomposición física explícita al aprendizaje implícito mediante modelos de difusión. Al aprovechar una técnica de condicionamiento novel y la inferencia de mapas de sombras, el método logra reiluminación fotorrealista con sombras proyectadas consistentes en un solo paso de red.

Los autores enfatizan que su enfoque es robusto en escenarios "en entornos naturales" donde la estimación de geometría es poco fiable. Señalan que el modelo destilado de disparo único no solo acelera la inferencia, sino que supera el rendimiento del modelo maestro basado en difusión, lo que sugiere que el proceso de destilación permite que la red estudiante aprenda la tarea de reiluminación de manera más directa y efectiva. El trabajo abre la posibilidad de extender la reiluminación a cuerpos humanos completos y objetos, donde la descomposición intrínseca es aún más desafiante.

Los autores reconocen limitaciones, como la posibilidad de que las sombras generadas carezcan de precisión física perfecta y la dependencia de la calidad del estimador de luz (DECA) para la iluminación objetivo, que puede tener dificultades con condiciones de iluminación extremas o inusuales (por ejemplo, tintes naranjas o verdes intensos) no bien representadas en los datos de entrenamiento. Sin embargo, afirman que el marco es flexible y puede adaptarse a nuevos modelos de iluminación o estimadores.