PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors

1. El Problema

La eliminación de sombras en imágenes es una tarea fundamental en visión por computadora, crucial para aplicaciones como la segmentación, el seguimiento y la reconstrucción 3D. Sin embargo, existen desafíos significativos que los métodos actuales no resuelven adecuadamente:

• Confusión entre sombras y propiedades intrínsecas: Es difícil distinguir entre una sombra real y la oscuridad natural de un material (por ejemplo, un objeto negro), lo que provoca distorsiones de color.
• Limitaciones en iluminación compleja: La mayoría de los métodos de aprendizaje profundo funcionan bien con sombras directas de una sola fuente de luz, pero fallan en escenarios de iluminación ambiental (interiores con múltiples fuentes de luz, luz difusa indirecta y cambios de color).
• Desalineación de priores físicos: Los enfoques existentes a menudo integran priores geométricos (profundidad, normales) y semánticos (identidad del objeto) de manera que generan señales conflictivas. Los priores geométricos son sensibles a las variaciones de luz local, mientras que los semánticos son estables; sin una alineación adecuada, el ruido geométrico puede romper la consistencia semántica o el suavizado excesivo puede borrar los bordes de las sombras.
• Falta de generalización: Los métodos tradicionales no generalizan bien desde sombras directas simples a escenarios de iluminación ambiental compleja.

2. Metodología: PhaSR

Los autores proponen PhaSR (Physically Aligned Shadow Removal), un marco de trabajo que aborda la desalineación de priores mediante una alineación de priores a dos niveles. El sistema no requiere máscaras de sombra explícitas.

A. Normalización Alineada Físicamente (PAN) - Nivel Global

Esta es una etapa de preprocesamiento sin parámetros (model-free) que corrige la iluminación antes de que la imagen entre en la red neuronal. Se basa en la teoría de Retinex y consta de tres pasos:

1. Normalización de Mundo Gris: Corrige el sesgo cromático global causado por la temperatura de color de la fuente de luz (ej. luz cálida interior vs. luz diurna fría).
2. Descomposición Retinex en Dominio Logarítmico: Separa la imagen en componentes de reflectancia ($R$) e iluminación ($S$) mediante operaciones de forma cerrada en el dominio logarítmico ($\log I = \log R + \log S$). Esto aísla los efectos de iluminación dominante de las señales de material.
3. Recombinación y Normalización: Vuelve a combinar los componentes y normaliza el rango dinámico para producir una entrada consistente en términos de iluminación.

B. Atención de Rectificación Geométrico-Semántica (GSRA) - Nivel Local

Dentro de la arquitectura basada en Transformers (codificador-decodificador), GSRA alinea los priores físicos para resolver conflictos modales:

• Inyección de Priores Múltiples: Utiliza características semánticas extraídas de DINO-v2 (estables ante cambios de luz) y priores geométricos (mapas de profundidad y normales) extraídos de DepthAnything-v2.
• Atención Diferencial Cruzada: En lugar de fusionar simplemente las características, GSRA calcula una atención rectificada mediante la resta: $A_{rect} = A_{sem} - \lambda \cdot A_{geo}$.
  • Esto permite que la atención semántica (global) guíe la recuperación, mientras que la geometría (local) refina los bordes.
  • El mecanismo suprime el ruido geométrico en regiones uniformemente iluminadas pero preserva la precisión geométrica en los límites reales de la iluminación.
• Resultado: Permite desentrañar la reflectancia de los efectos de iluminación complejos, funcionando tanto para sombras directas como para luz ambiental difusa.

3. Contribuciones Clave

1. Módulo PAN: Introduce una normalización de preprocesamiento de forma cerrada que suprime el sesgo cromático y mejora la consistencia de la iluminación, mejorando arquitecturas existentes en 0.15–0.34 dB.
2. Mecanismo GSRA: Propone una extensión de la atención diferencial para la alineación de priores cruzados (geometría-semántica), resolviendo el conflicto entre la precisión local y la estabilidad global bajo iluminación variable.
3. Generalización Robusta: Demuestra un rendimiento de vanguardia (SoTA) no solo en eliminación de sombras tradicionales, sino también en la normalización de luz ambiental (ALN), un escenario mucho más difícil con múltiples fuentes de luz.
4. Eficiencia Computacional: A pesar de integrar priores complejos, el modelo es ligero y rápido, superando a los métodos basados en difusión en velocidad de inferencia.

4. Resultados Experimentales

El modelo se evaluó en cinco conjuntos de datos, incluyendo benchmarks tradicionales (ISTD, ISTD+, INS, WSRD+) y el desafío de iluminación ambiental (Ambient6K).

• Rendimiento Cuantitativo: PhaSR logra resultados SoTA en la mayoría de las métricas (PSNR y SSIM). Destaca especialmente en WSRD+ y Ambient6K, donde supera a métodos como OmniSR, DenseSR y ReHiT.
• Generalización Cruzada: En pruebas donde el modelo se entrena en un conjunto de datos y se prueba en otro (ej. de interiores multi-fuente a exteriores de una sola fuente), PhaSR muestra una degradación mucho menor que sus competidores, demostrando una mayor robustez.
• Comparación con LLMs: En una comparación interesante, PhaSR supera significativamente a modelos de lenguaje multimodal (como Qwen-image-edit) tanto en fidelidad (+12 dB) como en velocidad (0.2s vs. 25 minutos), demostrando que los enfoques específicos con priores físicos son superiores para esta tarea.
• Eficiencia: Con solo 18.95 millones de parámetros y 55.63 GFLOPs, PhaSR es más eficiente que la mayoría de los competidores, ejecutándose en ~88ms por imagen.

5. Significado e Impacto

El trabajo de PhaSR es significativo porque:

• Cambia el paradigma de alineación: En lugar de tratar la eliminación de sombras como un problema puramente de aprendizaje de patrones, introduce una alineación explícita basada en la física de la luz y la geometría.
• Resuelve el problema de la iluminación ambiental: Abre la puerta a la aplicación de técnicas de eliminación de sombras en entornos reales complejos (interiores, múltiples fuentes de luz), donde los métodos anteriores fallaban.
• Valida la utilidad de los priores congelados: Demuestra que el uso de priores extraídos de modelos pre-entrenados grandes (DINO, DepthAnything) combinados con mecanismos de atención diferencial puede mejorar la robustez sin aumentar excesivamente la complejidad computacional.

En resumen, PhaSR establece un nuevo estándar para la eliminación de sombras al combinar corrección de iluminación de forma cerrada con una alineación inteligente de características semánticas y geométricas, logrando un equilibrio superior entre precisión, generalización y eficiencia.