CANDLE: Illumination-Invariant Semantic Priors for Color Ambient Lighting Normalization

Resumen Técnico: CANDLE

1. El Problema: Normalización de Iluminación Ambiental (ALN) bajo Luz Multicolor

La tarea de Normalización de Iluminación Ambiental (ALN) busca recuperar una imagen uniformemente iluminada a partir de observaciones corruptas por fuentes de luz múltiples, sombras propias, reflejos especulares y materiales complejos.

• Desafío Principal: Mientras que la eliminación de sombras tradicional se centra en la luz blanca, los escenarios reales modernos implican iluminación multicolor. Esto genera desplazamientos cromáticos severos, saturación de brillos y dependencias de reflectancia del material.
• Limitaciones de Métodos Previos:
  • Los métodos basados en priors geométricos (como normales de superficie) fallan cuando el sesgo cromático domina la geometría de sombreado, ya que no pueden inferir el color intrínseco del objeto.
  • Los modelos de restauración RGB no guiados confunden los desplazamientos inducidos por la iluminación con la reflectancia real, produciendo distorsiones de color e inconsistencias espaciales.
  • Los métodos basados en frecuencia o desentrelazamiento cromático-luminancia tienen dificultades para distinguir la variación de color inducida por la luz de la identidad real del material.

2. Observación Clave: Invariancia de la Iluminación en DINOv3

Los autores identificaron que las características auto-supervisadas de DINOv3 (un modelo de visión por transformer) permanecen altamente consistentes entre entradas bajo luz de colores y sus correspondientes "ground truth" (GT) bajo luz ambiental.

• A diferencia de CLIP o ResNet-50, que muestran un "deriva" (drift) de características bajo contaminación cromática fuerte, DINOv3 mantiene la consistencia semántica tanto globalmente como en regiones localmente corruptas.
• Esto se debe a que DINOv3 aprende representaciones invariantes a la apariencia visual, preservando la estructura semántica consistente del objeto y el material, lo cual es el inductive bias necesario para el desentrelazamiento cromático.

3. Metodología: Arquitectura CANDLE

CANDLE (Color Ambient Normalization with DINO Layer Enhancement) es un marco de restauración guiado semánticamente con dos componentes principales:

A. DINO Omni-layer Guidance (D.O.G.)
Sustituye la inyección de normales de superficie por características semánticas adaptativas de múltiples capas de DINOv3.

• Prompt Selection Fusion (PSF): Selecciona y fusiona adaptativamente las capas más relevantes de DINOv3 (desde capas superficiales para bordes materiales hasta capas profundas para identidad del objeto) para cada etapa del codificador.
• DINO-Residual Fusion Block (DRFB): Utiliza un mecanismo de atención cruzada basada en consultas (query-based cross-attention). Las características del backbone actúan como consultas (queries) y las características semánticas de DINO como claves y valores (keys/values). Esto permite que cada ubicación espacial recupere selectivamente la región semánticamente más consistente del prior, en lugar de una simple concatenación.

B. Refinamiento de Frecuencia y Color (Decoder-side)
Para abordar fallos locales en el decodificador (colapso cromático en zonas saturadas y contaminación por conexiones de salto), se proponen dos módulos:

• BFACG (Bifurcated Feature-Adaptive Color Guidance): Desacopla la restauración estructural y cromática en dos ramas paralelas. Un mapa de guía sensible a bordes modula la fusión, dirigiendo las regiones de alto gradiente (bordes) a la rama estructural y las regiones planas a la corrección de color.
• SFFB (Spectral Feature Fusion Block): Filtra las características de las conexiones de salto (skip connections) que pueden haber transportado sesgos de iluminación. Utiliza una descomposición de ondaletas de Haar para separar sub-bandas de baja frecuencia (sesgo de color global) de alta frecuencia (detalle estructural), suprimiendo selectivamente la componente de baja frecuencia corrupta.

4. Contribuciones Clave

1. Nuevo Prior para ALN: Demostración empírica de que los priors semánticos auto-supervisados (DINOv3) son superiores a los priors geométricos o basados en frecuencia para la normalización de luz multicolor.
2. D.O.G.: Un mecanismo de inyección de características semánticas multi-capas adaptativas que condiciona la representación del codificador de manera invariante a la iluminación.
3. Diseño de Refinamiento: Una arquitectura de decodificador que desacopla la estructura y el color (BFACG) y filtra la contaminación de iluminación en las conexiones de salto (SFFB).
4. Rendimiento de Estado del Arte: Resultados superiores en el benchmark CL3AN y en el desafío NTIRE 2026.

5. Resultados Experimentales

• Benchmark CL3AN: CANDLE supera a los métodos anteriores en 1.22 dB de PSNR sobre el método más fuerte previo (RLN2) y 1.85 dB sobre PromptNorm, alcanzando un PSNR de 21.066 dB.
  • Análisis de Ablación: La sustitución de normales geométricas por D.O.G. aporta un aumento de +1.85 dB, confirmando que los priors semánticos son críticos cuando la geometría es insuficiente.
• Desafío NTIRE 2026 ALN:
  • Pista de Iluminación de Color: 3er lugar en clasificación perceptual (LPIPS) con el 2do mejor LPIPS (0.1964).
  • Pista de Iluminación Blanca: 2do lugar en fidelidad (PSNR) y el FID más bajo (49.838) entre todas las entradas, demostrando una excelente generalización tanto en condiciones dominadas por el cromatismo como por la luminancia.

6. Significado e Impacto

CANDLE representa un cambio de paradigma en la restauración de imágenes bajo iluminación compleja. Al demostrar que las características semánticas auto-supervisadas pueden servir como priors robustos frente a variaciones de color extremas, el trabajo resuelve un cuello de botella fundamental donde los métodos geométricos fallan. La capacidad del modelo para generalizar tanto a escenarios de luz multicolor como a luz blanca normalizada lo posiciona como una solución versátil y de vanguardia para aplicaciones de visión por computadora en entornos del mundo real.

El código está disponible públicamente en: https://github.com/ron941/CANDLE.