M2Retinexformer: Multi-Modal Retinexformer for Low-Light Image Enhancement

Resumen Técnico: M2RETINEXFORMER

Enunciado del Problema
La mejora de imágenes en condiciones de poca luz es una tarea desafiante debido a degradaciones complejas como el ruido amplificado, los artefactos y la distorsión del color. Si bien los métodos de aprendizaje profundo basados en Retinex, en particular Retinexformer, han logrado resultados sólidos al descomponer las imágenes en componentes de reflectancia e iluminación, dependen exclusivamente de información RGB de una sola modalidad. Esta limitación restringe la capacidad de la red para razonar sobre la geometría de la escena y la distribución espacial de la luz, lo que conduce a dificultades para distinguir entre regiones oscuras causadas por sombras, oclusiones o distancia.

Metodología
Los autores proponen M2Retinexformer (Retinexformer Multimodal), un marco que extiende el marco de una sola etapa basado en Retinex (ORF) de Retinexformer mediante la integración de pistas multimodales complementarias. La arquitectura consta de un Estimador de Iluminación y un Restaurador de Corrupción Multimodal, potenciados por dos componentes principales:

1. Extractor de Modalidades: Este módulo extrae y alinea características auxiliares a múltiples escalas para inyectarlas en la tubería de restauración. El artículo utiliza tres modalidades específicas:

   • Profundidad: Extraída utilizando un modelo Depth-Anything-V2 congelado para proporcionar una estructura geométrica invariante a la iluminación, ayudando a desambiguar las regiones oscuras.
   • Luminancia: Características de luminancia aumentadas derivadas de cálculos de luminancia NTSC, enriquecidas con bordes de Sobel, contraste local y pistas de pirámide multiescala.
   • Características Semánticas: Extraídas utilizando una columna vertebral DINOv3 congelada para capturar representaciones conscientes de objetos, preservando la consistencia del color y la integridad estructural.

2. Bloque de Atención Cruzada Multimodal (MMCAB): Este es el módulo de fusión central. Opera dentro de una tubería de refinamiento progresivo (encadenando tres etapas idénticas) y emplea:

   • Atención Cruzada: Permite que las características RGB consulten selectivamente información complementaria de las modalidades auxiliares (Profundidad, Luminancia, Semántica).
   • Autoatención Guiada por Iluminación: Conservada del Retinexformer original, donde la atención se modula mediante priores de iluminación.
   • Puerta Adaptativa: Un mecanismo aprendible que equilibra dinámicamente la salida de la autoatención y la salida de la atención cruzada multimodal basándose en la fiabilidad de las pistas auxiliares. Esto evita que modalidades ruidosas o redundantes degraden la rama principal RGB.

El marco se entrena utilizando una combinación de pérdida L1 y una pérdida perceptual (basada en VGG-19) para preservar estructuras semánticas de alto nivel y texturas finas.

Contribuciones Clave

• Arquitectura Novel: La introducción de M2Retinexformer, que extiende Retinexformer incorporando características de profundidad, luminancia y semánticas mediante un Bloque de Atención Cruzada Multimodal y un mecanismo de puerta adaptativa.
• Diseño Modular: Una arquitectura flexible donde las modalidades se adhieren a una interfaz unificada, permitiendo la integración de priores adicionales sin modificar la red central.
• Análisis Sistemático: Estudios de ablación extensos que demuestran los efectos individuales y combinados de cada modalidad auxiliar en el rendimiento.
• Eficiencia: El modelo utiliza codificadores congelados para modalidades auxiliares, resultando en 2 millones de parámetros entrenables (48 millones en total), lo cual es significativamente más eficiente que los enfoques multimodales anteriores como ModalFormer (198 millones de parámetros).

Resultados
Las evaluaciones se realizaron en siete puntos de referencia: LOL-v1, LOL-v2 (Real y Sintético), SID, SMID y SDSD (Interior y Exterior).

• Rendimiento Cuantitativo: M2Retinexformer logró el mejor o el segundo mejor rendimiento en la mayoría de los conjuntos de datos. Cabe destacar que logró un PSNR de 24.89 en LOL-v1, 23.85 en LOL-v2 Real y 30.48 en SDSD Interior, superando al Retinexformer de referencia y a otros métodos de última generación.
• Rendimiento Cualitativo: Las comparaciones visuales indican que el método propuesto produce imágenes bien expuestas con colores naturales y ruido reducido, suprimiendo eficazmente la distorsión del color y el ruido residual observados en el Retinexformer de referencia.
• Hallazgos de Ablación: En el conjunto de datos LOL-v2 Real, la adición de profundidad proporcionó la ganancia de rendimiento más significativa (+2.00 dB sobre la referencia), seguida por la luminancia. El estudio señaló que agregar todas las modalidades simultáneamente no siempre produce mejoras consistentes, destacando la importancia de una selección efectiva de modalidades y el papel de la puerta adaptativa.

Significado y Afirmaciones
El artículo afirma que M2Retinexformer demuestra la efectividad de integrar modalidades heterogéneas dentro de un marco basado en Retinex. La idea clave es que la profundidad proporciona un contexto geométrico robusto frente a las variaciones de iluminación, mientras que las características de luminancia y semánticas ofrecen una guía consciente del contenido. Los autores afirman que su enfoque logra mejoras generales sobre los métodos existentes mientras mantiene un diseño modular y extensible.

Sin embargo, el artículo reconoce modestamente una limitación: los beneficios de la fusión multimodal dependen en gran medida de la fiabilidad de la modalidad. En escenarios donde las características auxiliares son inestables (como capturas basadas en video en los conjuntos de datos SMID y SDSD con características de exposición variables), las ganancias de rendimiento pueden disminuir. El marco se presenta como una dirección prometedora para avances futuros, ofreciendo una base para acomodar priores adicionales en tareas de mejora en condiciones de poca luz.