Spectral Compressive Imaging via Chromaticity-Intensity Decomposition

Resumen Técnico: Imagen Espectral Compresiva mediante la Descomposición de Cromaticidad e Intensidad

Planteamiento del Problema
La Imagen Espectral de Captura de Apertura Codificada (CASSI, por sus siglas en inglés) es una arquitectura prometedora para capturar imágenes hiperespectrales (HSI) en una sola toma. Sin embargo, la reconstrucción de las HSI a partir de las mediciones de CASSI constituye un problema inverso severamente mal planteado debido a dos desafíos principales:

1. Información Entrelazada: La medición compresiva fusiona la información espacial y espectral, lo que dificulta la separación de las estructuras espaciales y las firmas espectrales. Los métodos de aprendizaje profundo existentes suelen depender del aprendizaje de características implícitas sin una descomposición física clara, mientras que los métodos basados en optimización tienen dificultades con texturas complejas y ruido.
2. Sensibilidad a la Iluminación: La radiancia capturada entrelaza inherentemente la reflectancia intrínseca de la superficie con la iluminación de la escena. Este acoplamiento hace que la reconstrucción sea sensible a las variaciones de iluminación, limitando la recuperación de la reflectancia espectral invariante a la luz. Aunque la descomposición de imagen intrínseca (separación de reflectancia e iluminación) está establecida en la imagen RGB, no se ha incorporado eficazmente en la reconstrucción de CASSI.

Metodología
Los autores proponen un marco de Descomposición de Cromaticidad e Intensidad (CID) que factoriza el cubo de la imagen hiperespectral $X$ en un mapa de intensidad $I$ espacialmente suave y un cubo de cromaticidad $C$ espectralmente variante ($X = C \odot I$). En esta formulación, $C$ representa la reflectancia invariante a la iluminación enriquecida con detalles espaciales de alta frecuencia y dispersión espectral local, mientras que $I$ captura la estructura de iluminación global.

Basándose en esta descomposición, los autores introducen CIDNet, una red de despliegue profundo diseñada para un sistema CASSI de doble cámara (donde se dispone de una imagen de intensidad, por ejemplo, de una cámara PAN o RGB). La metodología consta de tres componentes principales:

1. Modelado de Degradación Consciente del Ruido:
   Los autores formulan la reconstrucción como un problema de estimación de Máxima Verosimilitud a Posteriori (MAP) bajo un modelo de ruido gaussiano anisotrópico. A diferencia de los métodos tradicionales que asumen un ruido homocedástico (uniforme), CIDNet emplea un Módulo de Estimación de Ruido Dual (DNEM). Este módulo aprende un mapa de covarianza de ruido espacialmente adaptativo ($\Sigma$) y un parámetro de fuerza de eliminación de ruido en cada etapa de iteración. Esto permite que la red ajuste dinámicamente los pasos de proyección de gradiente y las operaciones de proximidad de eliminación de ruido para manejar los patrones de ruido espacialmente variables inherentes al proceso de imagen.

2. Transformer Espacial-Espectral Híbrido (HSST):
   Para reconstruir el cubo de cromaticidad, que exhibe una dispersión estructurada y correlaciones espectrales localizadas, los autores diseñan una arquitectura de fondo UNet asimétrica.

   • Codificador (Espacial): Utiliza un Transformer Swin con atención espacial local basada en ventanas (Spa-LWSA) para capturar texturas espaciales de alta frecuencia.
   • Decodificador (Espectral): Emplea un mecanismo de Atención Espectral Sparse TopK (Spec-TKSA). A diferencia de la atención espectral densa, este módulo restringe la atención a los $K$ vecinos espectrales más relevantes dentro de ventanas locales. Esto impone dispersión y localidad, reflejando la propiedad física de que los espectros de reflectancia suelen tener un soporte localizado. Una estrategia de multirrelación agrega mapas de atención de diferentes niveles de dispersión para capturar correlaciones espectrales dominantes y complementarias.

3. Marco de Despliegue (Unfolding):
   La red despliega un algoritmo de optimización (basado en la División de Mitad Cuadrática) donde cada etapa consiste en una estimación de ruido aprendible, un paso analítico de consistencia de datos (que incorpora la máscara guiada por la intensidad) y un denoiser proximal aprendido. Esta estructura une la interpretabilidad basada en modelos con la expresividad impulsada por datos.

Contribuciones Clave

• Nuevo Modelo de Descomposición: El artículo propone el primer modelo de descomposición de cromaticidad e intensidad diseñado específicamente para CASSI, separando explícitamente la cromaticidad invariante a la iluminación de la intensidad suave para mejorar la robustez contra cambios de iluminación.
• Arquitectura CIDNet: Desarrollo de una red de despliegue profundo que integra un Transformer espacial-espectral híbrido (HSST) y un módulo de estimación de ruido espacialmente adaptativo y consciente de la degradación (DNEM).
• Atención Espectral Dispersa (Sparse): Introducción de un mecanismo de atención espectral TopK que modela eficazmente la naturaleza dispersa y local de los espectros de cromaticidad, reduciendo la complejidad computacional mientras se preserva la fidelidad espectral.
• Validación Dual: El paradigma de descomposición se valida tanto a través de solvers tradicionales basados en optimización como a través del propuesto marco de despliegue profundo en un entorno de CASSI de doble cámara.

Resultados Experimentales
Se realizaron experimentos extensos en conjuntos de datos sintéticos (CAVE y KAIST) y datos de CASSI de doble cámara del mundo real.

• Rendimiento Cuantitativo: CIDNet logró un rendimiento de vanguardia en el conjunto de datos de simulación KAIST. La versión de 9 etapas (CIDNet-9stg) alcanzó un PSNR promedio de 44.12 dB y un SSIM de 0.991, superando significativamente a métodos existentes como In2SET-9stg, SSR-9stg y DAUHST-9stg.
• Fidelidad de Cromaticidad e Intensidad: El método demostró un rendimiento superior en la reconstrucción de ambos componentes, la cromaticidad y la intensidad, con CIDNet logrando las mejores métricas de cromaticidad (PSNR 35.81 dB, SSIM 0.93) entre los algoritmos de doble cámara.
• Validación en el Mundo Real: Las reconstrucciones en datos del mundo real (escena Ninja) confirmaron la capacidad del modelo para restaurar detalles finos y precisión espectral en comparación con métodos de referencia como PIDS e iterativo CID-TV.
• Estudios de Ablación: Los experimentos confirmaron que la máscara guiada por la intensidad, la arquitectura HSST y el módulo DNEM contribuyen significencialmente al rendimiento final, mostrando el modelo completo una mejora sustancial sobre las configuraciones de referencia.

Significancia
El artículo argumenta que descomponer explícitamente las imágenes hiperespectrales en cromaticidad e intensidad ofrece una solución físicamente interpretable al problema mal planteado de la reconstrucción de CASSI. Al centrarse en aprender la cromaticidad (que es invariante a la iluminación y espectralmente dispersa) en lugar de la HSI bruta, el método logra una mejor fidelidad espectral y robustez. El trabajo destaca la eficacia de combinar la descomposición consciente de la física con mecanismos de atención híbridos (espacial y espectral) para abordar los desafíos específicos de la imagen espectral compresiva, estableciendo un nuevo estándar tanto para la reconstrucción espectral como para la fidelidad de la cromaticidad.