Spectral Compressive Imaging via Chromaticity-Intensity Decomposition

Resumo Técnico: Imagem Compressiva Espectral via Decomposição de Cromatismo-Intensidade

Definição do Problema
A Imagem Espectral de Captura por Abertura Codificada (CASSI) é uma arquitetura promissora para capturar imagens hiperespectrais (HSIs) em um único disparo. No entanto, a reconstrução de HSIs a partir de medições CASSI constitui um problema inverso severamente mal posto devido a dois desafios primários:

1. Informação Entrelaçada: A medição compressiva funde informações espaciais e espectrais, tornando a separação de estruturas espaciais e assinaturas espectrais difícil. Os métodos de aprendizado profundo existentes frequentemente dependem de aprendizado de características implícito sem uma decomposição física clara, enquanto os métodos baseados em otimização lutam contra texturas complexas e ruído.
2. Sensibilidade à Iluminação: A radiância capturada entrelaça inerentemente a refletância intrínseca da superfície com a iluminação da cena. Esse acoplamento torna a reconstrução sensível a variações de iluminação, limitando a recuperação de uma refletância espectral invariante à iluminação. Embora a decomposição de imagem intrínseca (separando refletância e iluminação) seja estabelecida na imagem RGB, ela não foi efetivamente incorporada à reconstrução CASSI.

Metodologia
Os autores propõem um framework de Decomposição de Cromatismo-Intensidade (CID) que fatoriza o cubo de imagem hiperespectral $X$ em um mapa de intensidade $I$ espacialmente suave e um cubo de cromatismo $C$ espectralmente variante ($X = C \odot I$). Nesta formulação, $C$ representa a refletância invariante à iluminação, enriquecida com detalhes espaciais de alta frequência e esparsidade espectral local, enquanto $I$ captura a estrutura de iluminação global.

Com base nessa decomposição, os autores introduzem o CIDNet, uma rede de unfolding profundo projetada para um sistema CASSI de câmera dupla (onde uma imagem de intensidade, por exemplo, de uma câmera PAN ou RGB, está disponível). A metodologia compreende três componentes principais:

1. Modelagem de Degradação Consciente do Ruído:
   Os autores formulam a reconstrução como um problema de estimativa de Máxima Verossimilhança a Posteriori (MAP) sob um modelo de ruído Gaussiano anisotrópico. Diferente dos métodos tradicionais que assumem ruído homocedástico (uniforme), o CIDNet emprega um Módulo de Estimativa de Ruído Dual (DNEM). Este módulo aprende um mapa de covariância de ruído espacialmente adaptativo ($\Sigma$) e um parâmetro de força de denoising em cada estágio de iteração. Isso permite que a rede ajuste dinamicamente os passos de projeção de gradiente e as operações de denoising proximal para lidar com padrões de ruído espacialmente variáveis inerentes ao processo de imagem.

2. Transformer Espacial-Espectral Híbrido (HSST):
   Para reconstruir o cubo de cromatismo, que exibe esparsidade estruturada e correlações espectrais localizadas, os autores projetam uma espinha dorsal (backbone) UNet assimétrica.

   • Encoder (Espacial): Utiliza um Swin Transformer com atenção espacial local baseada em janelas (Spa-LWSA) para capturar texturas espaciais de alta frequência.
   • Decoder (Espectral): Emprega um mecanismo de Atenção Espectral Sparse TopK (Spec-TKSA). Diferente da atenção espectral densa, este módulo restringe a atenção aos $K$ vizinhos espectrais mais relevantes dentro de janelas locais. Isso impõe esparsidade e localidade, refletindo a propriedade física de que as espectros de refletância frequentemente possuem suporte localizado. Uma estratégia de múltiplas razões agrega mapas de atenção de diferentes níveis de esparsidade para capturar correlações espectrais dominantes e complementares.

3. Framework de Unfolding:
   A rede realiza o unrolling de um algoritmo de otimização (baseado em Split de Metade-Quadrática) onde cada estágio consiste em uma estimativa de ruído aprendível, um passo analítico de consistência de dados (incorporando a máscara guiada pela intensidade) e um denoiser proximal aprendido. Esta estrutura une a interpretabilidade baseada em modelos com a expressividade orientada por dados.

Principais Contribuições

• Novo Modelo de Decomposição: O artigo propõe o primeiro modelo de decomposição de cromatismo-intensidade especificamente adaptado para CASSI, separando explicitamente a cromaticidade invariante à iluminação da intensidade suave para melhorar a robustez contra mudanças de iluminação.
• Arquitetura CIDNet: Desenvolvimento de uma rede de unfolding profundo integrando um Transformer híbrido espacial-espectral (HSST) e um módulo de estimativa de ruído espacialmente adaptativo e consciente da degradação (DNEM).
• Atenção Espectral Esparsa: Introdução de um mecanismo de atenção espectral TopK que modela efetivamente a natureza esparsa e local dos espectros de cromaticidade, reduzindo a complexidade computacional enquanto preserva a fidelidade espectral.
• Validação Dupla: O paradigma de decomposição é validado através de tanto solvers tradicionais baseados em otimização quanto pelo proposto framework de unfolding profundo em um cenário CASSI de câmera dupla.

Resultados Experimentais
Experimentos extensivos foram conduzidos em conjuntos de dados sintéticos (CAVE e KAIST) e dados CASSI de câmera dupla do mundo real.

• Desempenho Quantitativo: O CIDNet alcançou desempenho estado da arte no conjunto de dados de simulação KAIST. A versão de 9 estágios (CIDNet-9stg) atingiu um PSNR médio de 44,12 dB e SSIM de 0,991, superando significativamente métodos existentes como In2SET-9stg, SSR-9stg e DAUHST-9stg.
• Fidelidade de Cromatismo e Intensidade: O método demonstrou desempenho superior na reconstrução de ambos os componentes de cromatismo e intensidade, com o CIDNet alcançando as melhores métricas de cromaticidade (PSNR 35,81 dB, SSIM 0,93) entre os algoritmos de câmera dupla.
• Validação no Mundo Real: Reconstruções em dados do mundo real (cena Ninja) confirmaram a capacidade do modelo de restaurar detalhes finos e precisão espectral em comparação com métodos de base como PIDS e o iterativo CID-TV.
• Estudos de Ablação: Experimentos confirmaram que a máscara guiada pela intensidade, a arquitetura HSST e o módulo DNEM contribuem significativamente para o desempenho final, com o modelo completo mostrando uma melhoria substancial sobre as configurações de base.

Significância
O artigo argumenta que a decomposição explícita de imagens hiperespectrais em cromatismo e intensidade oferece uma solução fisicamente interpretável para o problema mal posto de reconstrução CASSI. Ao focar no aprendizado da cromaticidade (que é invariante à iluminação e espectralmente esparsa) em vez da HSI bruta, o método alcança melhor fidelidade espectral e robustez. O trabalho destaca a eficácia da combinação de decomposição consciente da física com mecanismos de atenção híbrida (espacial e espectral) para abordar os desafios específicos da imagem espectral compressiva, estabelecendo um novo padrão tanto para reconstrução espectral quanto para fidelidade de cromaticidade.