Spectral Compressive Imaging via Chromaticity-Intensity Decomposition

Sintesi Tecnica: Imaging Spettrale Compresso tramite Decomposizione di Cromaticità-Intensità

Problematica
La Coded Aperture Snapshot Spectral Imaging (CASSI) è un'architettura promettente per la cattura di immagini iperspettrali (HSI) in un unico scatto. Tuttavia, la ricostruzione delle HSI dalle misurazioni CASSI costituisce un problema inverso severamente mal posto a causa di due sfide primarie:

1. Informazione Entangled (Intrecciata): La misurazione compressa fonde l'informazione spaziale e spettrale, rendendo difficile la separazione delle strutture spaziali e delle firme spettrali. I metodi di deep learning esistenti spesso si affidano all'apprendimento implicito delle caratteristiche senza una chiara decomposizione fisica, mentre i metodi basati sull'ottimizzazione faticano con texture complesse e rumore.
2. Sensibilità all'Illuminazione: La radianza catturata intreccia intrinsecamente la riflettanza superficiale con l'illuminazione della scena. Questo accoppiamento rende la ricostruzione sensibile alle variazioni di luce, limitando il recupero della riflettanza spettrale invariante rispetto all'illuminazione. Sebbene la decomposizione dell'immagine intrinseca (separazione di riflettanza e illuminazione) sia consolidata nell'imaging RGB, essa non è stata integrata efficacemente nella ricostruzione CASSI.

Metodologia
Gli autori propongono un framework di Decomposizione di Cromaticità-Intensità (CID) che fattorizza il cubo di immagine iperspettrale $X$ in una mappa di intensità spazialmente fluida $I$ e un cubo di cromaticità spettralmente variante $C$ ($X = C \odot I$). In questa formulazione, $C$ rappresenta la riflettanza invariante rispetto alla luce, arricchita da dettagli spaziali ad alta frequenza e scarsità spettrale locale, mentre $I$ cattura la struttura globale dell'illuminazione.

Sulla base di questa decomposizione, gli autori introducono CIDNet, una rete di deep unfolding progettata per un sistema CASSI a doppia telecamera (dove è disponibile un'immagine di intensità, ad esempio da una telecamera PAN o RGB). La metodologia comprende tre componenti principali:

1. Modellazione del Rumore Consapevole della Degradazione (Degradation-Aware):
   Gli autori formulano la ricostruzione come un problema di stima Maximum A Posteriori (MAP) sotto un modello di rumore Gaussiano anisotropo. A differenza dei metodi tradizionali che assumono un rumore omoscedastico (uniforme), CIDNet impiega un Modulo di Stima del Rumore Duale (DNEM). Questo modulo apprende una mappa di covarianza del rumore spazialmente adattiva ($\Sigma$) e un parametro di forza di denoising in ogni stadio iterativo. Ciò consente alla rete di regolare dinamicamente i passi di proiezione del gradiente e le operazioni di denoising prossimale per gestire i pattern di rumore spazialmente variabili inerenti al processo di imaging.

2. Transformer Ibrido Spazio-Spettrale (HSST):
   Per ricostruire il cubo di cromaticità, che presenta una scarsità strutturata e correlazioni spettrali localizzate, gli autori progettano un backbone UNet asimmetrico.

   • Encoder (Spaziale): Utilizza uno Swin Transformer con attenzione spaziale locale basata su finestre (Spa-LWSA) per catturare le texture spaziali ad alta frequenza.
   • Decoder (Spettrale): Impiega un meccanismo di Attenzione Spettrale Sparse TopK (Spec-TKSA). A differenza dell'attenzione spettrale densa, questo modulo restringe l'attenzione ai $K$ vicini spettrali più rilevanti all'interno di finestre locali. Ciò impone scarsità e località, riflettendo la proprietà fisica per cui gli spettri di riflettanza hanno spesso un supporto localizzato. Una strategia multi-ratio aggrega le mappe di attenzione da diversi livelli di scarsità per catturare sia le correlazioni spettrali dominanti che quelle complementari.

3. Framework di Unfolding:
   La rete srotola (unrolls) un algoritmo di ottimizzazione (basato su Half-Quadratic Splitting) dove ogni stadio consiste in una stima del rumore apprendibile, un passo analitico di coerenza dei dati (che incorpora la maschera guidata dall'intensità) e un denoiser prossimale appreso. Questa struttura unisce l'interpretabilità basata sul modello con l'espressività guidata dai dati.

Contributi Chiave

• Nuovo Modello di Decomposizione: Il documento propone il primo modello di decomposizione cromaticità-intensità specificamente adattato per CASSI, separando esplicitamente la cromaticità invariante rispetto alla luce dalla fluida intensità per migliorare la robustezza contro i cambiamenti di illuminazione.
• Architettura CIDNet: Sviluppo di una rete di deep unfolding che integra un Transformer ibrido spazio-spettrale (HSST) e un modulo di stima del rumore spazialmente adattivo e consapevole della degradazione (DNEM).
• Attenzione Spettrale Sparse: Introduzione di un meccanismo di attenzione spettrale TopK che modella efficacemente la natura sparsa e locale degli spettri di cromaticità, riducendo la complessità computazionale pur preservando la fedeltà spettrale.
• Validazione Duale: Il paradigma di decomposizione è validato sia attraverso solver tradizionali basati sull'ottimizzazione che attraverso il proposto framework di deep unfolding in un contesto CASSI a doppia telecamera.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su dataset sintetici (CAVE e KAIST) e su dati CASSI dual-camera del mondo reale.

• Prestazioni Quantitative: CIDNet ha raggiunto prestazioni allo stato dell'arte sul dataset di simulazione KAIST. La versione a 9 stadi (CIDNet-9stg) ha ottenuto un PSNR medio di 44.12 dB e un SSIM di 0.991, superando significativamente i metodi esistenti come In2SET-9stg, SSR-9stg e DAUHST-9stg.
• Fedeltà di Cromaticità e Intensità: Il metodo ha dimostrato prestazioni superiori nella ricostruzione di entrambi i componenti, cromaticità e intensità, con CIDNet che ottiene i migliori parametri di cromaticità (PSatura PSNR 35.81 dB, SSIM 0.93) tra gli algoritmi dual-camera.
• Validazione nel Mondo Reale: Le ricostruzioni su dati reali (scena Ninja) hanno confermato la capacità del modello di ripristinare i dettagli fini e l'accuratezza spettrale rispetto ai metodi di base come PIDS e l'iterativo CID-TV.
• Studi di Ablazione: Gli esperimenti hanno confermato che la maschera guidata dall'intensità, l'architettura HSST e il modulo DNEM contribuiscono significativamente alle prestazioni finali, con il modello completo che mostra un miglioramento sostanziale rispetto alle configurazioni di base.

Significatività
Il lavoro sostiene che la decomposizione esplicita delle immagini iperspettrali in cromaticità e intensità offre una soluzione fisicamente interpretabile al problema mal posto della ricostruzione CASSI. Concentrandosi sull'apprendimento della cromaticità (che è invariante rispetto alla luce e spettralmente scarsa) piuttosto che della HSI grezza, il metodo ottiene una migliore fedeltà spettrale e robustezza. Il lavoro evidenzia l'efficacia della combinazione di decomposizione consapevole della fisica con meccanismi di attenzione ibrida (spaziale e spettrale) per affrontare le sfide specifiche dell'imaging spettrale compresso, stabilendo un nuovo standard sia per la ricostruzione spettrale che per la fedeltà della cromaticità.