Spectral Compressive Imaging via Chromaticity-Intensity Decomposition

Technische Samenvatting: Spectrale Compressieve Beeldvorming via Chromaticiteit-Intensiteit Decompositie

Probleemstelling
Coded Aperture Snapshot Spectral Imaging (CASSI) is een veelbelovende architectuur voor het vastleggen van hyperspectrale beelden (HSI's) in één enkele opname. Echter, de reconstructie van HSI's uit CASSI-metingen vormt een ernstig slecht gestelde inverse opgave vanwege twee primaire uitdagingen:

1. Verstrengelde Informatie: De compressieve meting fuseert ruimtelijke en spectrale informatie, wat het scheiden van ruimtelijke structuren en spectrale signaturen bemoeilijkt. Bestaande deep learning-methoden vertrouwen vaak op impliciete feature-lering zonder duidelijke fysieke decompositie, terwijl optimalisatiegebaseerde methoden worstelen met complexe texturen en ruis.
2. Verlichtingsgevoeligheid: Gevangen radiantie verstrengelt inherent de intrinsieke oppervlakte-reflectantie met de scène-illuminatie. Deze koppeling maakt reconstructie gevoelig voor variaties in verlichting, wat de herwinning van verlichtings-invariante spectrale reflectantie beperkt. Hoewel intrinsieke beelddecompositie (het scheiden van reflectantie en illuminatie) gevestigd is in RGB-beeldvorming, is het niet effectief geïntegreerd in CASSI-reconstructie.

Methodologie
De auteurs stellen een Chromaticity-Intensity Decomposition (CID) framework voor die de hyperspectrale beeldkubus $X$ factoriseert in een ruimtelijk gladde intensiteitskaart $I$ en een spectraal variërende chromaticiteitskubus $C$ ($X = C \odot I$). In deze formulering vertegenwoordigt $C$ de verlichtings-invariante reflectantie, verrijkt met hoogfrequente ruimtelijke details en lokale spectrale spaarzaamheid, terwijl $I$ de globale illuminatiestructuur vastlegt.

Op basis van deze decompositie introduceren de auteurs CIDNet, een deep unfolding netwerk ontworpen voor een dual-camera CASSI-systeem (waarbij een intensiteitsbeeld, bijvoorbeeld van een PAN- of RGB-camera, beschikbaar is). De methodologie bestaat uit drie kerncomponenten:

1. Degradatie-bewuste Ruismodellering:
   De auteurs formuleren de reconstructie als een Maximum A Posteriori (MAP) schattingsprobleem onder een anisotroop Gaussisch ruismodel. In tegenstelling tot traditionele methoden die uitgaan van homoscedastische (uniforme) ruis, gebruikt CIDNet een Dual Noise-Estimation Module (DNEM). Deze module leert een ruimtelijk adaptieve ruiscovariantiekaart ($\Sigma$) en een denoising-sterkteparameter in elke iteratiestap. Dit stelt het netwerk in staat om gradiëntprojectiestappen en proximale denoising-operaties dynamisch aan te passen om ruimtelijk variërende ruispatronen te verwerken die inherent zijn aan het beeldvormingsproces.

2. Hybrid Spatial-Spectral Transformer (HSST):
   Om de chromaticiteitskubus te reconstrueren, die een gestructureerde spaarzaamheid en gelokaliseerde spectrale correlaties vertoont, ontwerpen de auteurs een asymmetrische UNet-backbone.

   • Encoder (Ruimtelijk): Maakt gebruik van een Swin Transformer met window-gebaseerde lokale ruimtelijke aandacht (Spa-LWSA) om hoogfrequente ruimtelijke texturen vast te leggen.
   • Decoder (Spectraal): Gebruikt een Sparse TopK Spectral Attention (Spec-TKSA) mechanisme. In tegen tegenstelling tot dichte spectrale aandacht, beperkt deze module de aandacht tot de $K$ meest relevante spectrale buren binnen lokale vensters. Dit dwingt spaarzaamheid en lokaliteit af, wat de fysieke eigenschap weerspiegelt dat reflectiespectra vaak een gelokaliseerde ondersteuning hebben. Een multi-ratio strategie aggregeert aandachtskaarten van verschillende spaarzaamheidsniveaus om zowel dominante als complementaire spectrale correlaties te vangen.

3. Unfolding Framework:
   Het netwerk rolt een optimalisatie-algoritme uit (gebaseerd op Half-Quadratic Splitting) waarbij elke fase bestaat uit een leerbare ruis-schatting, een analytische data-consistentiestap (inclusend de intensiteit-gestuurde masker) en een geleerde proximale denoiser. Deze structuur overbrugt model-gebaseerde interpreteerbaarheid met data-gedreven expressiviteit.

Belangrijkste Bijdragen

• Nieuw Decompositiemodel: Het artikel stelt het eerste chromaticity-intensity decompositiemodel voor dat specifiek is afgestemd op CASSI, waarbij de verlichtings-invariante chromaticiteit expliciet wordt gescheiden van de gladde intensiteit om de robuustheid tegen verlichtingsveranderingen te verbeteren.
• CIDNet Architectuur: Ontwikkeling van een deep unfolding netwerk dat een hybride spatial-spectral Transformer (HSST) en een degradatie-bewuste, ruimtelijk adaptieve ruis-schattingsmodule (DNEM) integreert.
• Sparse Spectral Attention: Introductie van een TopK spectral attention mechanisme dat effectief de spaarse en lokale aard van chromaticiteitspectra modelleert, waardoor de computationele complexiteit wordt verminderd terwijl de spectrale getrouwheid behouden blijft.
• Dubbele Validatie: Het decompositieparadigma wordt gevalideerd door zowel traditionele optimalisatie-gebaseerde solvers als het voorgestelde deep unfolding framework in een dual-camera CASSI-setting.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op synthetische datasets (CAVE en KAIST) en real-world dual-camera CASSI-data.

• Kwantitatieve Prestaties: CIDNet bereikte state-of-the-art prestaties op de KAIST simulatie dataset. De 9-stage versie (CIDNet-9stg) behaalde een gemiddelde PSNR van 44,12 dB en een SSIM van 0,991, waarmee het bestaande methoden zoals In2SET-9stg, SSR-9stg en DAUHST-9stg significant overtreft.
• Chromaticiteit en Intensiteit Getrouwheid: De methode demonstreerde superieure prestaties bij het reconstrueren van zowel de chromaticiteit als de intensiteitscomponenten, waarbij CIDNet de beste chromaticiteit-metrieken (PSNR 35,81 dB, SSIM 0,93) behaalde onder dual-camera algoritmen.
• Real-World Validatie: Reconstructies op real-world data (Ninja scene) bevestigden het vermogen van het model om fijne details en spectrale nauwkeurigheid te herstellen vergeleken met baseline methoden zoals PIDS en iteratieve CID-TV.
• Ablatie-studies: Experimenten bevestigden dat het intensiteit-gestuurde masker, de HSST-architectuur en de DNEM-module elk significant bijdragen aan de uiteindelijke prestaties, waarbij het volledige model een substantiële verbetering laat zien ten opzichte van baseline configuraties.

Betekenis
Het artikel betoogt dat het expliciet decomponeren van hyperspectrale beelden in chromaticiteit en intensiteit een fysiek interpreteerbare oplossing biedt voor de slecht gestelde CASSI-reconstructieopgave. Door zich te richten op het leren van de chromaticiteit (die invariant is voor verlichting en spectraal spaarzaam is) in plaats van de ruwe HSI, bereikt de methode een betere spectrale getrouwheid en robuustheid. Het werk benadrukt de effectiviteit van het combineren van physics-aware decompositie met hybride aandachtmechanismen (ruimtelijk en spectraal) om de specifieke uitdagingen van compressieve spectrale beeldvorming aan te pakken, en zet hiermee een nieuwe standaard voor zowel spectrale reconstructie als chromaticiteit-getrouwheid.