LRDUN: A Low-Rank Deep Unfolding Network for Efficient Spectral Compressive Imaging

Probleemstelling

Spectrale Compressieve Imaging (SCI), en specifiek systemen zoals CASSI (Coded Aperture Snapshot Spectral Imaging), maken het mogelijk om hyperspectrale beelden (HSI) in één opname vast te leggen door de data sterk te comprimeren. Het herstel van het oorspronkelijke hoge-dimensionale HSI uit deze samengeperste 2D-metingen is echter een ernstig ill-posed invers probleem.

Bestaande Deep Unfolding Networks (DUNs), die de huidige state-of-the-art (SOTA) vertegenwoordigen, hebben twee fundamentele beperkingen:

1. Computationele redundantie: Ze opereren direct op het volledige, hoge-dimensionale HSI-datakubus, wat leidt tot een enorme rekenlast.
2. Ill-posedheid: Ze moeten proberen een 3D-ruimte (HSI) te reconstrueren op basis van beperkte 2D-residuen. De enorme dimensiegap tussen de meting en de oplossing maakt het probleem extreem moeilijk op te lossen en leidt tot instabiliteit.

Methodologie

De auteurs stellen LRDUN (Low-Rank Deep Unfolding Network) voor, een framework dat de reconstructieproblematiek fundamenteel herschrijft door gebruik te maken van de lage-rang (Low-Rank, LR) eigenschappen van hyperspectrale beelden.

1. Nieuwe Imaging Modellen (Basis en Subruimte)
In plaats van het volledige HSI ($X$) direct te reconstrueren, wordt het beeld ontbonden in twee compacte componenten via lage-rang decompositie:

• Spectrale Basis ($E$): Een matrix die de globale spectrale correlaties en materiaalafhankelijke signatuur vastlegt.
• Subruimte Afbeeldingen ($A$): Een tensor die de hoge-frequentie ruimtelijke structuren en lokale spectrale sparsiteit encodeert.
  De relatie is: $X = A \times_3 E$.

Dit leidt tot twee nieuwe, lagere-dimensionale imaging modellen:

• Een model voor de spectrale basis: $y = \Phi_A e + n$
• Een model voor de subruimte afbeeldingen: $y = \Phi_E a + n$
  Hierdoor wordt het aantal onbekenden drastisch gereduceerd (van $H \times W \times B$ naar $B \times k$ en $H \times W \times k$, waarbij $k \ll B$), wat de ill-posedheid aanzienlijk vermindert.

2. Geoptimaliseerde Unfolding Framework
Het paper formuleert een gezamenlijke optimalisatieprobleem voor $E$ en $A$, opgelost met een Alternating Proximal Gradient Descent (PGD) algoritme. Dit iteratieve algoritme wordt "ontvouwd" (unrolled) naar een diep neurale netwerk met $N$ stadia.

• E-probleem: Update van de spectrale basis.
• A-probleem: Update van de subruimte afbeeldingen.
  Elke stap bestaat uit een data-fidelity term (fysiek gedreven) en een leerbaar prior-moduul (ProxyNet).

3. Generalized Feature Unfolding Mechanism (GFUM)
Een cruciale innovatie is de GFUM. In traditionele unfolding-netwerken is de feature-dimensie van het netwerk gekoppeld aan de fysieke rang ($k$), wat de representatieve capaciteit beperkt.

• GFUM ontkoppelt de fysieke rang $k$ van de feature-dimensie $C$ (waarbij $C \geq k$).
• De features worden opgesplitst in een fysiek component (grootte $k$, voor data-fidelity) en een auxiliair component (grootte $C-k$).
• Het auxiliaire component fungeert als een informatiecarrier die complexe ruimtelijk-spectrale afhankelijkheden, ruis en artefacten kan leren, zonder de fysieke constraints te schenden. Dit verhoogt de flexibiliteit en het leervermogen van het netwerk aanzienlijk.

4. Netwerk Architectuur

• ProxyNet E: Een lichtgewicht 1D-architectuur voor de spectrale basis, inclusief een QR-decompositie stap om de orthonormaliteit van de basis te garanderen (Stiefel-variëteit).
• ProxyNet A: Een U-Net-achtige architectuur met Spatial Conv Attention Blocks (SCAB). Deze blokken gebruiken een groot kernel (11x11) om lange-afstands ruimtelijke afhankelijkheden efficiënt te modelleren.

Belangrijkste Bijdragen

1. Nieuwe Imaging Modellen: De auteurs leiden twee nieuwe, laag-dimensionale modellen af (spectrale basis en subruimte) die het SCI-probleem herschrijven van een onoplosbare hoge-dimensionale taak naar twee efficiënt oplosbare subproblemen.
2. LRDUN Framework: Een principieel en efficiënt netwerk dat deze subproblemen gezamenlijk oplost binnen een ontvouwen PGD-scheme, waarbij fysieke inzichten worden gecombineerd met leerbare netwerken.
3. GFUM: Een flexibel mechanisme dat de fysieke rang ontkoppelt van de netwerk-feature-dimensie, waardoor de representatieve capaciteit wordt verhoogd zonder de fysieke consistentie te verliezen.
4. State-of-the-Art Prestaties: Het bereiken van SOTA reconstructiekwaliteit met een aanzienlijk lagere computationele complexiteit dan bestaande methoden.

Resultaten

Experimenten zijn uitgevoerd op zowel gesimuleerde datasets (CAVE, KAIST) als echte CASSI-metingen.

• Kwantitatieve Prestaties: LRDUN (met 9 stadia) bereikte een gemiddelde PSNR van 40.96 dB en SSIM van 0.976 op gesimuleerde data, wat hoger is dan bestaande SOTA-methoden zoals DPU, SSR, en MiJUN.
• Efficiëntie: Ondanks de hoge kwaliteit is LRDUN extreem efficiënt.
  • Het vereist 30.58 GFLOPs (voor 9 stadia), wat aanzienlijk lager is dan concurrenten zoals BIRNAT (2122 GFLOPs) of DGSMP (646 GFLOPs).
  • Het heeft slechts 2.04M parameters (voor 9 stadia), wat veel lager is dan veel andere DUNs.
  • De inferentie-tijd is de laagste onder alle vergeleken methoden.
• Real-World Generalisatie: Het model dat uitsluitend op gesimuleerde data is getraind, presteert uitstekend op echte CASSI-metingen zonder fijnafstemming (fine-tuning), wat wijst op sterke generalisatie-eigenschappen.
• Ablatie Studies:
  • Het gebruik van GFUM (vergroten van $C$ ten opzichte van $k$) verbetert de kwaliteit aanzienlijk.
  • De SCAB-attention mechanisme presteert beter dan andere attention-mechanismen (zoals W-MSpaA of W-MSpeA).
  • De QR-retractie in ProxyNetE is essentieel voor stabiliteit en convergentie.

Significantie

LRDUN markeert een paradigmaverschuiving in het veld van Spectrale Compressieve Imaging. In plaats van het "brute force" proberen om een volledige datakubus te reconstrueren, benut het de onderliggende lage-rang structuur van het probleem om de ill-posedheid fundamenteel te verminderen.

De combinatie van fysiek geïnformeerde modellering (via de nieuwe imaging modellen) en data-gedreven learning (via de ontvouwen netwerken en GFUM) resulteert in een methode die niet alleen de hoogste kwaliteit levert, maar ook de rekenkosten drastisch verlaagt. Dit maakt LRDUN zeer geschikt voor real-time toepassingen en systemen met beperkte rekenkracht, en biedt een nieuwe richting voor interpreteerbare en efficiënte reconstructie-algoritmen in de computervisie.