mHC-HSI: Clustering-Guided Hyper-Connection Mamba for Hyperspectral Image Classification

Probleemstelling

Hyperspectrale beeldclassificatie (HSI) is een fundamentele taak voor milieu- en hulpbronnenbeheer, maar het blijft een uitdagend probleem vanwege de complexe ruimtelijk-spectrale heterogeniteit van de data. Bestaande methoden hebben te maken met specifieke beperkingen:

• CNN's: Hebben een beperkt vermogen om lange-afstandsafhankelijkheden te leren.
• Transformers: Kunnen wel lange contexten modelleren, maar hebben een zeer hoge computationele complexiteit (kwadratisch) en lijden onder het "correlation decay"-probleem bij lange sequenties.
• Mamba-modellen: Bieden lineaire complexiteit en kunnen lange contexten modelleren, maar behandelen het volledige beeld vaak als één enkele token-sequentie. Dit leidt tot hoge kosten en prestatieverlies door correlatieverval.
• Bestaande Residual Connections: Traditionele residual connections creëren een informatieknelpunt, terwijl ongecontroleerde "Hyper-Connections" (HC) leiden tot instabiliteit (gradient explosion) door het verlies van de identiteitsmapping-eigenschap.

Daarnaast ontbreekt er vaak interpreteerbaarheid en fysieke betekenis in de huidige modellen; het is moeilijk om te begrijpen waarom een model bepaalde classificaties maakt of hoe het de complexe spectrale data verwerkt.

Methodologie: mHC-HSI

Het artikel introduceert mHC-HSI, een nieuw model dat de Manifold-Constrained Hyper-Connection (mHC) architectuur combineert met een Clustering-Guided Mamba aanpak. De architectuur bestaat uit zes residual blokken, elk met twee parallelle paden: een residual pad met stroominteractie en een pad voor feature extractie.

De kern van de methode rust op drie innovaties:

1. Clustering-Guided Mamba (CGM) Module:

   • In plaats van het hele beeld als één sequentie te behandelen, wordt de feature-extractiefunctie $F(\cdot)$ uitgevoerd door een CGM-module.
   • Deze module bestaat uit twee fasen: eerst een Spectrale Mamba die de spectrale kanalen verwerkt, gevolgd door een Clustering-Guided Spatial Mamba (CGSM).
   • De CGSM gebruikt "soft cluster membership maps" om tokens te selecteren. In plaats van alle pixels te verwerken, selecteert het de Top-k tokens binnen elke ruimtelijke cluster, wat de efficiëntie verhoogt en de ruimtelijke consistentie verbetert.

2. Residual Matrix als Clustering Maps:

   • De kern van de mHC-architectuur is de residual matrix $H_{res}$. In dit model wordt deze matrix geïnterpreteerd als zachte cluster-lidmaatschapskaarten.
   • Door de matrix te projecteren op de Birkhoff-polytope (via Sinkhorn-Knopp-normalisatie), wordt gegarandeerd dat de mapping stabiel blijft en de gemiddelde features behoudt.
   • De elementen van deze matrix vertegenwoordigen de waarschijnlijkheid dat een pixel tot een bepaalde cluster behoort. Dit decomposeert het heterogene HSI-beeld in kleinere, hanteerbare clusters en verhoogt de interpreteerbaarheid van het model.

3. Fysiek Betekenisvolle Multi-Stroom Representatie:

   • In tegenstelling tot eerdere methoden die invoerdata dupliceren, splitst mHC-HSI het hyperspectrale datakubus op in fysiek betekenisvolle spectrale groepen gebaseerd op het elektromagnetische spectrum:
     • FULL (Volledig spectrum)
     • VIS (Zichtbaar licht: 400-700 nm)
     • NIR (Nabij-infrarood: 700-1000 nm)
     • SWIR1 (Kortgolvend infrarood 1: 1000-1800 nm)
     • SWIR2 (Kortgolvend infrarood 2: 1800-2500 nm)
   • Deze 5 parallelle stromen worden verwerkt door de Mamba-modules. Dit integreert domeinkennis in de architectuur, waardoor het model beter begrijpbaar is en de interactie tussen verschillende spectrale banden expliciet wordt gemodelleerd.

Kernbijdragen

1. Verbeterde Ruimtelijk-Spectrale Lering: Een nieuwe Clustering-Guided Mamba-module die expliciet zowel ruimtelijke als spectrale informatie leert, wat de prestaties van Mamba in HSI-taken verbetert.
2. Verhoogde Interpreteerbaarheid: De residual matrix wordt ontworpen als zachte cluster-lidmaatschapskaarten. Dit maakt het mogelijk om de complexe scene te decomponeren en biedt inzicht in hoe het model features routeert en clusteren vormt.
3. Fysiek Gebaseerde Architectuur: Het gebruik van elektromagnetisch spectrum-gestuurde stromen (VIS, NIR, SWIR) in plaats van willekeurige duplicatie, wat leidt tot een model dat fysische realiteit reflecteert.

Resultaten

De auteurs hebben hun model getest op het Indian Pines dataset en vergeleken met state-of-the-art methoden (zoals SSRN, SS-ConvNeXt, Transformers en andere Mamba-varianten).

• Klassificatieprestaties: mHC-HSI behaalde de hoogste scores op alle metrieken, inclusief Overall Accuracy (OA) van 98,85%, Average Accuracy (AA) van 98,55% en een Kappa van 97,44%. Dit is een duidelijke verbetering ten opzichte van de concurrenten.
• Ruimtelijke Kwaliteit: De gegenereerde classificatiekaarten tonen scherpere grenzen en betere detectie van kleine klassen (zoals "Oats" en "Wheat") vergeleken met andere methoden.
• Analyse van $H_{res}$: De visualisatie van de residual matrix toont aan dat de hoogste waarden overeenkomen met fysieke grenzen tussen landbouwgewassen (bijv. onderscheid tussen "Corn-notill" en "Corn-mintill" op basis van SWIR-bandreacties), wat de fysieke relevantie van het model bevestigt.

Betekenis en Conclusie

Dit artikel presenteert een doorbraak in hyperspectrale beeldclassificatie door de kloof te overbruggen tussen hoge prestaties en modelinterpreteerbaarheid.

• Technische Impact: Het lost het probleem van correlation decay in Mamba-modellen op door clustering te gebruiken, en verhelpt de stabiliteitsproblemen van Hyper-Connections via manifold-beperkingen.
• Domeinrelevantie: Door de architectuur te koppelen aan de fysieke eigenschappen van het elektromagnetische spectrum, creëren de auteurs een model dat niet alleen "werkt", maar ook "begrijpbaar" is voor experts in de aardobservatie.
• Toekomstperspectief: De aanpak biedt een nieuw paradigma voor het ontwerpen van diepe leermodellen voor remote sensing, waarbij fysieke kennis en datagedreven clustering hand in hand gaan.

De code is beschikbaar gesteld via GitHub, wat de reproduceerbaarheid en verdere ontwikkeling van deze methode faciliteert.