Hyperspectral Image Classification using Spectral-Spatial Mixer Network

Technische Samenvatting: SS-MixNet voor Hyperspectrale Beeldclassificatie

Probleemstelling
Hyperspectrale beeldclassificatie (HSI) is een cruciale taak binnen de remote sensing, waarbij effectieve extractie van zowel spectrale als ruimtelijke kenmerken vereist is om landbedekkingstypen te onderscheiden. Hoewel Deep Learning (DL) dit vakgebied heeft geavanceerd, kampen bestaande benaderingen met specifieke beperkingen. Traditionele 1D-CNN's negeren vaak de ruimtelijke context, terwijl 2D-CNN's er niet in slagen de driedimensionale aard van HSI-data volledig te benutten. Hoewel 3D-CNN's en hybride modellen (bijv. HybridSN) dit wel aanpakken, kunnen ze computationeel zwaar zijn. Daarentegen bieden Transformer-gebaseerde architecturen (bijv. ViT, IP-SWIN) sterke modelleringsmogelijkheden voor langetermijnafhankelijkheden, maar vereisen ze doorgaans grote hoeveelheden gelabelde data en aanzienlijke computationele middelen, wat hen minder effectief maakt in scenario's van remote sensing waar gelabelde data schaars zijn.

Methodologie
Het artikel stelt SS-MixNet voor, een lichtgewicht deep learning-framework dat is ontworpen om een balans te vinden tussen computationele efficiëntie en robuuste extractie van kenmerken. De architectuur verwerkt hyperspectrale patches via de volgende stadia:

1. Preprocessing en Lokale Kenmerkextractie:

   • Principal Component Analysis (PCA) wordt toegepast om spectrale redundantie te verminderen.
   • Twee 3D-convolutielagen (met gebruik van $3 \times 3 \times 3$ kernels) verwerken de input-patches om gezamenlijk lokale spectrale en ruimtelijke correlaties te vangen, waarbij de spectrale continuïteit behouden blijft terwijl lokale structuren worden geëxtraheerd.

2. Spectrale-Ruimtelijke Mixen (De Kerninnovatie):
   Geïnspireerd door de MLPMixer-architectuur, maakt het model gebruik van twee parallelle MLP-stijl mixer-blokken om langetermijnafhankelijkheden te modelleren zonder te vertrouwen op zware aandachtmechanismen of standaard convoluties:

   • Spectrale Mixer Block: Behandelt elke spectrale band als een token. Het past Multi-Layer Perceptrons (MLP's) toe over de spectrale dimensie voor elke ruimtelijke locatie om inter-band relaties te leren.
   • Ruimtelijke Mixer Block: Behandelt elke ruimtelijke locatie binnen een patch als een token. Het past MLP's toe over de ruimtelijke dimensies ($M \times M$) voor elk spectraal kanaal om ruimtelijke interacties te modelleren.
   • Beide blokken maken gebruik van residuele verbindingen om de oorspronkelijke informatie te behouden terwijl de representatie wordt verdiept.

3. Aandachtmechanisme:
   Een lichtgewicht Depthwise Convolution-gebaseerd aandachtmechanisme is geïntegreerd. Dit mechanisme verwerkt elk kanaal onafhankelijk om een ruimtelijke aandacht-masker te genereren via sigmoid-activatie. Het masker moduleert de feature maps via elementgewijze vermenigvuldiging, waardoor discriminerende regio's worden versterkt met minimale computationele overhead.

4. Classificatie:
   De verwerkte kenmerken ondergaan Global Average Pooling (GAP) en worden gevoed aan een Softmax-classifier om klasse-labels te voorspellen.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Introductie van SS-MixNet, die spectrale en ruimtelijke mixen ontkoppelt met behulp van parallelle MLP-blokken, waardoor modellering van non-lokale afhankelijkheden in beide dimensies mogelijk wordt.
• Efficiëntie: Het model is ontworpen om computationeel efficiënt te zijn, waarbij het minder parameters gebruikt dan veel Transformer-tegenhangers terwijl het een hoge prestatie behoudt.
• Lichtgewicht Aandacht: De integratie van een depthwise convolution-gebaseerd aandachtmechanisme verbetert de kenmerk-discriminatie zonder de hoge kosten van standaard self-attention.
• Data-efficiëntie: Het framework wordt specifiek geëvalueerd onder extreme omstandigheden van gegevensschaarste, waarbij slechts 1% van de gelabelde data wordt gebruikt voor training en validatie.

Experimentele Resultaten
Het model werd geëvalueerd op twee datasets: QUH-Tangdaowan en QUH-Qingyun. Het werd vergeleken met 2D-CNN, 3D-CNN, IP-SWIN, SimPoolFormer en HybridKAN.

• Tangdaowan Dataset: SS-MixNet behaalde de hoogste Overall Accuracy (OA) van 95,68%, Average Accuracy (AA) van 92,44% en een Kappa-coëfficiënt van 95,08%. Het presteerde beter dan de op één na beste methode (3D-CNN) met meer dan 1% in OA en behaalde de beste nauwkeurigheid in 11 van de 18 klassen.
• Qingyun Dataset: SS-MixNet behaalde een OA van 93,86%, AA van 86,83% en een Kappa van 91,86%, waarbij het consequent alle vergeleken methoden overtrof.
• Ablatieonderzoek: Experimenten bevestigden dat het toevoegen van de spectrale mixer, de ruimtelijke mixer en het aandachtmechanisme de prestaties stapsgewijs verbeterde, waarbij de volledige architectuur de beste resultaten opleverde.
• Computationele Kosten: SS-MixNet demonstreerde een gebalanceerde trade-off, waarbij ongeveer 141K parameters en 1,9M FLOPs nodig waren. Dit is aanzienlijk efficiënter dan SimPoolFormer (57M FLoC) terwijl het betere representatiecapaciteiten biedt dan standaard CNN's.

Betekenis en Claims
Het artikel beweert dat SS-MixNet een robuuste oplossing biedt voor HSI-classificatie, met name in scenario's met beperkte supervisie. Door effectief 3D-convoluties voor lokale kenmerken te combineren met MLP-mixers voor globale afhankelijkheden, levert het model nauwkeurige en betrouwbare voorspellingen, zelfs wanneer het getraind is op slechts 1% van de gelabelde data. De auteurs stellen dat het model succesvol de trade-off aanpakt tussen de hoge computationele kosten van Transformers en de beperkte modelleringscapaciteit van traditionele CNN's. De resultaten bevestigen het vermogen van het model om discriminerende spectrale-ruimtelijke representaties te leren, wat het een levensvatbare kandidaat maakt voor Earth Observation-taken waar datalabeling duur of schaars is. Toekomstig werk wordt voorgesteld om dit framework uit te breiden naar cross-domein classificatie en semi-gesuperviseerde settings.