3D Fourier-based Global Feature Extraction for Hyperspectral Image Classification

Titel: 3D Fourier-gebaseerde globale kenmerkextractie voor hyperspectrale beeldclassificatie

Auteur: Muhammad Ahmad

1. Probleemstelling

Hyperspectrale beeldclassificatie (HSIC) is een complex probleem in de aardobservatie waarbij het doel is om elk pixel een semantisch label toe te wijzen op basis van honderden spectrale banden. Hoewel diepe leermethoden (zoals 3D-CNN's en Transformers) de prestaties hebben verbeterd, kampen ze met fundamentele beperkingen:

• Schalingsproblemen bij Transformers: Transformer-modellen lijden onder de kwadratische complexiteit van self-attention ($O(n^2)$), wat ze inefficiënt maakt voor de hoge dimensionale invoer van hyperspectrale data.
• Beperkte spectrale modellering: Bestaande Fourier-transformatie-methoden gebruiken vaak alleen 2D-FFT's (Fast Fourier Transforms) over de ruimtelijke dimensies en negeren de cruciale inter-band spectrale afhankelijkheden die inherent zijn aan hyperspectrale data.
• Class-imbalance: Hyperspectrale datasets vertonen vaak een ernstige onbalans tussen klassen (weinig gelabelde pixels voor minderheidsklassen), wat leidt tot overfitting en instabiele beslissingsgrenzen.
• Lokale vs. Globale context: 3D-CNN's zijn goed in het vastleggen van lokale structuren maar hebben een beperkt receptief veld, terwijl globale context nodig is voor consistentie over het hele beeld.

2. Methodologie: HGFNet

De auteur stelt Hybrid GFNet (HGFNet) voor, een nieuw architectuurontwerp dat lokale 3D-convolutie combineert met globale filtering in het frequentiedomein.

A. Architectuur

De pipeline bestaat uit de volgende componenten:

1. Lokale Feature Extractie (3D Convolutie):
   • Drie opeenvolgende 3D-convolutielagen met GELU-activatiefuncties.
   • Deze lagen extraheren hiërarchische kenmerken door zowel ruimtelijke buurten als spectrale banden gelijktijdig te convolueren, waardoor lokale textuur en spectrale continuïteit worden vastgelegd.
2. Globale Filtering (GFNet-blokken):
   • Na normalisatie worden de kenmerken omgezet naar het frequentiedomein.
   • In tegenstelling tot eerdere werken, introduceert HGFNet drie complementaire transformaties:
     • Spectrale Fourier Transformatie (SFT): Een 1D-FFT langs de spectrale as om golflengte-afhankelijke variaties en band-afhankelijkheden te modelleren.
     • Ruimtelijke Fourier Transformatie (SpFT): Een 2D-FFT over de ruimtelijke dimensies voor globale ruimtelijke patronen.
     • Ruimtelijk-Spectrale Fourier Transformatie (SSFT): Een 3D-FFT die zowel ruimtelijke als spectrale dimensies gelijktijdig transformeert. Dit is de kerninnovatie om gekoppelde frequentiestructuren te modelleren.
   • Een leerbare frequentiemasker ($M$) filtert ruis en behoudt discriminatieve componenten.
   • De gefilterde frequentiekenmerken worden via een Feed-Forward Network (FFN) en residu-verbindingen teruggevoerd naar het ruimtelijke domein.
3. Classificatie en Verliesfunctie:
   • Een adaptieve fully connected classificatiekop zorgt voor flexibiliteit.
   • Adaptive Focal Loss (AFL): Om class-imbalance aan te pakken, wordt een aangepaste versie van Focal Loss gebruikt. In tegenstelling tot standaard Focal Loss, past AFL de focusparameter ($\gamma_i$) en de klassenspecifieke weging ($\alpha_i$) dynamisch aan per klasse op basis van de frequentie van de data. Dit versterkt de aandacht voor moeilijke en ondervertegenwoordigde klassen.

3. Belangrijkste Bijdragen

• 3D Fourier-Generalisatie: De introductie van SSFT (3D-FFT) die specifiek is ontworpen voor hyperspectrale data, waardoor zowel ruimtelijke als spectrale frequentie-informatie gezamenlijk worden gemodelleerd.
• Hybride Lokale-Globale Strategie: Een effectieve fusie van 3D-CNN's (voor lokale inductieve bias en ruisreductie) en Fourier-filtering (voor efficiënte globale afhankelijkheidsmodellering met $O(n \log n)$ complexiteit).
• AFL voor Class-Imbalance: Een dynamische verliesfunctie die de training aanpast aan de ongelijke verdeling van klassen, wat essentieel is voor real-world HSIC-toepassingen.
• State-of-the-Art Prestaties: Het model overtreft bestaande methoden (zoals SpectralFormer, Transformers, Mamba en Wavelet-gebaseerde modellen) in nauwkeurigheid en ruimtelijke coherentie.

4. Experimentele Resultaten

De methode werd getest op drie standaard datasets: Indian Pines (IP), WHU Hi HanChuan (HC), en WHU Hi HongHu (HH).

• Kwantitatieve Resultaten:
  • HGFNet behaalde de hoogste scores op alle datasets voor Overall Accuracy (OA), Average Accuracy (AA) en Kappa-coëfficiënt ($\kappa$).
  • Op de HH-dataset bereikte het model een OA van 99,31% en een $\kappa$ van 99,13%, wat significant hoger is dan concurrenten zoals WaveFormer en Mamba.
  • De ablatiestudie bevestigde dat de combinatie van SSFT + AFL de beste prestaties levert, wat aantoont dat zowel de 3D-frequentiemodellering als de aangepaste verliesfunctie noodzakelijk zijn.
• Kwalitatieve Resultaten:
  • Visuele vergelijkingen van de classificatiekaarten tonen aan dat HGFNet scherpere grenzen en minder "zout-en-peper" ruis produceert.
  • Het model is beter in staat om gebieden met hoge spectrale overeenkomst (zoals verschillende vegetatietypes) te onderscheiden en behoudt grootschalige structurele consistentie beter dan pure Transformer- of Mamba-baselines.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het een brug slaat tussen de efficiëntie van frequentiedomein-methoden en de noodzaak om complexe spectrale correlaties in hyperspectrale data te modelleren. HGFNet lost het schalingsprobleem van Transformers op en verbetert de robuustheid tegen class-imbalance.

Beperkingen en Toekomstig Onderzoek:

• De methode veronderstelt signaalstabiliteit (stationariteit), wat een uitdaging kan zijn bij sterke veranderingen in verlichting of atmosferische effecten.
• De rekentijd van 3D-convoluties kan een beperking zijn voor ultra-hoge resolutie beelden; toekomstig werk richt zich op lichtere varianten (bijv. depthwise separable convoluties).
• Verdere optimalisatie van de verliesfunctie voor extreem scheve klassenverdelingen wordt aanbevolen.

Kortom, HGFNet biedt een robuust en efficiënt kader voor hyperspectrale beeldclassificatie dat de huidige staat van de kunst verbetert door een slimme integratie van ruimtelijke, spectrale en frequentie-gebaseerde kenmerken.