SSFT: A Lightweight Spectral-Spatial Fusion Transformer for Generic Hyperspectral Classification

Probleemstelling

Hyperspectrale beeldvorming (HSI) biedt de mogelijkheid om materialen fijnmazig te onderscheiden door rijke spectrale signatuur vast te leggen. Het ontwikkelen van robuuste classifiers voor HSI is echter uitdagend vanwege:

• Hoge dimensionaliteit en spectrale redundantie: HSI-data bestaan uit tientallen tot honderden smalle banden, wat leidt tot complexe datastructuren.
• Beperkte gelabelde data: Buiten aardobservatie zijn gelabelde HSI-datasets vaak klein, ongebalanceerd en schaars.
• Sterke domeinverschillen (Domain Shifts): Meetcondities variëren sterk tussen sensoren, optica, verlichting en voorbewerking. Dit maakt modellen die op één dataset zijn getraind, vaak onbruikbaar voor andere toepassingen.
• Ongeschikte augmentatiestrategieën: Veel augmentatietechnieken uit RGB-vision (zoals willekeurige spectrale verstoringen) zijn niet fysiek haalbaar voor HSI en kunnen onrealistische signalen creëren die de generalisatie verminderen.
• Rekenkracht vs. Generalisatie: Bestaande state-of-the-art modellen (grote CNN's en Transformers) zijn vaak te zwaar en overfitten op kleine, heterogene datasets in plaats van transfererbare patronen te leren.

Methodologie: SSFT

De auteurs stellen SSFT (Spectral-Spatial Fusion Transformer) voor, een lichtgewicht architectuur die is ontworpen voor heterogene, weinig-gesuperviseerde HSI-regimes. De kern van de methode is het ontleden (factoriseren) van het leervermogen in twee parallelle paden die later worden geïntegreerd:

1. Spectrale Encoder ($E_s$):

   • Verwerkt de spectrale signatuur onafhankelijk per ruimtelijke locatie.
   • Gebruikt zelf-attention (self-attention) langs de spectrale dimensie om correlaties tussen banden te modelleren.
   • Dit houdt rekening met de sterke correlatie tussen naburige golflengten en langeafstandsafhankelijkheden binnen het spectrum.
   • Output: Een spectrale feature-map $h^{(s)}$.

2. Ruimtelijke Encoder ($E_p$):

   • Verwerkt de lokale ruimtelijke structuur (randen, texturen, regio's).
   • Gebruikt een lichtgewicht convolutieblok (3x3 convolutie, BatchNorm, GELU) na een projectie van de spectrale kanalen naar een gemeenschappelijke embedding-dimensie.
   • Dit benut de inductieve bias van CNN's voor lokale ruimtelijke patronen.
   • Output: Een ruimtelijke feature-map $h^{(p)}$.

3. Fusiemodule (Cross-Attention):

   • Integreert de twee paden via een cross-attention mechanisme.
   • De ruimtelijke tokens fungeren als queries, terwijl de spectrale tokens dienen als keys en values.
   • Dit stelt het model in staat om spectrale informatie selectief en inhoudsafhankelijk in de ruimtelijke stroom te injecteren, zonder de ruimtelijke inductieve bias te verliezen.

4. Training en Supervisie:

   • Deep Supervision: Optionele hulpklassificatiekoppen worden toegevoegd aan de uitgangen van de spectrale en ruimtelijke takken (voorafgaand aan fusie) om de training te stabiliseren en informatieve tussenrepresentaties te bevorderen.
   • Geen dimensionality reduction: Het model werkt end-to-end zonder PCA of andere voorbewerking voor dimensiereductie.
   • Augmentatie: De auteurs tonen aan dat standaard augmentatie vaak schadelijk is voor HSI; training zonder augmentatie presteerde in hun experimenten het beste.

Belangrijkste Bijdragen

• Compacte Architectuur: SSFT telt slechts 516.000 parameters (ongeveer 0,52M), wat minder dan 2% is van de parameters van de vorige leidende methoden (zoals ResNet-152 of SpectralFormer).
• Factorisatie van Spectrale en Ruimtelijke Verwerking: Door deze paden te scheiden en via cross-attention te fusioneren, wordt een efficiënte interactie tussen complementaire cues bereikt zonder zware backbones.
• Generalisatie over Domeinen: Het model is getest op een zeer heterogene benchmark (HSI-Benchmark) die aardobservatie, fruitkwaliteit en fijnmazig afvalherkenning omvat.
• Empirische Validatie van Augmentatie: Het paper levert bewijs dat RGB-augmentatiestrategieën niet direct overdraagbaar zijn naar HSI en dat zorgvuldige empirische validatie noodzakelijk is.

Resultaten

De prestaties zijn geëvalueerd op twee benchmarks:

1. HSI-Benchmark (Multi-domein):

   • SSFT behaalde de state-of-the-art (SOTA) prestatie met een overall score van 84,87.
   • Het behaalde de eerste plaats op de Fruit-dataset (61,72% nauwkeurigheid, +3,44 punten verbetering ten opzichte van de vorige beste) en de Debris-dataset (93,33%).
   • Op de HRSS (aardobservatie) dataset was het zeer competitief (99,56%), ondanks de veel kleinere modelgrootte.
   • Ablatiestudies:
     • Het uitschakelen van de ruimtelijke tak leidde tot een catastrofale daling (overall score daalde naar 38,28), wat aantoont dat ruimtelijke modellering cruciaal is.
     • Het uitschakelen van de spectrale tak leidde ook tot een significante daling (naar 70,92), wat de noodzaak van spectrale informatie bevestigt, vooral voor fijnmazige onderscheiding (Debris).
     • Data-augmentatie verlaagde in de meeste gevallen de prestaties; training zonder augmentatie was het meest robuust.

2. SpectralEarth Benchmark:

   • Bij transfer naar de veel grotere SpectralEarth benchmark (EnMAP-CORINE taak) bleef SSFT concurrerend, vooral bij volledige fine-tuning (Full FT).
   • Hoewel grotere modellen (zoals Spec. ViT-S) bij volledige fine-tuning iets betere scores haalden, biedt SSFT een uitstekende afweging tussen modelgrootte en prestatie, met name in scenario's met beperkte data.

Betekenis en Conclusie

Dit paper demonstreert dat voor hyperspectrale classificatie in heterogene, datagebrekkige omgevingen lichtgewicht, gespecialiseerde architecturen superieur kunnen zijn aan grote, algemene modellen.

• Efficiëntie: SSFT bewijst dat je state-of-the-art resultaten kunt behalen met een fractie van de rekenkracht en parameters.
• Robuustheid: De factorisatie van spectrale en ruimtelijke verwerking, gecombineerd met cross-attention, zorgt voor een robuuste representatie die goed generaliseert over verschillende sensoren en toepassingsdomeinen.
• Trainingssuggesties: De bevindingen benadrukken dat "meestal werken" augmentatiestrategieën uit de computer vision-wereld (RGB) niet direct toepasbaar zijn op HSI en dat fysiek realistische trainingstrategieën essentieel zijn voor robuustheid.

Kortom, SSFT biedt een nieuwe standaard voor efficiënte en generieke hyperspectrale classificatie, waarbij de nadruk ligt op slimme architecturale keuzes in plaats van brute rekenkracht.