Cosine-Normalized Attention for Hyperspectral Image Classification

Probleemstelling

Hyperspectrale beeldclassificatie (HSIC) is een fundamenteel probleem in de aardobservatie waarbij elke pixel in een beeld wordt toegewezen aan een semantische categorie op basis van zijn spectrale en ruimtelijke context. Hoewel deep learning-methoden, zoals Convolutional Neural Networks (CNN's) en Transformers, aanzienlijke vooruitgang hebben geboekt, blijven er uitdagingen bestaan:

1. Geometrisch misverstand in Attention-mechanismen: Bestaande Transformer-modellen gebruiken doorgaans een "dot-product" (inwendig product) voor de attentiescore. Deze methode combineert zowel de grootte (magnitude) als de oriëntatie van vectoriële features. Voor hyperspectrale data is de richting van het spectraal signaal echter vaak informatiever dan de absolute grootte, die sterk kan variëren door verlichtingscondities, atmosferische effecten en sensorvariaties.
2. Beperkte gelabelde data: Het labelen van pixels in hyperspectrale beelden is duur en arbeidsintensief. Modellen moeten daarom presteren onder extreem beperkte supervisie (weinig gelabelde voorbeelden), waarbij complexe modellen snel overfitten.
3. Lange-afhang afhankelijkheden: CNN's zijn beperkt door hun lokale receptieve velden, waardoor het modelleren van lange-afstand ruimtelijk-spectrale afhankelijkheden moeilijk is zonder de complexiteit van het netwerk te verhogen.

Methodologie

De auteurs introduceren een Cosine-Normalized Attention formulering die de meetkunde van de attentiescore aanpast aan de aard van hyperspectrale data.

• Geometrische Benadering: In plaats van het standaard dot-product, worden de query- en key-embeddings eerst geprojecteerd op een eenheids-hypersfeer via $\ell_2$-normalisatie. Hierdoor ligt de aandachtsscore puur op de hoekelijke overeenkomst (cosinus) tussen vectoren, ongeacht hun magnitude.
• Gekwadrateerde Cosinus Similariteit: De voorgestelde methode berekent de attentiescore niet alleen als de cosinus, maar als de gekwadrateerde cosinus ($\cos^2 \theta$). Dit versterkt de onderscheidende kracht tussen sterk uitgelijnde tokenparen en onderdrukt zwakke relaties, wat leidt tot een meer geconcentreerde attentieverdeling.
• Architectuur: De methode is geïntegreerd in een lichtgewicht ruimtelijk-spectrale Transformer-architectuur.
  • Het beeld wordt opgedeeld in overlappende patches ($P \times P \times C$).
  • Deze patches worden getokeniseerd en geprojecteerd naar een embedding-ruimte.
  • De kern van het model bestaat uit multi-head attention lagen waarbij de normalisatie en de gekwadrateerde cosinus-score worden toegepast.
  • Het model wordt getraind met een zeer kleine dataset (1% training, 1% validatie, 98% test).

Belangrijkste Bijdragen

1. Herziening van Attention Scoring: Het artikel stelt dat de keuze van de similariteitsfunctie een cruciale inductieve bias is voor HSIC, en niet slechts een implementatiedetail. Het introduceert een geometrisch onderbouwde aanpak die beter aansluit bij de hoekelijke structuur van spectraal signatuur.
2. Lichtgewicht en Robuust: De voorgestelde aanpak bereikt top-prestaties met een eenvoudige, lichtgewicht backbone, in plaats van te vertrouwen op zware, complexe architecturale wijzigingen.
3. Gestuurde Analyse: De auteurs voeren een gecontroleerde analyse uit binnen hetzelfde backbone-model om het effect van verschillende attentiescores (cosinus, dot-product, additief, etc.) te isoleren, wat zeldzaam is in vergelijkende studies die vaak verschillende modellen vergelijken.
4. Squaring-strategie: Het bewijs dat het kwadrateren van de cosinus-similariteit de discriminatievermogen verbetert voor spectraal vergelijkbare klassen.

Resultaten

De methode werd getest op drie benchmarks: Salinas (SA), WHU Hi HongHu (HH) en QUH-Tangdaowan (TD).

• Prestaties: De Cosine-Normalized Attention (met name de variant met gekwadrateerde cosinus, CS2) presteerde consequent beter dan recente state-of-the-art modellen, waaronder diverse Transformer-varianten (MSST, S2CIFT) en Mamba-gebaseerde modellen (SSAM, DBMLLA, etc.).
  • Op het SA-dataset bereikte de CS2-variant een Overall Accuracy (OA) van 99,26% en een Kappa van 99,18%.
  • Op het HH-dataset behaalde CS2 een OA van 98,32% en Kappa van 97,87%.
  • Op het TD-dataset werd een OA van 98,51% en Kappa van 98,31% bereikt.
• Vergelijking: De methode overtrof zelfs zwaardere Mamba- en Transformer-modellen, wat aantoont dat het verbeteren van de meetkunde van de attentie effectiever is dan het vergroten van de modelcapaciteit.
• Robuustheid:
  • Ablatie-studies toonden aan dat het normaliseren van zowel query als key de beste resultaten oplevert.
  • Het model vertoonde stabiel gedrag onder ruis (spectrale noise), waarbij de prestaties slechts geleidelijk daalden bij toenemende ruis (tot 10 dB), wat wijst op de onafhankelijkheid van magnitude-variaties.
  • Visuele kaarten tonen homogene regio's en scherpere klassengrenzen in vergelijking met basismodellen.

Betekenis en Conclusie

Dit onderzoek benadrukt dat de keuze van de similariteitsfunctie in attention-mechanismen een fundamentele inductieve bias vormt voor het leren van hyperspectrale representaties. Door de attentiescore af te stemmen op de hoekelijke geometrie van spectraal signatuur (in plaats van de euclidische afstand), biedt de voorgestelde methode een eenvoudige, interpreteerbare en zeer effectieve oplossing voor het classificeren van hyperspectrale beelden, vooral in scenario's met weinig gelabelde data. Het resultaat is een paradigmaverschuiving: in plaats van steeds complexere netwerken te bouwen, kan het optimaliseren van de fundamentele meetkunde van de interactie tussen tokens leiden tot superieure prestaties.