Dynamic Memory Transformer for Hyperspectral Image Classification

Probleemstelling

Hyperspectrale beeldclassificatie (HSIC) staat voor aanzienlijke uitdagingen door de hoge dimensionaliteit van de data (honderden spectrale banden) en het beperkte aantal gelabelde trainingsvoorbeelden. Bestaande methoden, met name die gebaseerd op Convolutional Neural Networks (CNN's) en Transformers, kampen met specifieke tekortkomingen:

• CNN's: Beperkt vermogen om lange-afstand afhankelijkheden (global context) te modelleren.
• Standaard Transformers: Hoewel ze goed zijn in het vastleggen van globale context, leiden ze vaak tot redundante attention-patronen, hoge rekenkosten (kwadratische complexiteit) en overfitting bij kleine datasets.
• Hybride modellen: Vaak te complex, duur in training en gevoelig voor hyperparameters.
• Ruimtelijk-Spectrale Integratie: Het is moeilijk om zowel ruimtelijke continuïteit als spectrale volgorde efficiënt te coderen zonder zware convolutie-gebaseerde positiële encoding.

Methodologie: MemFormer

De auteurs stellen MemFormer voor, een lichtgewicht Transformer-architectuur die twee kerncomponenten introduceert om de bovengenoemde problemen aan te pakken:

1. Dynamisch Geheugen-Versterkte Attention (Dynamic Memory-Enhanced Attention):

   • In plaats van alleen te vertrouwen op Multi-Head Self-Attention (MHSA), integreert het model een compact globaal geheugenmodule.
   • Dit geheugen ($M$) wordt dynamisch bijgewerkt per batch via een First-In-First-Out (FIFO) beleid. Het behoudt de meest recente globale kenmerken en verwijdert de oudste.
   • De attention-mechanisme wordt "geconditioneerd" op dit geheugen: de querys komen van de huidige input-tokens, terwijl de keys en values afkomstig zijn van het dynamische geheugen.
   • Dit zorgt voor een efficiënte modellering van lange-afstand afhankelijkheden terwijl redundantie wordt verminderd en het rekenvermogen wordt beperkt.

2. Ruimtelijk-Spectrale Positiële Embedding (SSPE):

   • Om de unieke structuur van hyperspectrale data te behouden, wordt een nieuwe positiële encoding ontwikkeld die zowel de 2D-ruimtelijke coördinaten als de spectrale bandvolgorde codeert.
   • In tegenstelling tot traditionele methoden die zware convoluties gebruiken, maakt SSPE gebruik van sinus- en cosinusfuncties (vergelijkbaar met standaard Transformer-encoding) maar specifiek ontworpen voor de ruimtelijke en spectrale dimensies.
   • Dit zorgt voor structurele consistentie zonder de noodzaak van kostbare pre-processing.

Architectuur: Het model splitst het HSI-beeld in patches, projecteert deze via een vlakke convolutie, voegt SSPE toe en verwerkt de sequentie door lagen met de dynamische geheugen-attention en feed-forward netwerken. Classificatie gebeurt via een speciale CLS-token.

Belangrijkste Bijdragen

• Efficiëntie en Redundantie: Het introduceren van een dynamisch geheugen dat context over lagen verzamelt, vermindert de redundantie in attention-patronen en verlaagt de rekenkosten ten opzichte van standaard Transformers.
• Domain-Aware Encoding: De SSPE biedt een manier om ruimtelijke en spectrale informatie gezamenlijk te coderen, wat essentieel is voor de nauwkeurigheid van HSIC zonder zware convolutie-architecturen.
• Lichtgewicht Ontwerp: Het model bereikt state-of-the-art prestaties met aanzienlijk minder parameters dan zware hybride modellen of 3D-CNN's.

Resultaten

MemFormer werd geëvalueerd op drie standaard datasets: Indian Pines (IP), WHU-Hi-HanChuan (HC) en WHU-Hi-HongHu (HH). Het werd vergeleken met CNN's, hybride modellen en andere Transformers.

• Prestaties op Indian Pines: MemFormer behaalde een Overall Accuracy (OA) van 99,55%, een Average Accuracy (AA) van 99,38% en een Kappa-coëfficiënt van 99,49%. Dit is significant beter dan alle vergelijkingsmethoden.
• Algemene Superioriteit: Op alle drie de datasets overtrof MemFormer zowel CNN- als Transformer-baselines, vooral in moeilijke klassen waar andere modellen moeite hadden (bijv. klasse 2 en 10 op IP).
• Efficiëntie: Ondanks de hoge nauwkeurigheid is het model zeer lichtgewicht. Op de IP-dataset heeft het slechts ~0,85 miljoen parameters, wat aanzienlijk lager is dan modellen zoals Pyramid Transformer (PF) of 3D-CNN.
• Ablatie-studies:
  • Het geheugenmodule leverde een verbetering van >4% in Kappa-score op ten opzichte van standaard self-attention.
  • SSPE presteerde consistent beter dan geen encoding, leerbare embedding of standaard sinusoidale encoding.
  • Een geheugengrootte van ongeveer 10 tokens bleek optimaal voor het balanceren van contextbehoud en redundantie.

Betekenis en Toekomst

Dit werk toont aan dat het combineren van dynamisch geheugen met specifieke positiële encoding een krachtige route is voor hyperspectrale beeldanalyse. MemFormer lost het dilemma op tussen modelcomplexiteit en prestaties, waardoor het zeer geschikt is voor toepassingen met beperkte trainingsdata.

De auteurs wijzen op toekomstige richtingen, waaronder:

• Toepassing op grootschalige scènes met complexe acquisitievoorwaarden.
• Integratie van domeinadaptatie en zelftoezicht (self-supervised learning) om robuustheid tegen sensorvariatie te vergroten.
• Verbetering van de interpretatie van de geheugengestuurde attention-mechanismen.
• Multimodale extensies (bijv. integratie met LiDAR of SAR-data).

Kortom, MemFormer biedt een efficiënt, nauwkeurig en schaalbaar kader voor de volgende generatie hyperspectrale classificatie.