Deep Spatially-Regularized and Superpixel-Based Diffusion Learning for Unsupervised Hyperspectral Image Clustering

Probleemstelling

Hyperspectrale beeldvorming (HSI) is een krachtige techniek in de remote sensing, maar het clusteren van HSI-data zonder gelabelde trainingsdata (onbewaakt leren) blijft een uitdaging. Bestaande methoden hebben vaak te kampen met:

1. Afhankelijkheid van gelabelde data: Veel state-of-the-art methoden vereisen grote hoeveelheden gelabelde trainingssamples, wat in de praktijk vaak niet beschikbaar is.
2. Ruis en spectrale redundantie: HSI-data bevat veel ruis en hoge spectrale correlatie, wat de prestaties van clustering-algoritmen negatief beïnvloedt.
3. Beperkingen van bestaande onbewaakte methoden: Hoewel grafgebaseerde diffusiemethoden (zoals S2DL) goed presteren door de intrinsieke geometrie van de data te benutten, werken deze vaak direct op de ruwe HSI-ruimte. Dit maakt ze gevoelig voor ruis en spectrale redundantie, wat leidt tot minder nauwkeurige afstanden en slechtere clusterkwaliteit.
4. Rekenkundige complexiteit: Het verwerken van de volledige spectrale dimensie is computatief zwaar.

Methodologie: DS2DL

De auteurs stellen DS2DL (Deep Spatially-Regularized Superpixel-based Diffusion Learning) voor, een onbewaakt raamwerk dat een compressie van de HSI-data combineert met een verbeterde diffusie-gebaseerde clustering. De aanpak bestaat uit twee hoofdfasen:

1. Onbewaakte Masked Autoencoder (UMAE) voor Latente Representatie

In plaats van de ruwe HSI-data te gebruiken, leert het model eerst een "denoised" (ontstoord) en gecomprimeerde latente representatie.

• Architectuur: Het gebruikt een Unsupervised Masked Autoencoder (UMAE) met een Vision Transformer (ViT) als backbone.
• Input Constructie: De data wordt opgesplitst in ruimtelijke patches ($p \times p$) en spectrale groepen. Er worden "spatial-spectral groups" gevormd die zowel lokale ruimtelijke context als lange-afstand spectrale afhankelijkheden vastleggen.
• Maskering: Tijdens het pretraining-proces wordt een deel van de tokens (spectrale groepen) willekeurig gemaskeerd (via een maskeroperator $g(\cdot)$). Het model moet deze gemaskeerde delen reconstrueren.
• Voordeel: Deze masking dwingt het model om robuuste, spectraal rijke en betekenisvolle latente representaties te leren, terwijl het gebruik van slechts een klein subset van pixels (via Farthest Point Sampling) het proces zeer efficiënt maakt.
• Output: Een gecomprimeerde latente ruimte $L$ met dimensie $D$ (in de implementatie $D=48$), die de essentiële spectrale en ruimtelijke informatie behoudt zonder ruis.

2. Superpixel-gebaseerde Diffusie Leren in de Latente Ruimte

De tweede fase past het bestaande S2DL-algoritme toe, maar dan op de nieuwe latente representatie in plaats van de originele HSI-ruimte.

• Superpixel Segmentatie: De Entropy Rate Superpixel (ERS) algoritme wordt gebruikt om het beeld te segmenteren in superpixels, gebaseerd op de eerste 3 hoofdcomponenten (PCA) van de data.
• Grafconstructie: In plaats van Euclidische afstanden in de hoge-dimensionale HSI-ruimte, worden de afstanden berekend in de gecomprimeerde latente ruimte $L$.
  • Er wordt een ruimtelijk geregulariseerde $k$-NN-graf geconstrueerd.
  • De overgangsmatrix en diffusie-afstanden worden berekend op basis van de latente vectoren.
• Clustering: Het algoritme identificeert "cluster modes" (pixels met hoge lokale dichtheid en grote diffusie-afstand tot andere modes) en wijst labels toe via een hiërarchisch proces (Local Backbone) en meerderheidsstemming binnen superpixels.

Kernbijdragen

1. Integratie van Deep Learning met Diffusie: Voor het eerst wordt een onbewaakte masked autoencoder (UMAE) gekoppeld aan een superpixel-gebaseerde diffusie-lering voor HSI-clustering.
2. Verbeterde Geometrie: Door te werken in de latente ruimte worden diffusie-afstanden "trouw" aan de intrinsieke geometrie van de data-manifold, omdat spectrale ruis en redundantie zijn verwijderd.
3. Efficiëntie: Het gebruik van een gecomprimeerde latente ruimte ($D=48$) versus de volledige spectrale banden vermindert de rekentijd aanzienlijk bij het berekenen van de $k$-nearest neighbors en de diffusie-afstanden.
4. Onbewaakte Pretraining: Het gebruik van masking en ViT maakt het mogelijk om lange-afstand spectrale afhankelijkheden te leren zonder enige gelabelde data.

Resultaten

De prestaties van DS2DL zijn getest op twee standaard datasets: Botswana en Kennedy Space Center (KSC). De resultaten tonen een duidelijke superioriteit ten opzichte van de baseline S2DL:

• Nauwkeurigheid:
  • KSC: DS2DL behaalde een Overall Accuracy (OA) van 0.6008 tegenover 0.5668 voor S2DL. De Average Accuracy (AA) steeg met 10% (van 0.5222 naar 0.6247), wat aangeeft dat DS2DL beter presteert bij moeilijkere, ondervertegenwoordigde klassen.
  • Botswana: OA steeg van 0.6004 naar 0.6410.
• Clustering Kwaliteit:
  • De Purity (zuiverheid) en NMI (Normalized Mutual Information) verbeterden aanzienlijk over alle scenario's (1x, 2x, 3x het aantal ground truth klassen). Dit betekent dat de gegenereerde clusters beter overeenkomen met de werkelijke landbedekking.
• Rekentijd (Runtime):
  • Er was een drastische reductie in rekentijd. Voor KSC daalde de tijd van 2805 seconden (S2DL) naar 934 seconden (DS2DL). Dit komt doordat de berekening van afstanden in de gecomprimeerde ruimte veel minder rekenkracht kost.

Betekenis en Toekomstperspectief

Het paper demonstreert dat het combineren van diep onbewaakt leren (via masked autoencoders) met grafgebaseerde diffusiemethoden een krachtige strategie is voor HSI-analyse.

• Praktische Impact: De methode maakt hoogwaardige clustering mogelijk zonder de noodzaak van dure en tijdrovende handmatige labeling van trainingdata.
• Efficiëntie: De aanzienlijke snelheidswinst maakt de methode schaalbaarder voor grote datasets.
• Toekomst: De auteurs suggereren toekomstig werk gericht op het introduceren van een fine-tuning-fase met contrastief leren om de denoising-kwaliteit verder te verbeteren, en het onderzoeken van semi-supervised en active learning extensies.

Kortom, DS2DL lost het compromis op tussen nauwkeurigheid en rekenefficiëntie in onbewaakte HSI-clustering door slimme datacompressie en geometrisch correcte afstandsmetingen.