Deep Spatially-Regularized and Superpixel-Based Diffusion Learning for Unsupervised Hyperspectral Image Clustering

1. Il Problema

L'analisi delle immagini iperspettrali (HSI) è fondamentale nel telerilevamento, ma la maggior parte degli algoritmi di classificazione moderni richiede un numero significativo di campioni etichettati per l'addestramento (approcci supervisionati). Tuttavia, l'acquisizione di dati etichettati è spesso costosa e difficile.
Gli approcci non supervisionati esistenti, come il metodo S2DL (Spatially-Regularized Superpixel-based Diffusion Learning), offrono una soluzione senza etichette ma presentano limitazioni:

• Operano direttamente nello spazio spettrale ad alta dimensionalità, che è rumoroso e ridondante.
• Le distanze di diffusione calcolate su dati grezzi possono non riflettere accuratamente la geometria intrinseca del manifold dei dati a causa del rumore spettrale.
• I modelli basati su CNN 3D catturano bene il contesto spaziale ma falliscono nel catturare le dipendenze spettrali a lungo raggio, mentre i modelli basati su Transformer sono spesso supervisionati e costosi da addestrare.

2. Metodologia Proposta: DS2DL

Gli autori propongono DS2DL (Deep Spatially-Regularized Superpixel-based Diffusion Learning), un framework non supervisionato che estende l'algoritmo S2DL integrando un'apprendimento di rappresentazioni latenti profonde. Il processo si articola in due fasi principali:

Fase 1: Apprendimento di Rappresentazioni Latenti (UMAE)

Viene utilizzato un Unsupervised Masked Autoencoder (UMAE) basato su un backbone Vision Transformer (ViT) per comprimere e denoisare i dati HSI.

• Architettura: Il modello utilizza un meccanismo di "masking" (mascheramento) simile a MAEST, ma in versione non supervisionata.
• Input: Vengono estratte patch spaziali ($p \times p$) e gruppi spettrali locali.
• Pre-addestramento: Una frazione significativa dei token spettrali viene mascherata casualmente. Il modello deve ricostruire le bande mancanti basandosi sul contesto spaziale e sulle correlazioni spettrali a lungo raggio apprese dai token visibili.
• Vantaggi: Questo processo forza il modello a imparare rappresentazioni latenti robuste, eliminando il rumore spettrale e la ridondanza, catturando sia il contesto spaziale locale che le dipendenze spettrali globali.
• Output: Una mappa latente compressa $L \in \mathbb{R}^{H \times W \times D}$ (dove $D=48$), che contiene le firme spettrali significative per ogni pixel.

Fase 2: Clustering con Diffusione Spazialmente Regolarizzata

Una volta ottenuta la rappresentazione latente $L$, l'algoritmo procede con una versione modificata di S2DL:

1. Superpixel: L'algoritmo ERS (Entropy Rate Superpixel) segmenta l'immagine in superpixel utilizzando i primi 3 componenti principali (PCA) dei dati originali (o latenti, a seconda dell'implementazione specifica, ma nel paper si usa la segmentazione su dati compressi/ridotti).
2. Grafo di Diffusione: Invece di calcolare le distanze nello spazio HSI originale (rumoroso), il grafo di vicinanza ($k$-NN) e le distanze di diffusione vengono costruiti nello spazio latente compresso $L$.
   • La matrice di adiacenza pesata $W$ e la matrice di transizione $P$ sono calcolate utilizzando le distanze euclidee e di diffusione tra i pixel nello spazio latente.
3. Assegnazione delle Etichette:
   • Vengono identificati i "modi" del cluster (pixel ad alta densità locale e massima distanza di diffusione).
   • Viene assegnata un'etichetta unica a ciascun modo.
   • I pixel vicini (Local Backbone) ereditano l'etichetta del modo.
   • I pixel rimanenti vengono etichettati in base alla densità e alla vicinanza di diffusione ai pixel già etichettati.
   • Infine, viene applicato il voto di maggioranza all'interno di ogni superpixel.

3. Contributi Chiave

• Integrazione Deep Learning Non Supervisionato: Prima applicazione di un Masked Autoencoder basato su Transformer (UMAE) per la pre-elaborazione non supervisionata di dati HSI prima del clustering.
• Riduzione del Rumore e della Dimensionalità: Spostare il calcolo delle distanze di diffusione dallo spazio HSI grezzo allo spazio latente denoisato migliora la fedeltà della geometria del manifold dei dati.
• Efficienza Computazionale: La compressione dei dati riduce drasticamente il costo computazionale del calcolo dei vicini più prossimi ($k$-NN) e delle distanze di diffusione.
• Miglioramento delle Prestazioni: Dimostrazione che l'uso di rappresentazioni latenti profonde supera i metodi basati su PCA o dati grezzi nell'ambito del clustering non supervisionato.

4. Risultati Sperimentali

Il metodo è stato testato su due dataset benchmark: Botswana e Kennedy Space Center (KSC). Le prestazioni sono state confrontate con l'algoritmo S2DL originale.

• Accuratezza (KSC):
  • Overall Accuracy (OA): Aumento da 0.567 a 0.601.
  • Average Accuracy (AA): Miglioramento significativo del 10% (da 0.522 a 0.625), indicando una migliore capacità di classificare classi sottorappresentate o difficili.
  • Purity e NMI: Miglioramenti consistenti in tutte le configurazioni di cluster (1x, 2x, 3x rispetto alle classi reali).
• Accuratezza (Botswana):
  • Miglioramenti moderati ma costanti in tutte le metriche (OA da 0.600 a 0.641, AA da 0.616 a 0.665).
• Efficienza (Runtime):
  • Riduzione drastica del tempo di esecuzione. Su KSC, il tempo è sceso da 2805s a 934s (circa 3 volte più veloce). Su Botswana, da 2782s a 947s.
  • Questo è dovuto al fatto che il calcolo delle distanze nello spazio latente a bassa dimensionalità ($D=48$) è molto più veloce rispetto allo spazio spettrale originale (145 o 176 bande).

5. Significato e Conclusioni

Il paper DS2DL dimostra che l'integrazione di tecniche di apprendimento profondo non supervisionato (specificamente Masked Autoencoding con Transformer) con metodi di geometria di diffusione può superare i limiti degli approcci tradizionali per il clustering di immagini iperspettrali.

• Impatto Scientifico: Fornisce una nuova direzione per l'elaborazione di HSI senza etichette, riducendo la dipendenza dai dati annotati e migliorando la robustezza al rumore.
• Impatto Pratico: La significativa riduzione del tempo di calcolo rende il metodo più applicabile a scenari reali dove l'efficienza è critica.
• Lavori Futuri: Gli autori suggeriscono l'introduzione di un affinamento (fine-tuning) tramite apprendimento contrastivo non supervisionato e l'estensione del framework a scenari semi-supervisionati o di apprendimento attivo.

In sintesi, DS2DL rappresenta un avanzamento sostanziale nel campo del clustering HSI, combinando la potenza rappresentativa dei Transformer con la robustezza geometrica dei metodi di diffusione, ottenendo risultati superiori sia in accuratezza che in efficienza.