Unmixing-Guided Spatial-Spectral Mamba with Clustering Tokens for Hyperspectral Image Classification

1. Il Problema

La classificazione delle immagini iperspettrali (HSI) è fondamentale per il monitoraggio ambientale e l'esplorazione delle risorse, ma presenta sfide significative dovute a tre fattori principali:

• Effetto di miscela spettrale: I pixel nelle immagini HSI spesso contengono una miscela di diversi materiali, rendendo difficile l'identificazione pura delle classi.
• Eterogeneità spaziale-spettrale: La complessa variabilità dei segnali spaziali e spettrali rende difficile modellare le dipendenze a lungo raggio senza perdere dettagli.
• Limitazioni dei modelli esistenti:
  • Le CNN (Reti Neurali Convoluzionali) catturano bene le caratteristiche locali ma falliscono nel modellare le dipendenze a lungo raggio.
  • I Transformer gestiscono bene le correlazioni globali ma hanno un costo computazionale elevato e rischiano l'overfitting.
  • I recenti modelli Mamba offrono una complessità computazionale lineare, ma soffrono di un "decadimento della correlazione" quando elaborano l'intera immagine come un'unica sequenza lunga e eterogenea, risultando inefficienti nel catturare pattern sottili e deboli.

2. Metodologia Proposta

Gli autori propongono un nuovo framework chiamato Unmixing-Guided Spatial-Spectral Mamba (UG-SSM). L'architettura integra lo svincolo spettrale (unmixing) direttamente nel processo di classificazione per guidare la selezione e la sequenziazione dei token.

A. Rami di Unmixing e Classificazione

Il modello utilizza un approccio multi-task con due rami principali collegati:

1. Ramo di Unmixing (Semi-cieco):
   • Estrae le mappe di abbondanza e gli endmember (segnali spettrali puri) direttamente dall'immagine.
   • Variabilità degli Endmember: A differenza dei modelli tradizionali che assumono endmember fissi, questo modulo modella la variabilità spettrale. Inizializza gli endmember tramite VCA (Vertex Component Analysis) e introduce pesi di variabilità appresi pixel per pixel, permettendo a ogni endmember di essere una combinazione convessa di varianti spettrali locali.
2. Ramo di Classificazione:
   • Utilizza i dati di abbondanza generati dal primo ramo per guidare la selezione dei token.

B. Selezione Adattiva dei Token Top-K

Per superare i limiti della sequenziazione lineare dei token nei modelli Mamba:

• Si definiscono cluster basati sulle mappe di abbondanza.
• Viene adottata una strategia Top-K adattiva: per ogni mappa di abbondanza, si selezionano dinamicamente i token più informativi (quelli con valori di abbondanza più alti e distribuiti spazialmente).
• Questo riduce drasticamente la complessità computazionale (da $O(L)$ a $O(\sum K_p)$, dove $K_p \ll L$) e focalizza il modello sulle regioni fisicamente significative.

C. Modulo Mamba Spaziale-Spettrale Guidato dall'Unmixing

• I token selezionati vengono elaborati da blocchi Mamba paralleli specifici per ogni abbondanza.
• Vengono utilizzati due tipi di blocchi:
  1. Spatial Mamba Block: Apprende le relazioni spaziali tra i token selezionati per ogni classe di abbondanza.
  2. Spectral Mamba Block: Apprende le relazioni spettrali raggruppando i token lungo la dimensione spettrale.
• Un blocco aggiuntivo gestisce i pixel non selezionati per preservare l'integrità strutturale.
• Le feature spaziali e spettrali vengono fuse e inviate al head di classificazione.

D. Funzione di Loss Multi-task

Il modello è addestrato simultaneamente su due obiettivi:

1. Classificazione: Minimizzazione della Cross-Entropy Loss ($L_{CE}$).
2. Unmixing: Minimizzazione della distanza angolare spettrale (SAD) per la ricostruzione dell'immagine e regolarizzazione sparsa sulle mappe di abbondanza.
   Questa strategia supervisionata garantisce che il modello impari sia i pattern di abbondanza che le etichette di classe.

3. Contributi Chiave

1. Rete di Unmixing con Variabilità: Progettazione di una rete che apprende automaticamente endmember e mappe di abbondanza, tenendo conto della variabilità spettrale degli endmember a livello di pixel.
2. Strategia di Selezione Token Top-K: Un metodo efficiente per generare sequenze di token Mamba basate sui cluster di abbondanza, migliorando la capacità rappresentativa e riducendo il rumore.
3. Modulo Mamba Guidato dall'Unmixing: Un nuovo blocco che migliora l'apprendimento delle feature spaziali e spettrali e la preservazione dei dettagli rispetto ai modelli Mamba tradizionali.
4. Framework Multi-task: Unione di unmixing e classificazione in un unico modello che produce non solo mappe di classificazione accurate, ma anche librerie spettrali complete e mappe di abbondanza.

4. Risultati Sperimentali

Il modello è stato valutato su quattro dataset HSI pubblici (QUH-Tangdaowan, Houston, Pavia University, Fanglu Tea Farm) confrontandolo con stati dell'arte come CNN, Transformer, e altri modelli basati su Mamba (MambaHSI, SFMamba, SDMamba).

• Prestazioni Quantitative: Il modello proposto ha ottenuto i migliori risultati in termini di Accuratezza Globale (OA), Accuratezza Media (AA) e Kappa su quasi tutti i dataset, superando significativamente i metodi precedenti.
• Prestazioni Qualitative:
  • Le mappe di classificazione mostrano confini di classe molto più nitidi e dettagli preservati (es. singoli alberi, edifici, strade) rispetto ai modelli che tendono a produrre risultati troppo lisci.
  • Le mappe di abbondanza stimate sono più distinte e fisicamente coerenti.
  • La modellazione della variabilità degli endmember ha permesso una migliore gestione di ombre e materiali misti.
• Ablation Study: L'analisi ha dimostrato che ogni componente (codifica posizionale, selezione Top-K, variabilità degli endmember) contribuisce positivamente alle prestazioni finali.

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nell'elaborazione delle immagini iperspettrali perché:

• Risolve il problema dell'eterogeneità: Sfruttando l'unmixing per guidare il modello, trasforma un problema complesso (immagine intera) in sotto-problemi più gestibili (cluster di abbondanza), migliorando l'efficienza del modello Mamba.
• Efficienza Computazionale: La selezione adattiva dei token riduce la complessità computazionale mantenendo o migliorando l'accuratezza, rendendo il modello scalabile per immagini di grandi dimensioni.
• Interpretabilità Fisica: Fornendo non solo una classificazione ma anche mappe di abbondanza e endmember con variabilità, il modello offre informazioni fisiche utili per applicazioni reali di uso del suolo e monitoraggio ambientale.
• Versatilità: L'approccio multi-task dimostra che l'integrazione di compiti di decomposizione spettrale e classificazione può portare a modelli più robusti e generalizzabili.

In sintesi, il paper introduce un paradigma innovativo in cui la decomposizione fisica del segnale (unmixing) non è solo un pre-processing, ma un meccanismo di guida intrinseco per l'architettura di deep learning, risolvendo efficacemente le limitazioni dei modelli sequenziali attuali sulle immagini iperspettrali.