Hyperspectral Image Classification using Spectral-Spatial Mixer Network

Riepilogo Tecnico: SS-MixNet per la Classificazione di Immagini Iperspettrali

Definizione del Problema
La classificazione di Immagini Iperspettrali (HSI) è un compito critico nel telerilevamento, che richiede l'estrazione efficace sia delle caratteristiche spettrali che di quelle spaziali per distinguere i tipi di copertura del suolo. Sebbene il Deep Learning (DL) abbia fatto progressi nel campo, gli approoli esistenti affrontano specifiche limitazioni. Le 1D-CNN tradizionali spesso trascurano il contesto spaziale, mentre le 2D-CNN non riescono a sfruttare appieno la natura tridimensionale dei dati HSI. Sebbene le 3D-CNN e i modelli ibridi (ad esempio, HybridSN) affrontino questo problema, possono risultare computazionalmente pesanti. Al contrario, le architetture basate su Transformer (ad esempio, ViT, IP-SWIN) offrono forti capacità di modellazione per le dipendenze a lungo raggio, ma richiedono tipicamente grandi quantità di dati etichettati e risorse computazionali significative, rendendole meno efficaci negli scenari di telerilevamento dove i dati etichettati sono scarsi.

Metodologia
Il documento propone SS-MixNet, un framework di deep learning leggero progettato per bilanciare l'efficienza computazionale con una robusta estrazione delle caratteristiche. L'architettura elabora i patch iperspettrali attraverso le seguenti fasi:

1. Pre-elaborazione ed Estrazione delle Caratteristiche Locali:

   • L'Analisi delle Componenti Principali (PCA) viene applicata per ridurre la ridondanza spettrale.
   • Due strati convoluzionali 3D (utilizzando kernel $3 \times 3 \times 3$) elaborano i patch di input per catturare congiuntamente le correlazioni spettrali e spaziali locali, preservando la continuità spettrale e con l'estrazione delle strutture locali.

2. Mixing Spettrale-Spaziale (L'Innovazione Centrale):
   Ispirandosi all'architettura MLPMixer, il modello impiega due blocchi mixer paralleli in stile MLP per modellare le dipendenze a lungo raggio senza fare affidamento su pesanti meccanismi di attenzione o convoluzioni standard:

   • Blocco Mixer Spettrale: Tratta ogni banda spettrale come un token. Applica i Multi-Layer Perceptrons (MLP) attraverso la dimensione spettrale per ogni posizione spaziale al fine di apprendere le relazioni inter-banda.
   • Blocco Mixer Spaziale: Tratta ogni posizione spaziale all'interno di un patch come un token. Applica gli MLP attraverso le dimensioni spaziali ($M \times M$) per ogni canale spettrale al fine di modellare le interazioni spaziali.
   • Entrambi i blocchi utilizzano connessioni residue per preservare l'informazione originale pur approfondendo la rappresentazione.

3. Meccanismo di Attenzione:
   Un modulo di Attenzione basato su Convoluzione Depthwise leggero è integrato. Questo meccanismo elabora ogni canale indipendentemente per generare una maschera di attenzione spaziale tramite attivazione sigmoidale. La maschera modula le mappe delle caratteristiche attraverso la moltiplicazione elemento per elemento, potenziando le regioni discriminanti con un overhead computazionale minimo.

4. Classificazione:
   Le caratteristiche elaborate subiscono un Global Average Pooling (GAP) e vengono inviate a un classificatore Softmax per predire le etichette di classe.

Contributi Chiave

• Architettura Novativa: Introduzione di SS-MixNet, che decoppia il mixing spettrale e spaziale utilizzando blocchi MLP paralleli, consentendo la modellazione di dipendenze non locali in entrambe le dimensioni.
• Efficienza: Il modello è progettato per essere computazionalmente efficiente, utilizzando meno parametri rispetto a molte controparti basate su Transformer pur mantenendo alte prestazioni.
• Attenzione Leggera: L'integrazione di un meccanismo di attenzione basato su convoluzione depthwise migliora la discriminazione delle caratteristiche senza l'alto costo della standard self-attention.
• Efficienza dei Dati: Il framework è valutato specificamente in condizioni di estrema scarsità di dati, utilizzando solo l'1% di dati etichettati per l'addestramento e la validazione.

Risultati Sperimentali
Il modello è stato valutato su due dataset: QUH-Tangdaowan e QUH-Qingyun. È stato confrontato con 2D-CNN, 3D-CNN, IP-SWIN, SimPoolFormer e HybridKAN.

• Dataset Tangdaowan: SS-MixNet ha raggiunto la massima Accuratezza Complessiva (OA) del 95,68%, Accuratezza Media (AA) del 92,44% e coefficiente Kappa del 95,08%. Ha superato il metodo successivo migliore (3D-CNN) di oltre l'1% in OA e ha ottenuto la migliore accuratezza in 11 classi su 18.
• Dataset Qingyun: SS-MixNet ha raggiunto un OA del 93,86%, un AA dell'86,83% e un Kappa del 91,86%, superando costantemente tutti i metodi di confronto.
• Studio di Ablazione: Gli esperimenti hanno confermato che l'aggiunta del mixer spettrale, del mixer spaziale e del meccanismo di attenzione ha migliorato incrementalmente le prestazioni, con l'architettura completa che produce i risultati migliori.
• Costo Computazionale: SS-MixNet ha dimostrato un equilibrio bilanciato, richiedendo circa 141K parametri e 1,9M FLOPs. Questo è significativamente più efficiente di SimPoolFormer (57M FLOPs) pur offrendo capacità di rappresentazione superiori rispetto alle standard CNN.

Significatività e Rivendicazioni
Il documento afferma che SS-MixNet fornisce una soluzione robusta per la classificazione HSI, particolarmente in scenari con supervisione limitata. Combinando efficacemente le convoluzioni 3D per le caratteristiche locali con i mixer MLP per le dipendenze globali, il modello offre predizioni accurate e affidabili anche quando addestrato su solo l'1% di dati etichettati. Gli autori asseriscono che il modello affronta con successo il compromesso tra l'alto costo computazionale dei Transformer e la limitata capacità di modellazione delle tradizionali CNN. I risultati confermano la capacità del modello di apprendere rappresentazioni spettrali-spaziali discriminanti, rendendolo un candidato valido per i compiti di Osservazione della Terra dove l'etichettatura dei dati è costosa o scarsa. Il lavoro futuro è proposto per estendere questo framework alla classificazione cross-dominio e in contesti semi-supervisionati.