Cosine-Normalized Attention for Hyperspectral Image Classification

Titolo: Attenzione Normalizzata al Coseno per la Classificazione di Immagini Iperspettrali

1. Il Problema

La classificazione di immagini iperspettrali (HSIC) è una sfida fondamentale nel telerilevamento, dove ogni pixel possiede una firma spettrale densa su decine o centinaia di bande. Nonostante i progressi delle reti neurali convoluzionali (CNN) e dei recenti modelli basati su Transformer e Mamba, persistono diverse criticità:

• Limitazioni geometriche dell'attenzione standard: I meccanismi di attenzione nei Transformer attuali si basano tipicamente sul prodotto scalare (dot-product). Questa metrica combina sia la magnitudine che l'orientamento dei vettori di feature. Tuttavia, nelle immagini iperspettrali, la similarità tra materiali è spesso determinata dalla direzione dello spettro (angolo) piuttosto che dall'intensità assoluta (magnitudine), che può variare a causa di condizioni di illuminazione o effetti atmosferici.
• Scarsità di etichette: L'annotazione pixel-per-pixel è costosa e laboriosa. I modelli complessi tendono a sovrapprendere (overfitting) quando addestrati con un numero molto limitato di campioni etichettati.
• Complessità architetturale: Molti modelli recenti cercano di migliorare le prestazioni aumentando la complessità architetturale (più parametri, strutture ibride), invece di ottimizzare le funzioni di base come la metrica di similarità.

2. Metodologia Proposta

Gli autori propongono un approccio che rivaluta il calcolo dei punteggi di attenzione da una prospettiva geometrica, integrandolo in un'architettura Transformer Spaziale-Spettrale.

• Idea Centrale: Sostituire il prodotto scalare standard con una somiglianza al coseno normalizzata.
• Meccanismo di Attenzione:
  1. Normalizzazione $\ell_2$: I vettori di Query ($Q$) e Key ($K$) vengono proiettati su una ipersfera unitaria. Questo elimina l'influenza della magnitudine del vettore, facendo sì che il punteggio dipenda esclusivamente dall'angolo tra i vettori ($\cos \theta$).
  2. Somiglianza al Coseno Quadrato: Per enfatizzare ulteriormente le relazioni angolari forti e ridurre quelle deboli, gli autori applicano un'operazione di elevazione al quadrato alla similarità al coseno: $S = (\tilde{q}^\top \tilde{k})^2 = \cos^2 \theta$. Questo "affila" la distribuzione dell'attenzione, rendendola più discriminativa per firme spettrali con angoli simili.
• Architettura: Il modello utilizza un framework basato su patch (patch-based). Le patch 3D ($P \times P \times C$) vengono tokenizzate, proiettate in uno spazio di embedding e processate attraverso un Transformer leggero (4 layer, 4 teste, dimensione embedding 64).
• Analisi Controllata: All'interno dello stesso backbone, sono stati testati 11 varianti di funzioni di punteggio (inclusi dot-product, scaled dot-product, additive attention, e diverse varianti di coseno) per isolare l'impatto della sola funzione di similarità.

3. Contributi Chiave

1. Nuova Formulazione di Attenzione: Introduzione di un meccanismo di attenzione normalizzato al coseno con punteggio quadrato, allineato alla geometria angolare delle firme spettrali iperspettrali.
2. Analisi Geometrica: Dimostrazione che la scelta della funzione di similarità è un "inductive bias" cruciale, spesso più importante dell'aumento della complessità del modello.
3. Robustezza in Regimi a Pochi Etichette: Validazione del metodo in condizioni di supervisione estremamente limitata (1% di dati di addestramento), dimostrando che un approccio geometricamente corretto generalizza meglio di modelli più pesanti.
4. Benchmark Estensivo: Confronto diretto con modelli SOTA basati su Transformer (es. MSST, S2CIFT) e modelli basati su Mamba (es. SSAM, DBMLLA) su tre dataset pubblici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset benchmark: Salinas (SA), WHU Hi HongHu (HH) e QUH-Tangdaowan (TD).

• Prestazioni: L'approccio proposto (in particolare la variante Cosine-Squared o CS2) ha raggiunto prestazioni di livello superiore (top-tier) su tutti i dataset, superando modelli Transformer e Mamba più complessi.
  • Su Salinas, la variante CS2 ha ottenuto un Kappa del 99.18% e un'Accuratezza Globale (OA) del 99.26%.
  • Su WHU Hi HongHu, la variante CS ha ottenuto un Kappa del 97.87% e un OA del 98.32%.
  • Su QUH-Tangdaowan, la variante CS2 ha raggiunto un Kappa del 98.51% e un OA del 98.84%.
• Confronto con Baseline: Nonostante l'uso di un backbone leggero, il metodo proposto ha battuto modelli come MSST, S2CIFT, SSAM e GraphMamba.
• Visualizzazione: Le mappe di classificazione mostrano regioni più omogenee e confini di classe più puliti rispetto alle baselines, specialmente in aree spettralmente confuse.
• Analisi di Robustezza:
  • La normalizzazione su Query e Key insieme ha dato i risultati migliori.
  • La similarità al coseno quadrato ha superato la semplice similarità al coseno e il prodotto scalare.
  • Il modello ha mostrato una degradazione graduale e stabile in presenza di rumore spettrale (fino a 10 dB), confermando la sua insensibilità alle variazioni di magnitudine.

5. Significato e Implicazioni

Questo lavoro evidenzia che l'attenzione nei modelli per immagini iperspettrali non deve essere trattata come un componente standard, ma deve essere adattata alla natura geometrica dei dati.

• Efficienza vs. Complessità: Dimostra che migliorare la geometria della funzione di similarità può essere più efficace che aumentare il numero di parametri o la profondità del modello.
• Generalizzazione: L'allineamento con la struttura angolare delle firme spettrali fornisce un bias induttivo robusto, essenziale per applicazioni reali dove i dati etichettati sono scarsi e le condizioni di acquisizione variano.
• Futuro: L'approccio apre la strada a future ricerche su apprendimento auto-supervisionato e applicazioni multimodali nel telerilevamento, suggerendo che le metriche di similarità angolare dovrebbero diventare lo standard per l'elaborazione di dati iperspettrali.