Riepilogo Tecnico: LESSViT: Apprendimento di Rappresentazioni Iperspettrali Robuste in Caso di Variazione della Configurazione Spettrale

1. Enunciato del Problema

Le immagini iperspettrali (HSI) catturano firme spettrali dettagliate attraverso centinaia di bande di lunghezza d'onda contigue, consentendo una caratterizzazione approfondita di materiali, stati biofisici e processi ambientali. Tuttavia, una sfida fondamentale nasce dalla variabilità delle configurazioni spettrali tra sensori diversi. A differenza delle immagini naturali con canali RGB fissi, i sensori HSI differiscono significativamente per copertura di lunghezza d'onda, campionamento delle bande e dimensionalità dei canali. Di conseguenza, i modelli addestrati su una configurazione spettrale fissa spesso falliscono nel generalizzare ad altri sensori, soffrendo di "spostamento spettrale".

Gli approcci esistenti affrontano un compromesso tra efficienza ed espressività:

• Modellazione Implicita: I Vision Transformers (ViT) standard spesso collassano la dimensione spettrale nella dimensione del canale o utilizzano embedding di patch fissi. Sebbene computazionalmente efficienti, questi metodi assumono una struttura di canale fissa e non riescono a modellare esplicitamente le relazioni dipendenti dalla lunghezza d'onda, limitando la generalizzazione cross-sensore.
• Modellazione Esplicita: Trattare i canali spettrali come token indipendenti e applicare un'attenzione spaziale-spaziale completa permette una modellazione esplicita ma comporta una complessità computazionale proibitiva di $O(N^2C^2)$, dove $N$ è il numero di token spaziali e $C$ è il numero di canali spettrali. Ciò rende il processo intrattabile per input HSI ad alta dimensionalità.

2. Metodologia: LESSViT

Gli autori propongono LESSViT (Low-rank Efficient Spatial–Spectral ViT), un'architettura flessibile per i sensori progettata per raggiungere una generalizzazione cross-spettro attraverso tre componenti fondamentali:

2.1 Tokenizzazione Agnostica al Canale (Embedding di Patch Accoppiati)

Per supportare diverse dimensionalità spettrali, LESSViT impiega un livello di embedding di patch accoppiati. Invece di apprendere pesi distinti per ogni canale, il modello utilizza pesi di proiezione condivisi su tutti i canali. Dato un input HSI di dimensioni $C \times H \times W$, questo viene partizionato in patch e proiettato in token utilizzando una mappatura lineare condivisa. Ciò garantisce che il modello possa elaborare input con un diverso numero di canali spettrali senza riaddestramento o modifiche architetturali.

2.2 Attenzione Spaziale-Spettrale Efficiente a Rango Basso (Attenzione LESS)

Per risolvere il compromesso efficienza-espressività, gli autori introducono l'Attenzione LESS, una fattorizzazione strutturata a rango basso dell'attenzione spaziale-spaziale.

• Decomposizione: Il metodo sfrutta la separabilità strutturale dei dati iperspettrali, decomponendo le interazioni congiunte in componenti solo-spaziali e solo-spettrali.
• Meccanismo: I token di input vengono decomposti in token spaziali ($X_S$) e token spettrali ($X_C$) utilizzando un Livello di Pooling dell'Attenzione. L'attenzione spaziale e spettrale ($A_S$ e $A_C$) viene calcolata indipendentemente.
• Approssimazione a Rango Basso: L'attenzione congiunta spaziale-spaziale è approssimata tramite il prodotto di Kronecker di queste componenti: $A = \sum_{i=1}^r A_C^i \otimes A_S^i$, dove $r$ è il rango dell'approssimazione a rango basso.
• Riduzione della Complessità: Questo approccio riduce la complessità computazionale da $O(N^2C^2D)$ a $O(r(N^2d_1 + C^2d_2 + NCD))$, dove $d_1$ e $d_2$ sono sottodimensioni. Ciò consente una modellazione esplicita delle dipendenze congiunte senza calcolare la matrice di attenzione completa su tutta la griglia spaziale-spaziale.

2.3 Codifica Posizionale Consapevole della Lunghezza d'Onda (SSRoPE)

Per modellare le relazioni spettrali in modo coerente in caso di configurazioni variabili, gli autori introducono l'Embedding Posizionale Rotatorio Spaziale-Spettrale (SSRoPE).

• Dimensione Spaziale: Applica RoPE 2D standard sulle coordinate spaziali $(u, v)$.
• Dimensione Spettrale: Applica RoPE 1D sulla dimensione spettrale utilizzando le lunghezze d'onda fisiche $\lambda$ invece di indici di canale fissi.
• Vantaggio: Questo design garantisce che la codifica posizionale rifletta la struttura fisica dello spettro, rendendo il modello robusto ai cambiamenti nella copertura delle lunghezze d'onda e nel campionamento delle bande.

2.4 Pre-addestramento: HyperMAE

Per abilitare un pre-addestramento scalabile, gli autori propongono HyperMAE (Hyperspectral Masked Autoencoder):

• Mascheramento Disaccoppiato: Invece di un mascheramento casuale su token appiattiti, HyperMAE applica un mascheramento indipendente alle patch spaziali e ai canali spettrali (75% di mascheramento per dimensione). Ciò preserva la struttura separabile richiesta dall'Attenzione LESS.
• Campionamento Gerarchico dei Canali (HCS): Durante il pre-addestramento, viene campionato casualmente solo un sottoinsieme di canali entro un intervallo di rapporto predefinito. Ciò riduce il costo di memoria e calcolo del decoder per la ricostruzione densa, mantenendo al contempo l'esposizione a input con canali parziali diversi. Durante il fine-tuning e l'inferenza, il decoder viene rimosso e il modello elabora in modo efficiente input a canale completo.

3. Contributi Chiave

1. Attenzione LESS: Una fattorizzazione strutturata a rango basso dell'attenzione spaziale-spaziale che riduce la complessità della modellazione delle interazioni congiunte da quadratica a quasi lineare in termini di numero di canali, consentendo una modellazione esplicita su larga scala.
2. Architettura LESSViT: Un ViT agnostico al canale con embedding di patch accoppiati e codifica posizionale consapevole della lunghezza d'onda (SSRoPE), progettato per una modellazione coerente e robusta in caso di configurazioni spettrali variabili.
3. Pre-addestramento HyperMAE: Un framework di pre-addestramento auto-supervisionato su misura con mascheramento spaziale-spaziale disaccoppiato e campionamento gerarchico dei canali, che rende l'addestramento trattabile per HSI ad alta dimensionalità.
4. Benchmark di Generalizzazione Cross-Spettrale: L'istituzione di un protocollo di valutazione rigoroso sul benchmark SpectralEarth che simula la variabilità cross-sensore (spostamento spettrale, lunghezze d'onda non viste ed espansione dei canali) per valutare sistematicamente la generalizzazione.

4. Risultati Sperimentali

Gli autori hanno valutato LESSViT sul benchmark SpectralEarth, addestrando su una configurazione fissa ($C_{120VNIR+}$) e testando su quattro scenari: distribuzione interna, spostamento spettrale, lunghezze d'onda non viste ed espansione dei canali.

• Robustezza allo Spostamento Spettrale: LESSViT ha costantemente superato le linee di base (SpectralViT, DOFA, HyperSigma) in contesti fuori distribuzione. Ad esempio, nel setting "lunghezze d'onda non viste" ($C_{82}$), LESSViT ha mostrato un degrado delle prestazioni significativamente inferiore rispetto a SpectralViT, che ha subito cali fino al 90% in certi compiti.
• Prestazioni in Distribuzione Interna: Sebbene SpectralViT abbia raggiunto le prestazioni più elevate in contesti di distribuzione interna (probabilmente dovuto alla sua specializzazione su canali fissi e dimensioni di patch più piccole), LESSViT è rimasto competitivo, classificandosi secondo nella maggior parte dei casi.
• Efficienza e Scalabilità: LESSViT ha dimostrato una latenza di inferenza quasi costante all'aumentare del numero di canali. Al contrario, le linee di base che utilizzano attenzione completa esplicita (come ChannelViT) hanno mostrato una latenza in rapida crescita e hanno fallito (Out-of-Memory) ad alti conteggi di canali (ad esempio, $C=200$).
• Studi di Ablazione: La rimozione di SSRoPE o l'uso della codifica posizionale SIREN standard ha degradato le prestazioni, in particolare nei compiti di segmentazione, confermando l'importanza della codifica consapevole della lunghezza d'onda. Il Campionamento Gerarchico dei Canali ha dimostrato di migliorare l'efficienza dell'addestramento (riduzione del 17% del tempo) con un impatto minimo sulle prestazioni a valle.

5. Significato e Affermazioni

Il paper afferma che la modellazione esplicita ed efficiente spaziale-spaziale è essenziale per un apprendimento di rappresentazioni iperspettrali scalabile e generalizzabile.

• Affrontare il Compromesso: LESSViT riconcilia con successo il compromesso tra efficienza ed espressività. Evita i divieti computazionali dell'attenzione spaziale-spaziale completa superando al contempo i limiti della modellazione spettrale implicita nei ViT standard.
• Flessibilità del Sensore: Disaccoppiando il costo computazionale dalla dimensionalità del canale e utilizzando una codifica della lunghezza d'onda fisica, LESSViT fornisce un percorso affinché i modelli generalizzino tra sensori diversi senza riaddestramento su ogni specifica configurazione.
• Limitazioni: Gli autori riconoscono modestamente che la generalizzazione a configurazioni spettrali completamente non viste o altamente sparse rimane una sfida. Inoltre, sebbene l'Attenzione LESS sia lineare in complessità, la riduzione delle dimensioni delle patch per migliorare la qualità della segmentazione introduce ancora un sostanziale numero di token, che può essere computazionalmente oneroso anche con il metodo proposto.

In conclusione, LESSViT offre una soluzione scalabile per la generalizzazione cross-spettro, dimostrando che la fattorizzazione strutturata a rango basso e il design agnostico al canale sono fondamentali per un'IA iperspettrale robusta.