Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

Riepilogo Tecnico: Trasferimento di Modelli RGB ad Immagini Iperspettrali con Decomposizioni Tensoriali Addestrabili

Enunciato del Problema
L'imaging iperspettrale (HSI) acquisisce dati attraverso centinaia di lunghezze d'onda spettrali, offrendo informazioni ricche per compiti nel telerilevamento, nella diagnostica medica e in orticoltura. Tuttavia, l'addestramento di modelli di deep learning su HSI è ostacolato dalla scarsità di grandi e diversificati set di dati rispetto alle immagini RGB. Di conseguenza, il trasferimento di apprendimento da modelli backbone RGB pre-addestrati (ad esempio, addestrati su ImageNet) è una strategia desiderabile. Eppure, esiste un'incompatibilità fondamentale: i modelli backbone standard si aspettano input RGB a 3 canali, mentre le immagini iperspettrali hanno dimensioni di canale significativamente più elevate ($\hat{C}_{in} > 3$).

Le soluzioni esistenti a questo disallineamento dimensionale soffrono di compromessi significativi:

1. Adattamento lato immagine: La riduzione delle immagini iperspettrali a 3 canali tramite riduzione della dimensionalità (ad esempio, PCA) o selezione dei canali preserva l'architettura del modello ma scarta informazioni spettrali cruciali.
2. Adattamento lato modello: Sostituire il primo strato convoluzionale con uno avente $\hat{C}_{in}$ canali di ingresso preserva i dati dell'immagine ma richiede l'addestramento di nuovi pesi da zero. Questo sacrifica i pattern spaziali pre-appresi dei filtri originali, aumenta il numero di parametri addestrabili e accresce il rischio di overfitting su piccoli set di dati HSI.

Metodologia
Gli autori propongono un approccio innovativo che colma questo divario sfruttando decomposizioni tensoriali parzialmente addestrabili. L'idea centrale è che i filtri convoluzionali nei modelli backbone possano essere decomposti in componenti spaziali e spettrali. Separandoli, il metodo può mantenere i pattern spaziali appresi da grandi set di dati RGB adattando al contempo le componenti spettrali al dominio iperspettrale specifico.

Il processo prevede i seguenti passaggi:

1. Decomposizione: I pesi del primo strato convoluzionale ($W^1$) di un backbone pre-addestrato vengono decomposti utilizzando decomposizioni tensoriali CP (Canonic Polyadic) o Tucker.
   • Decomposizione CP: Approssima il filtro come una somma di tensori di rango uno, separando il filtro in un vettore spettrale e due vettori spaziali (orizzontale e verticale).
   • Decomposizione Tucker: Proietta il tensore in un tensore core a dimensionalità inferiore tramite moltiplicazioni di matrici. Gli autori applicano una decomposizione Tucker parziale, comprimendo solo la dimensione spettrale mentre preservano la struttura spaziale.
2. Sostituzione delle Componenti: Le componenti spettrali originali a 3 canali vengono scartate. Vengono sostituite con nuove componenti spettrali addestrabili di dimensione $\hat{C}_{in}$ (corrispondenti all'input iperspettrale).
3. Congelamento e Addestramento: Le componenti spaziali (derivate dai filtri pre-addestrati originali) vengono congelate. Vengono addestrate solo le nuove componenti spettrali e il livello finale di classificazione.
4. Implementazione: Gli strati decomposti sono implementati utilizzando convoluzioni separabili raggruppate. Per la CP, ciò comporta una convoluzione pointwise seguita da due convoluzioni depthwise; per la Tucker, una convoluzione pointwise seguita da una convoluzione 2D standard.

Contributi Chiave

• Meccanismo di Trasferimento Innovativo: Il documento introduce un metodo per adattare backbone RGB a 3 canali a input iperspettrali senza sacrificare le informazioni spaziali pre-addestrate o scartare i dati spettrali.
• Efficienza Parametrica: Congelando le componenti spaziali, il metodo riduce drasticamente il numero di parametri addestrabili rispetto al riaddestramento del primo strato da zero, mitigando così i rischi di overfitting in scenari con scarsità di dati.
• Preservazione dei Priors Spaziali: L'approccio mantiene le "forme ellittiche colorate" e i comportamenti di rilevamento dei bordi caratteristici dei filtri dei backbone pre-addestrati, che sono cruciali per compiti di visione robusti.

Risultati Sperimentali
Gli autori hanno valutato il loro metodo su cinque set di dati: tre set di dati di telerilevamento (Botswana, Indian Pines, Kennedy Space Center) e due set di dati orticoli (Avocado, Foglie di vite). Hanno confrontato i loro approcci CP e Tucker rispetto a due baseline:

• Riduzione: Riduzione della dimensionalità a 3 canali.
• Da zero: Sostituzione del primo strato con un nuovo strato addestrato da zero.

Risultati:

• Accuratezza: I metodi CP e Tucker proposti hanno costantemente superato la baseline "Riduzione". Sono stati generalmente più accurati della baseline "Da zero", in particolare su set di dati complessi come 'Foglie di vite' dove "Da zero" ha performato male.
• Robustezza: Negli esperimenti di overfitting (variando i tassi di apprendimento e addestrando per epoche estese), il metodo "Da zero" ha mostrato overfitting significativamente più rapido rispetto agli approcci decomposti. I metodi decomposti hanno dimostrato maggiore stabilità.
• Indipendenza dal Backbone: I risultati sono stati validi attraverso diverse architetture backbone (AlexNet, DenseNet, ResNet18).
• Sensibilità al Rango: Sebbene un rango di decomposizione $R=2$ abbia generalmente fornito il miglior equilibrio, aumentare il rango a $R=3$ non ha prodotto costantemente ulteriori miglioramenti, suggerendo la necessità di un'ottimizzazione degli iperparametri.

Significato e Affermazioni
Il documento afferma che questo approccio risolve con successo il disallineamento dimensionale tra immagini iperspettrali e backbone RGB, preservando sia le informazioni spettrali dell'immagine sia i priors spaziali del modello. Gli autori affermano che il loro metodo è più accurato e più robusto contro l'overfitting rispetto agli approcci esistenti di trasferimento di apprendimento per immagini iperspettrali che comprimono l'immagine o riaddestrano il modello da zero.

Il lavoro si posiziona come un passo verso la creazione di backbone universali per l'imaging iperspettrale. Tuttavia, gli autori mantengono una modestia riguardo alle limitazioni, notando che gli strati decomposti in tensori possono essere sensibili all'inizializzazione e alle strategie di ottimizzazione. Suggeriscono che il lavoro futuro potrebbe concentrarsi su strategie di ottimizzazione specifiche per questi strati ed esplorare metodi che potrebbero eventualmente consentire il trasferimento di apprendimento senza retropropagare attraverso l'intera rete.