Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique

Sintesi Tecnica: Super-Risoluzione Iperspettrale a Immagine Singola Non Supervisionata tramite Addestramento Completamente Sintetico

Definizione del Problema
Le immagini iperspettrali (HSI) forniscono ricche informazioni spettrali attraverso centinaia di lunghezze d'onda, rendendole preziose per applicazioni come il monitoraggio della vegetazione, l'analisi dell'uso del suolo e l'astrofisica. Tuttavia, a causa di vincoli ottici, i sensori iperspettrali possiedono tipicamente una risoluzione spaziale inferiore rispetto ai corrispettivi multispettrali. Il compito della Super-Risoluzione (SISR) di Immagini Singole Iperspettrali mira a migliorare la risoluzione spaziale preservando al contempo la fedeltà spettrale.

Gli attuali metodi SISR si basano prevalentemente sull'apprendimento supervisionato, che richiede coppie di dati di verità fondamentale (ground truth) a bassa risoluzione (LR) e alta risoluzione (HR). Un collo di bottiglia significativo esiste in questo dominio: le HSI ad alta risoluzione sono raramente disponibili nella pratica. Di conseguenza, gli approcci supervisionati sono limitati dalla mancanza di dataset adeguati. Sebbene alcuni metodi utilizzino il transfer learning o architetture convoluzionali specifiche (ad esempio, convoluzioni 3D), essi rimangono vincolati dall'indisponibilità di riferimenti HR nel mondo reale.

Metodologia
Gli autori propongono un nuovo approccio non supervisionato che elude la necessità di una vera ground truth HR addestrando una rete neurale interamente su dati sintetici. Il metodo integra l'unmixing iperspettrale con un modello di generazione di immagini stocastico. Il processo consiste in tre fasi principali:

1. Unmixing Iperspettrale:
   L'immagine HSI a bassa risoluzione in ingresso ($HSI_{LR}$) viene decomposta in due componenti utilizzando un modello di miscelazione lineare:

   • Endmembers ($S$): Firme spettrali di materiali puri, estratte utilizzando l'algoritmo Volume Minimum.
   • Mappe di Abbondanza ($A_{LR}$): Mappe spaziali che rappresentano la proporzione di ciascun materiale in ogni pixel, ottenute tramite stima dei minimi quadrati.
     L'assunzione è che $HSI_{LR} = \sum S \cdot A_{LR}$.

2. Generazione di Dati Sintetici (Modello Dead Leaves):
   Per generare coppie di addestramento, gli autori impiegano il modello "Dead Leaves", un processo stocastico introdotto originariamente da Matheron per modellare i mezzi porosi e successivamente adattato per immagini naturali.

   • Processo di Generazione: Mappe di abbondanza sintetiche vengono create sovrapponendo sequenzialmente forme rettangolari casuali ("foglie") in posizioni e orientamenti casuali. Questo processo imita le proprietà statistiche delle scene naturali, in particolare le statistiche non gaussiane.
   • Vincoli di Realismo: Per garantire che i dati sintetici riflettano la scena specifica, la geometria spaziale (forma, posizione, rotazione) delle foglie è mantenuta coerente in tutte le dimensioni dei materiali ($z$). I valori di intensità ($V$) per ogni foglia sono campionati casualmente dalle mappe di abbondanza reali ($A_{LR}$) della scena target.
   • Coppie di Addestramento: Mappe di abbondanza sintetiche ad alta risoluzione ($A_{DL,HR}$) vengono generate direttamente. Le corrispondenti mappe a bassa risoluzione ($A_{DL,LR}$) sono create applicando una funzione di diffusione puntuale (PSF) simulata — specificamente un blur gaussiano seguito da un downsampling bicubico — alle mappe HR.

3. Addestramento della Rete e Ricostruzione:

   • Architettura: Gli autori utilizzano MCNet (Mixed 3D/2D Convolutional Network), una rete CNN allo stato dell'arte progettata per la super-risoluzione HSI. Combina convoluzioni 2D per l'estrazione delle caratteristiche spaziali e convoluzioni 3D per l'elaborazione congiunta spazio-spettrale. La rete è adattata per accettare $N$ canali, corrispondenti al numero di materiali di unmixing.
   • Addestramento: La rete viene addestrata in modo supervisionato utilizzando le coppie sintetiche $(A_{DL,LR}, A_{DL,HR})$ con una funzione di perdita $L1$.
   • Inferenza: Durante la fase di super-risoluzione effettiva, la reale $A_{LR}$ viene fornita alla rete addestrata per predire le mappe di abbenza super-risolte ($A_{SR}$). L'HSI ad alta risoluzione finale viene ricostruita ricombinando le abbondanze predette con gli endmembers originali: $HSI_{SR} = \sum S \cdot A_{SR}$.

Contributi Chiave

• Framework Non Supervisionato: Il documento introduce una pipeline SISR completamente non supervisionata che elimina la dipendenza dai dati di ground truth ad alta risoluzione non disponibili.
• Strategia di Addestramento Sintetico: Dimostra l'efficacia dell'addestramento di modelli di deep learning su dati sintetici generati tramite il modello Dead Leaves, specificamente progettato per replicare le proprietà statistiche delle mappe di abbondanza iperspettrali.
• Integrazione dell'Unmixing: A differenza di precedenti approcci sintetici, questo metodo integra completamente il passaggio di unmixing iperspettrale nel flusso di lavoro della super-risoluzione, garantendo che la coerenza spettrale sia mantenuta durante tutto il processo.
• Miglioramento dell'Adattamento dell'Architettura: Il metodo adatta l'architettura MCNet per operare sulle componenti di unmixing anziché sui cubi spettrali grezzi, ottimizzando la rete per il compito specifico di miglioramento delle mappe di abbondanza.

Risultati Sperimentali
Il metodo è stato valutato sul dataset Urban (acquisito dal sensore HYDICE), composto da 307 $\times$ 307 pixel e 162 bande spettrali utilizzabili. È stato applicato un fattore di super-risoluzione di 4.

• Configurazione di Addestramento: Sono state generate 5.000 coppie di mappe di abbondanza sintetiche. La rete è stata addestrata per 200 epoche utilizzando l'ottimizzatore Adam.
• Confronti: Il metodo proposto (indicato come MCNet-DL) è stato confrontato con:
  • Interpolazione bicubica.
  • Metodi supervisionati allo stato dell'arte: MCNet, SSPSR e HSISR.
  • Nota: Per garantire un confronto equo, i metodi supervisionati sono stati addestrati su 16 patch del dataset Urban, utilizzando una strategia di cross-validazione leave-one-out, fornendo loro condizioni ottimali che sono spesso impraticabili negli scenari reali.
• Metriche di Prestazione: La valutazione ha utilizzato il Peak Signal-to-Noise Ratio (PSNR), lo Spectral Angle Mapper (SAM) e il Relative Global Dimensionless Synthesis Error (ERGAS).
• Risultati Quantitativi: MCNet-DL ha superato tutti i metodi concorrenti in tutte le metriche:
  • PSNR: 26,69 dB (rispetto a 25,56 dB di MCNet).
  • SAM: 14,53° (più basso è meglio; rispetto a 16,52° di MCNet).
  • ERGAS: 7,60 (più basso è meglio; rispetto a 8,72 di MCNet).
• Risultati Qualitativi: L'ispezione visiva delle patch ricostruite ha mostrato che il metodo proposto ha recuperato significativamente più dettagli spaziali rispetto all'interpolazione bicubica e agli altri metodi SOTA, con ricostruzioni che appaiono più precise rispetto alla standard MCNet applicata direttamente alle patch HSI.

Significatività e Rivendicazioni
Il documento sostiene che l'approccio proposto affronta efficacemente il limite critico della scarsità di dati nella super-risoluzione iperspettrale. Sfruttando il modello Dead Leaves per generare mappe di abbondanza sintetiche statisticamente rilevanti, gli autori dimostrano che una rete addestrata interamente su dati sintetici può superare i metodi supervisionati addestrati su dati reali, seppur partizionati artificialmente.

Gli autori pongono questo lavoro come un'evoluzione della loro ricerca precedente [26], sottolineando che la piena integrazione dell'unmixing iperspettrale risulta in un metodo di super-risoluzione completo, efficiente e veramente non supervisionato. I risultati suggeriscono che la generazione di dati sintetici sia una strategia vitale e potente per addestrare modelli di deep learning in applicazioni di telerilevamento dove la ground truth è inaccessibile.