Hyperspectral Image Fusion with Spectral-Band and Fusion-Scale Agnosticism

Sintesi Tecnica: Fusione di Immagini Iperspettrali con Agnosticismo rispetto alle Bande Spettrali e alla Scala di Fusione

Problematica
Gli attuali approcci di deep learning per la fusione di immagini Multispettrali e Iperspettrali (MS/HS) affrontano tre limitazioni fondamentali che ne ostacolano l'applicabilità e la trasferibilità nel mondo reale:

1. Rigidità Architetturale: La maggior parte dei modelli è progettata con dimensioni dei canali predefinite (hard-coded), richiedendo un addestramento separato per sensori con diversi numeri di bande spettrali (ad esempio, 31 contro 191 bande) o costosi processi di fine-tuning.
2. Scarsità di Dati e Scala del Modello: I dataset HSI sono tipicamente piccoli e isolati. Addestrare modelli su singoli dataset ridotti limita la capacità del modello e porta all'overfitting, mentre l'impossibilità di aggregare dati provenienti da sensori eterogenei impedisce l'apprendimento di caratteristiche generalizzabili.
3. Scalatura Spaziale Fissa: I modelli esistenti sono addestrati per fattori di upscaling interi specifici (ad esempio, 4×, 8×), apprendendo mappature discrete da griglia a griglia che non riescono a gestire fattori di scalatura arbitrari o non interi, necessari in molte applicazioni.

Metodologia: Il Framework SSA
Per affrontare queste sfide, gli autori propongono SSA, un framework universale progettato con agnosticismo rispetto alle bande spettrali e alla scala di fusione. L'architettura è una pipeline di fusione end-to-end basata su rappresentazioni continue, composta da due innovazioni primarie:

1. Kernel Matryoshka (MK) per l'Agnosticismo Spettrale:
   Ispirandosi all'apprendimento di rappresentazioni Matryoshka (MRL), gli autori introducono il Matryoshka Kernel Layer (MKL). Invece di definire rigidamente le dimensioni di input/output, il MKL utilizza una struttura di pesi "annidata" ($W_{nested}$) che supporta un numero massimo di canali ($C_{max}$). Durante il passaggio in avanti (forward pass), il modello ritaglia dinamicamente un kernel valido ($W_{valid}$) dai pesi annidati in base al numero specifico di canali di input ($C_{in}$) o al numero di canali di output desiderati ($C_{out}$). Ciò consente a un singolo modello di elaborare input spettrali eterogenei e ricostruire output con diverse conte di bande senza modifiche all'architettura.

2. Rappresentazione Neurale Implicita (INR) per l'Agnosticismo di Scala:
   Il framework sostituisce i livelli di upsampling discreti con un backbone di Rappresentazione Neurale Implicita (INR). Il processo di fusione modella l'HSI ad alta risoluzione (HR-HSI) come una funzione continua parametrizzata da un Percettore Multistrato (MLP).

• Codifica: L'HSI a bassa risoluzione (LR-HSI) e l'MSI ad alta risoluzione (HR-MSI) vengono codificati in codici spettrali e spaziali latenti.
• Query Continua: Per ogni coordinata target $p$ nello spazio ad alta risoluzione, il modello interroga i codici latenti. Campiona le caratteristiche spaziali locali e identifica il vicino spettrale più prossimo nello spazio latente a bassa risoluzione.
• Decodifica: Un decoder MLP condiviso predice il vettore del residuo spettrale per la coordinata di query basandosi sui codici latenti e sulle coordinate relative.
• Ricostruzione: L'HR-HSI finale si ottiene aggiungendo il residuo predetto all'immagine di base interpolata tramite bicubica. Questo approccio basato sulle coordinate consente la ricostruzione a qualsiasi risoluzione spaziale, inclusi fattori di scala non interi.

Strategia di Addestramento
Gli autori impiegano una Strategia di Addestramento Congiunto Cross-Sensor. Invece di addestrare modelli separati per ogni dataset, costruiscono mini-batch campionando da un pool di dataset eterogenei (ad esempio, CAVE, Pavia, Washington DC). All'interno di un singolo mini-batch, i campioni condividono le stesse dimensioni spaziali e conte di bande (garantendo l'omogeneità strutturale per l'elaborazione del batch), ma i parametri del modello sono ottimizzati attraverso dataset diversificati. Ciò costringe la rete a imparare una mappatura di fusione universale piuttosto che memorizzare caratteristiche specifiche del dataset.

Contributi Chiave

• Kernel Matryoshka (MK): Un nuovo principio architetturale che consente l'elaborazione nativa di conte di bande spettrali arbitrarie, facilitando l'addestramento congiunto su dataset eterogenei.
• Modellazione della Scala Continua: L'integrazione di INR per sostituire la scalatura discreta con una funzione continua, permettendo la ricostruzione a scale spaziali arbitrarie.
• Framework Unificato: Il modello SSA raggiunge prestazioni allo stato dell'arte (SOTA) pur generalizzando a sensori e scale non visti, riducendo significativamente la necessità di riaddestramento per singolo sensore.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su sette dataset iperspettrali pubblici (CAVE, Harvard, PaviaC, PaviaU, Chikusei, Botswana, Washington DC) che coprono diversi sensori e intervalli spettrali (da 31 a 191 bande).

• Prestazioni: Il singolo modello SSA ha raggiunto prestazioni SOTA in tutti i parametri in-distribution (PSNR, SAM, ERGAS, SSIM) sui dataset CAVE e PaviaC.
• Generalizzazione: Nelle valutazioni out-of-distribution (scale di 8×, 16×, 32×), SSA ha costantemente ottenuto i migliori risultati o i secondi migliori, superando i modelli specializzati addestrati singolarmente per ogni dataset.
• Scenari Inositi: Il modello ha dimostrato una robusta capacità di generalizzazione su dataset non visti (Houston, Loukia) con diverse configurazioni di bande e scale frazionarie inosite (ad esempio, 3.2×, 5.7×) senza riaddestramento, superando i baseline che si affidano al ridimensionamento bicubico o all'addestramento a scala fissa.
• Ablation: L'analisi ha confermato che il design del Matryoshka Kernel mitiga efficacementamente l'interferenza derivante dall'addestramento multi-dataset e che l'aumento della capacità del modello migliora la qualità della ricostruzione senza sacrificare l'efficienza pratica dell'inferenza sulle moderne GPU.

Significatività e Rivendicazioni
L'articolo sostiene che SSA affronti il "trilemma" della rigidità architetturale, della scarsità di dati e della scalatura spaziale fissa. Dimostrando che un singolo modello, addestrato congiuntamente, può eguagliare o superare le prestazioni di modelli specializzati e specifici per dataset, gli autori argomentano che il loro approccio apre la strada ai futuri modelli di fondazione per l'HSI. Il lavoro suggerisce che muoversi verso framework universali e agnostici sia una via percorribile per superare i limiti degli attuali metodi di deep learning specifici per sensore. Gli autori riconoscono il costo computazionale dell'INR come un potenziale limite, ma sottolineano la robustezza del loro modello come base per l'analisi iperspettrale general-purpose.