SuperF: Neural Implicit Fields for Multi-Image Super-Resolution

Riepilogo Tecnico: SuperF: Campi Neurali Impliciti per la Super-Risoluzione Multi-Immagine

1. Enunciato del Problema

Le immagini ad alta risoluzione sono frequentemente limitate da restrizioni dei sensori, interferenze atmosferiche e costi di acquisizione, influenzando ambiti che vanno dal telerilevamento satellitare alla fotografia smartphone. Sebbene i metodi di Super-Risoluzione su Singola Immagine (SISR) tentino di risolvere questo problema inverso utilizzando forti prior appresi da dataset ad alta risoluzione (HR), spesso producono strutture "allucinate" che divergono dalla realtà. Ciò è particolarmente problematico per applicazioni scientifiche e mediche dove la fedeltà è critica.

La Super-Risoluzione su Multiple Immagini (MISR) offre un'alternativa sfruttando multiple fotogrammi a bassa risoluzione (LR) acquisiti con spostamenti sub-pixel. Questi spostamenti introducono artefatti di aliasing variabili che, quando combinati, contengono informazioni complementari per ricostruire il segnale HR sottostante. Tuttavia, gli approcci MISR esistenti spesso si basano su apprendimento supervisionato che richiede grandi dataset accoppiati LR-HR (costosi da acquisire) o metodi di ottimizzazione al momento del test (TTO) che possono faticare con un allineamento sub-pixel accurato o richiedere passaggi di pre-elaborazione complessi come la registrazione esplicita.

2. Metodologia

Gli autori propongono SuperF, un approccio di ottimizzazione al momento del test (TTO) che utilizza Rappresentazioni Neurali Implicite (INR) per risolvere il problema MISR senza richiedere dati di addestramento HR.

Architettura Principale:

• INR Condivisa: Il metodo impiega un Perceptron Multistrato (MLP) basato su coordinate che funge da funzione continua mappante coordinate 2D in intensità RGB. Questo MLP è condiviso tra tutti i fotogrammi LR di input, rappresentando efficacemente il segnale HR continuo sottostante.
• Ottimizzazione Congiunta: A differenza di metodi precedenti che trattano allineamento e ricostruzione separatamente, SuperF ottimizza congiuntamente:
  1. I parametri dell'MLP condiviso (il segnale HR).
  2. L'allineamento sub-pixel di ciascun fotogramma LR rispetto a un fotogramma di base.
• Parametrizzazione della Trasformazione Affine: Invece di utilizzare una rete separata per stimare le matrici di trasformazione (come fatto in lavori simili di fusione di burst), SuperF parametrizza direttamente la trasformazione affine per ciascun fotogramma utilizzando parametri di traslazione ($\Delta x, \Delta y$) e rotazione ($\alpha$) apprendibili. Il fotogramma di base è fissato come sistema di coordinate di riferimento ($A^{(1)} = I$).
• Proiezione Spettrale: Per gestire variazioni di luminosità e contrasto tra i fotogrammi, il modello include un layer di proiezione spettrale specifico per il fotogramma (scala e spostamento per banda spettrale), ottimizzato insieme all'allineamento.

Componenti Tecnici Chiave:

• Strategia di Supercampionamento: Per superare il bias spettrale degli MLP basati su coordinate (che tendono ad apprendere prima le basse frequenze), il modello è ottimizzato su una griglia di coordinate ad alta risoluzione corrispondente alla risoluzione di output target. L'output viene quindi sottocampionato (mediante pooling medio/filtro boxcar) per corrispondere ai fotogrammi LR di input per il calcolo della perdita. Questo costringe la rete ad apprendere dettagli ad alta frequenza necessari per soddisfare i vincoli LR.
• Codifica Posizionale: Le coordinate di input dell'MLP sono trasformate utilizzando caratteristiche di Fourier (funzioni di base seno/coseno casuali) per permettere alla rete di rappresentare efficacemente segnali ad alta frequenza. La scala di queste caratteristiche è specifica del dominio (ad es., $\sigma=10$ per satellitare, $\sigma=3$ per livello del suolo).
• Stima dell'Incertezza: Per gestire il rumore (ad es., nuvole nelle immagini satellitari o rumore del sensore), l'MLP produce una stima di incertezza per pixel (log-varianza) insieme ai valori RGB. L'ottimizzazione minimizza la perdita di Verosimiglianza Log-Negativa Gaussiana (GNLL), permettendo al modello di aumentare le stime di varianza per i pixel rumorosi invece di forzare una ricostruzione perfetta, migliorando così la robustezza.

3. Contributi Chiave

1. Algoritmo SuperF: Un metodo TTO innovativo per MISR che condivide un INR su multiple fotogrammi LR spostati ottimizzando congiuntamente l'allineamento sub-pixel. Gli autori dimostrano che parametrizzare direttamente le trasformazioni affini e ottimizzare su una griglia supercampionata è cruciale per adattare gli INR alla MISR.
2. Miglioramento di Allineamento e Rappresentazione: Parametrizzando direttamente le trasformazioni e utilizzando il supercampionamento, il metodo raggiunge un allineamento sub-pixel superiore e una rappresentazione più continua del segnale HR rispetto alle baseline INR esistenti.
3. Dataset SatSynthBurst: L'introduzione di un dataset sintetico di burst satellitari derivato da immagini HR aperte, caratterizzato da spostamenti sub-pixel controllati e rumore, per facilitare la ricerca MISR.
4. Generalizzazione di Dominio: L'approccio è validato sia su immagini satellitari che su burst di fotocamere portatili a livello del suolo, dimostrando robustezza attraverso diversi domini senza richiedere pre-addestramento specifico per dominio.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset SatSynthBurst (satellitare sintetico) e SyntheticBurst (portatile a livello del suolo) con fattori di upsampling di $\times2$, $\times4$ e $\times8$.

• Prestazioni: SuperF supera le baseline TTO all'avanguardia, inclusa la regressione a kernel steerabile (Lafenetre et al., 2023) e un approccio modificato di fusione di burst INR (NIR, Nam et al., 2022).
  • Su SatSynthBurst, SuperF (perdita GNLL) ha raggiunto un PSNR di 37.26 ($\times2$), 34.03 ($\times4$) e 29.28 ($\times8$), superando significativamente la baseline bilineare e tutti gli altri metodi.
  • Su SyntheticBurst, SuperF ha costantemente superato le baseline, raggiungendo 29.48 ($\times2$), 27.47 ($\times4$) e 26.58 ($\times8$) di PSNR.
• Studi di Ablazione:
  • Rimuovere l'ottimizzazione congiunta dell'allineamento ha portato a cali di prestazioni comparabili o peggiori rispetto all'upsampling bilineare, confermando che l'allineamento sub-pixel è critico.
  • La parametrizzazione diretta delle trasformazioni affini si è rivelata più efficace rispetto all'uso di un MLP separato per stimarle.
  • La strategia di supercampionamento è stata dimostrata essenziale per ridurre l'errore di allineamento e migliorare la qualità della ricostruzione.
• Applicazione nel Mondo Reale: Il metodo è stato applicato con successo a immagini Sentinel-2 reali, gestendo diverse coperture nuvolose e livelli di rumore. La perdita GNLL ha dimostrato una specifica robustezza ai pixel nuvolosi, ignorandoli efficacemente durante l'ottimizzazione.

5. Significato e Affermazioni

Il paper posiziona SuperF come un avanzamento significativo nella MISR affrontando la dipendenza da grandi dataset di addestramento HR e il rischio di allucinazione intrinseco nei metodi SISR supervisionati.

• Senza Addestramento: Come metodo TTO, SuperF non richiede addestramento offline su dati HR, rendendolo immediatamente applicabile a nuovi domini (ad es., qualsiasi luogo sulla Terra) e riducendo il rischio di generare strutture inesistenti.
• Robustezza: L'integrazione della stima dell'incertezza permette al modello di gestire il rumore del mondo reale (nuvole, cambiamenti di illuminazione) più efficacemente rispetto agli approcci basati su MSE standard.
• Limitazioni: Gli autori riconoscono che il processo di ottimizzazione iterativa richiede diversi secondi per immagine, il che potrebbe limitare le applicazioni mobili in tempo reale ma è accettabile per il telerilevamento e l'analisi scientifica. Notano anche che il metodo assume che i fotogrammi osservati rappresentino la stessa scena; cambiamenti drastici della scena o occlusioni pesanti rimangono sfide, sebbene il modulo di incertezza offra una certa mitigazione.

In conclusione, SuperF sfrutta la natura continua dei campi neurali per unificare l'allineamento dei fotogrammi e la ricostruzione di super-risoluzione, offrendo una soluzione robusta ed efficiente dal punto di vista dei dati per migliorare la risoluzione in scenari multi-immagine.