SuperF: Neural Implicit Fields for Multi-Image Super-Resolution

Technische Samenvatting: SuperF: Neuronale Impliciete Velden voor Meerdere-Beelden Super-Resolutie

1. Probleemstelling

Hoge-resolutie beelden worden vaak beperkt door sensorbeperkingen, atmosferische interferentie en acquisitiekosten, wat gevolgen heeft voor domeinen variërend van satellietremote sensing tot smartphonefotografie. Hoewel Single-Image Super-Resolution (SISR) methoden proberen dit inverse probleem op te lossen met sterke aannames die zijn geleerd uit hoge-resolutie (HR) datasets, produceren ze vaak "gehallucineerde" structuren die afwijken van de werkelijkheid. Dit is bijzonder problematisch voor wetenschappelijke en medische toepassingen waar fideliteit cruciaal is.

Multi-Image Super-Resolution (MISR) biedt een alternatief door gebruik te maken van meerdere lage-resolutie (LR) frames die zijn opgenomen met sub-pixel verschuivingen. Deze verschuivingen introduceren variërende aliasing-artefacten die, wanneer gecombineerd, complementaire informatie bevatten om het onderliggende HR-signaal te reconstrueren. Echter, bestaande MISR-benaderingen vertrouwen vaak op toezichtgeleerd leren waarbij grote gekoppelde LR-HR datasets nodig zijn (die duur zijn om te verwerven) of op test-tijd optimalisatie (TTO) methoden die moeite kunnen hebben met nauwkeurige sub-pixel uitlijning of complexe voorverwerkingsstappen vereisen zoals expliciete registratie.

2. Methodologie

De auteurs stellen SuperF voor, een test-tijd optimalisatie (TTO) aanpak die Impliciete Neuronale Representaties (INR's) gebruikt om het MISR-probleem op te lossen zonder enige HR-training data te vereisen.

Kernarchitectuur:

• Gedeelde INR: De methode maakt gebruik van een op coördinaten gebaseerde Multi-Layer Perceptron (MLP) die fungeert als een continue functie die 2D-coördinaten afbeeldt op RGB-intensiteiten. Deze MLP wordt gedeeld over alle invoer LR frames, en vertegenwoordigt zo effectief het onderliggende continue HR-signaal.
• Gecombineerde Optimalisatie: In tegenstelling tot eerdere methoden die uitlijning en reconstructie apart behandelen, optimaliseert SuperF gezamenlijk:
  1. De parameters van de gedeelde MLP (het HR-signaal).
  2. De sub-pixel uitlijning van elk LR frame ten opzichte van een basisframe.
• Parametrisatie van Affiene Transformaties: In plaats van een apart netwerk te gebruiken om transformatiematrices te schatten (zoals gedaan in vergelijkbare burst-fusiewerken), parametrisert SuperF de affiene transformatie voor elk frame direct met leerbare translatie ($\Delta x, \Delta y$) en rotatie ($\alpha$) parameters. Het basisframe is vastgesteld als het referentiestelsel ($A^{(1)} = I$).
• Spectrale Projectie: Om variaties in helderheid en contrast tussen frames te hanteren, bevat het model een frame-specifieke spectrale projectielaag (schaal en verschuiving per spectrale band), die samen met de uitlijning wordt geoptimaliseerd.

Belangrijke Technische Componenten:

• Supersampling Strategie: Om de spectrale bias van op coördinaten gebaseerde MLP's te overwinnen (die de neiging hebben om eerst lage frequenties te leren), wordt het model geoptimaliseerd op een hoge-resolutie coördinatenrooster dat overeenkomt met de doeluitvoerresolutie. De uitvoer wordt vervolgens gedownsampt (via gemiddelde pooling/boxcar-filter) om te matchen met de LR-invoerframes voor de verliesberekening. Dit dwingt het netwerk om hoge-frequentie details te leren die nodig zijn om aan de LR-beperkingen te voldoen.
• Positie-encoding: De invoercoördinaten van de MLP worden getransformeerd met Fourier-features (willekeurige sinus/cosinus-basisfuncties) om het netwerk in staat te stellen hoge-frequentie signalen effectief weer te geven. De schaal van deze features is domeinspecifiek (bijv. $\sigma=10$ voor satelliet, $\sigma=3$ voor grondniveau).
• Onzekerheidsschatting: Om ruis te hanteren (bijv. wolken in satellietbeelden of sensorruis), geeft de MLP een per-pixel onzekerheidsschatting (log-variatie) naast de RGB-waarden. De optimalisatie minimaliseert de Gaussische Negatieve Log-Likelihood (GNLL) loss, waardoor het model de variatieschattingen voor ruizige pixels kan verhogen in plaats van een perfecte reconstructie af te dwingen, wat aldus de robuustheid verbetert.

3. Belangrijkste Bijdragen

1. SuperF Algorithmus: Een nieuwe TTO-methode voor MISR die een INR deelt over meerdere verschoven LR frames terwijl sub-pixel uitlijning gezamenlijk wordt geoptimaliseerd. De auteurs tonen aan dat het direct parametriseren van affiene transformaties en optimaliseren op een supersampled rooster cruciaal is voor het aanpassen van INR's aan MISR.
2. Verbeterde Uitlijning en Representatie: Door transformaties direct te parametriseren en supersampling te gebruiken, bereikt de methode superieure sub-pixel uitlijning en een meer continue representatie van het HR-signaal in vergelijking met bestaande INR-baselines.
3. SatSynthBurst Dataset: De introductie van een synthetische satellietburst-dataset afgeleid van open HR-afbeeldingen, met gecontroleerde sub-pixel verschuivingen en ruis, om MISR-onderzoek te faciliteren.
4. Domein-Generalisatie: De aanpak is gevalideerd op zowel satellietbeelden als handheld-camera bursts op grondniveau, wat robuustheid over verschillende domeinen aantoont zonder domeinspecifieke voortraining te vereisen.

4. Experimentele Resultaten

De methode werd geëvalueerd op SatSynthBurst (synthetische satelliet) en SyntheticBurst (grondniveau handheld) datasets met upsamplingfactoren van $\times2$, $\times4$ en $\times8$.

• Prestaties: SuperF presteert beter dan state-of-the-art TTO-baselines, waaronder steerable kernel-regressie (Lafenetre et al., 2023) en een aangepaste INR burst-fusie-aanpak (NIR, Nam et al., 2022).
  • Op SatSynthBurst behaalde SuperF (GNLL loss) een PSNR van 37.26 ($\times2$), 34.03 ($\times4$) en 29.28 ($\times8$), wat significant beter is dan de bilineaire baseline en alle andere methoden.
  • Op SyntheticBurst presteerde SuperF ook consequent beter dan baselines, met 29.48 ($\times2$), 27.47 ($\times4$) en 26.58 ($\times8$) PSNR.
• Ablatiestudies:
  • Het verwijderen van de gecombineerde uitlijningsoptimalisatie resulteerde in prestatiedalingen die vergelijkbaar waren met of slechter waren dan bilineaire upsampling, wat bevestigt dat sub-pixel uitlijning cruciaal is.
  • Directe parametrisatie van affiene transformaties bleek effectiever dan het gebruik van een aparte MLP om deze te schatten.
  • De supersampling-strategie bleek essentieel voor het verminderen van uitlijningsfouten en het verbeteren van de reconstructiekwaliteit.
• Toepassing in de Wereld: De methode werd succesvol toegepast op echte Sentinel-2-satellietbeelden, waarbij variërende bewolking en ruisniveaus werden gehanteerd. De GNLL-loss toonde specifieke robuustheid voor bewolkte pixels, die effectief werden genegeerd tijdens de optimalisatie.

5. Betekenis en Claims

Het artikel positioneert SuperF als een significante vooruitgang in MISR door de afhankelijkheid van grote HR-training datasets en het risico op hallucinatie inherent aan toezichtgeleerde SISR-methoden aan te pakken.

• Trainingsvrij: Als TTO-methode vereist SuperF geen offline training op HR-data, waardoor het direct toepasbaar is op nieuwe domeinen (bijv. elke locatie op aarde) en het risico op het genereren van niet-bestaande structuren wordt verminderd.
• Robuustheid: De integratie van onzekerheidsschatting stelt het model in staat om real-world ruis (wolken, lichtveranderingen) effectiever te hanteren dan standaard op MSE gebaseerde benaderingen.
• Beperkingen: De auteurs erkennen dat het iteratieve optimalisatieproces enkele seconden per beeld in beslag neemt, wat real-time mobiele toepassingen kan beperken maar acceptabel is voor remote sensing en wetenschappelijke analyse. Zij merken ook op dat de methode ervan uitgaat dat de waargenomen frames dezelfde scène weergeven; drastische scèneveranderingen of zware obstructies blijven uitdagend, hoewel de onzekerheidsmodule enige mitigatie biedt.

Concluderend maakt SuperF gebruik van het continue karakter van neuronale velden om frame-uitlijning en super-resolutie reconstructie te verenigen, en biedt een robuuste, data-efficiënte oplossing voor het verhogen van de resolutie in scenario's met meerdere beelden.