Technische Samenvatting: Mind the Gap: Het kwantificeren van de domeingap in cross-sensor diffusie super-resolutie

Probleemstelling

Toepassingen in de remote sensing, zoals het monitoren van bosbranden en hulpbronnenbeheer, worden geconfronteerd met een kritiek ruimtelijk resolutiedilemma. Vrij beschikbare missies zoals Sentinel-2 bieden een hoge temporele frequentie maar een matige resolutie (10 m/pixel), terwijl commerciële systemen zoals PlanetScope een hogere resolutie (3 m/pixel) bieden tegen een kostprijs. Super-Resolutie (SR) beoogt deze kloof te overbruggen door hoog-resolutie (HR) beelden te reconstrueren uit laag-resolutie (LR) observaties.

Echter, een fundamentele uitdaging blijft bestaan: de afwezigheid van echte gepaarde LR–HR observaties van verschillende sensoren. Bijgevolg worden de meeste SR-modellen getraind op synthetisch gedegradeerde data (bijv. bicubische downsampling van HR-beelden). Dit creëert een aanzienlijke domeingap wanneer deze modellen worden toegepast op werkelijke cross-sensor beelden. De synthetische trainingsdata slaagt er niet in de complexe spectrale, radiometrische en geometrische eigenschappen van echte sensoren te vangen, wat leidt tot instabiele prestaties en potentiële degradatie van de beeldkwaliteit bij implementatie op werkelijke satellietdata. Hoewel diffusie-gebaseerde modellen state-of-the-art resultaten hebben bereikt in natuurlijke beeld-SR, blijft hun generalisatievermogen in deze specifieke cross-sensor remote sensing context grotendeels ongekwantificeerd.

Methodologie

Constructie van de dataset

De auteurs hebben een grootschalige, geometrisch en temporeel uitgelijnde dataset geconstrueerd bestaande uit 175 regio's in de VS, waarbij Sentinel-2 (10 m) en PlanetScope beelden aan elkaar zijn gekoppeld.

• Uitlijning: Paren werden verkregen via PlanetHub met sub-pixel geometrische uitlijning.
• Temporele nabijheid: Paren werden gefilterd om scène-evolutie te minimaliseren, waarbij de meerderheid binnen een venster van ±15 dagen viel.
• Spectrale uitlijning: Om fysieke validiteit te waarborgen, werden zes overlappende spectrale banden (Coastal Blue, Blue, Green, Red, Red Edge, NIR) van beide sensoren geselecteerd, om het "hallucineren" van spectrale informatie te voorkomen.
• Experimentele configuraties: De studie maakte gebruik van drie verschillende opstellingen:
  1. Geval I (Synthetische Baseline): Training en testen op synthetisch gedegradeerde PlanetScope data (PlanetLR → PlanetHR).
  2. Geval II (Kwantificering van de Domeingap): Training op synthetische PlanetScope data, maar testen op werkelijke Sentinel-2 data (SentinelLR → PlanetHR).
  3. Geval III (Directe Mapping): Direct trainen en testen op werkelijke Sentinel-2 naar PlanetScope paren (SentinelLR → PlanetHR).

Benchmarked Modellen

Vijf state-of-the-art diffusie-gebaseerde SR-architecturen werden onder identieke omstandigheden geëvalueerd met behulp van een uniforme U-Net backbone (30M parameters) om de effecten van de diffusieformulering te isoleren:

1. DDPM: Standaard denoising diffusion probabilistic model.
2. Flow Matching (FM): Een deterministisch generatief paradigma dat een vectorveld leert.
3. Image-to-Image Schrödinger Bridge (I2SB): Frame-translatie als een stochastische brug tussen distributies.
4. ResShift: Herparametriseert de Markov-keten om residuen te verschuiven tussen HR en LR beelden.
5. UniDB: Generaliseert diffusiebruggen middels Stochastic Optimal Control.

Evaluatiemetrieken

De studie maakte gebruik van standaard metrieken (PSNR, SSIM, LPIPS) en introduceerde een nieuwe metriek:

• LPIPSSat: Een domein-adaptieve perceptuele metriek gebaseerd op een ResNet-50 backbone die zelf-gesuperviseerd is getraind op Sentinel-2 RGB-data. In tegenstelling tot standaard LPIPS (getraind op ImageNet), is LPIPSSat afgestemd op de spectrale en texturele kenmerken van aardobservatiebeelden.

Downstream Taak

Om het praktische nut te beoordelen, werden de SR-verbeterde beelden geëvalueerd op een burned-area change delineation taak met behulp van een U-Net getraind op de CaBuAr dataset. Dit testte of SR-modellen relevante informatie voor de taak behouden of artefacten introduceren die segmentatie hinderen.

Belangrijkste Resultaten

Kwantitatieve Prestaties

• Synthetisch Succes, Realistische Mislukking (Geval I vs. Geval II): Modellen getraind op synthetische data (Geval I) behaalden hoge scores (PSsNR > 45 dB). Echter, bij toepassing op werkelijke cross-sensor data (Geval II), stortte de prestatie catastrofaal in. De PSNR daalde naar ~16.7 dB, en de perceptuele scores gaven aan dat modellen de input actief degradeerden door synthetische priors (bijv. bicubische-achtige scherpte) op te leggen die niet overeenkwamen met de fysieke realiteit van Sentinel-2 data.
• Beperkte Adaptatie (Geval III): Direct trainen op werkelijke cross-sensor data (Geval III) maakte een gedeeltelijk herstel van de prestaties mogelijk. Perceptuele metrieken verbeterden aanzienlijk ten opzichte van Geval II, maar de resultaten bleven ver onder de synthetische baseline (Geval I). De hoge variantie in de werkelijke data (door verlichting en sensordifferenties) belemmerde consistente optimalisatie over architecturen heen.
• Metriek Sensitiviteit: LPIPSSat bleek gevoeliger voor spectrale en structurele discrepanties dan standaard LPIPS, en reflecteerde de fouten in real-world scenario's beter.

Impact op Downstream Taken

• Synthetische Modellen (Geval II): Wanneer gebruikt als een preprocessing stap voor de burned-area taak, boden synthetisch getrainde modellen bescheiden maar consistente verbeteringen ten opzichte van de baseline, waarschijnlijk omdat ze visuele kenmerken verbeterden zonder complexe domeinspecifieke artefacten te introduceren.
• Real-World Modellen (Geval III): Modellen getraind op werkelijke data introduceerden "destructieve artefacten" en hallucinaties die de downstream segmentatieprestaties verslechterden. Het dubbele doel om zowel super-resolutie als domeinadaptatie simultaan te leren, bleek onstabiel, wat leidde tot outputs die minder bruikbaar waren voor de specieve taak dan de originele laag-resolutie inputs.

Belangrijkste Bijdragen

1. Systematische Kwantificering: De eerste systematische studie die de synthetische-naar-reële generalisatiegap in diffusie-gebaseerde SR voor remote sensing kwantificeert, waarmee wordt aangetoond dat synthetische training de modellen niet voorbereidt op echte cross-sensor uitdagingen.
2. LPIPSSat Metriek: Introductie van een nieuwe, domein-adaptieve perceptuele metriek gebaseerd op Sentinel-2 zelf-gesuperviseerde features, die een getrouwere evaluatie van aardobservatiebeelden biedt dan generieke metrieken.
3. Grootschalige Dataset: Constructie van een rigoureus uitgelijnde, grootschalige gepaarde dataset van Sentinel-2 en PlanetScope beelden, wat een strikte cross-sensor SR-evaluatie mogelijk maakt.

Betekenis en Claims

Het artikel betoogt dat de huidige afhankelijkheid van synthetische training voor satelliet SR een "sleutelbeperking" is van het vakgebied. Hoewel synthetische training een stabiele baseline biedt, faalt het volledig bij transfer naar echte cross-sensor scenario's. Daartegenover staat dat trainen direct op werkelijke data optimalisatieproblemen en verstrengelde doelstellingen (SR + domeinadaptatie) introduceert die resulteren in onstabiele, door artefacten getekende outputs.

De auteurs concluderen dat het vakgebied voor een dilemma staat: synthetische training is stabiel maar beperkt in nut, terwijl training met werkelijke data noodzakelijk is voor adaptatie maar momenteel te onstabiel is voor praktische inzet. Zij stellen dat toekomstig onderzoek zich moet richten op het ontkoppelen van super-resolutie van domeinadaptatie, waarbij zij suggereren dat huidige architecturen niet volledig kunnen adapteren aan de fysieke en radiometrische diversiteit van echte sensoren zonder nieuwe methodologische benaderingen. Het werk dient als een fundament voor het ontwikkelen van robuuste cross-sensor generalisatiemethoden in plaats van enkel het verbeteren van modelarchitecturen.