Self-Supervised Super-Resolution for Sentinel-5P Hyperspectral Images

Probleemstelling

De Sentinel-5 Precursor (S5P) missie van de ESA is cruciaal voor het monitoren van de atmosfeer en het milieu, met name voor het detecteren van trace-gassen zoals NO2, CH4 en CO. De TROPOMI-sensor biedt echter een relatief lage ruimtelijke resolutie (3,5 x 5,5 km²), wat de analyse van lokale emissiebronnen, stedelijke luchtkwaliteit en kustlijnen beperkt.

Bestaande methoden voor super-resolutie (SR) op S5P-data vertrouwen op supervised learning (SL). Dit vereist paarsgewijze datasets van lage resolutie (LR) en hoge resolutie (HR). Omdat er geen echte HR-ground-truth data bestaat voor S5P, moeten deze methoden trainen op synthetische LR-data die gegenereerd zijn via een degradatiemodel. Dit beperkt de toepasbaarheid op echte observaties, omdat de modellen niet optimaal leren omgaan met de werkelijke ruis en degradatie van de sensor.

Methodologie

De auteurs stellen een zelftoezicht (self-supervised learning - SSL) framework voor dat trainen mogelijk maakt zonder HR-ground-truth. Het framework is specifiek ontworpen voor hyperspectrale S5P-data en combineert de volgende elementen:

1. Sensor-bewust Degradatiemodel:

   • Het degradatieproces wordt gemodelleerd als $y = A(x) + n$, waarbij $A$ de sensorrespons (asymmetrische Gaussische blur + downsampling) voorstelt en $n$ additieve meetruis is.
   • De ruisstatistieken ($\sigma$) worden afgeleid uit de metadata van de Sensor-to-Noise Ratio (SNR) van S5P, waardoor het model zich aanpast aan de werkelijke ruis per spectrale band.

2. Zelftoezicht Verliesfunctie (Loss Function):

   • In plaats van HR-data te vergelijken, gebruikt het framework een combinatie van twee termen:
     • SURE (Stein's Unbiased Risk Estimator): Biedt een onbevooroordeelde schatting van de fout in de meetruimte zonder HR-data. Het zorgt ervoor dat de gereconstrueerde afbeelding, wanneer gedegradeerd, overeenkomt met de waargenomen LR-afbeelding.
     • Equivariant Imaging (EI): Een regularisatieterm die de consistentie van de reconstructie garandeert onder ruimtelijke schaaltransformaties.
   • De totale loss is: $L_{SSL} = L_{SURE} + \lambda L_{EQ}$.

3. Netwerkarchitecturen:

   • Er zijn nieuwe Unet-achtige architecturen ontwikkeld die speciaal zijn aangepast voor S5P-data.
   • Deze gebruiken Depthwise Separable Convolutions (DSC) om de rekenkosten en het aantal parameters te verminderen terwijl de spectrale trouw (fidelity) behouden blijft.
   • Twee varianten zijn geëvalueerd: Unet-S5P-800k (lichter, 3 niveaus) en Unet-S5P-1M (dieper, 4 niveaus).
   • Er zijn ook bestaande DSC-recursive modellen (S5-DSCR) aangepast voor dit SSL-framework.

4. Trainingsstrategie:

   • Het model leert direct van de LR-observaties.
   • Er wordt gebruikgemaakt van een "pre-upsampling" strategie waarbij de input eerst wordt geïnterpoleerd en het model een residu voorspelt om de hoge frequentie details te herstellen.
   • Er wordt geen padding gebruikt om randartefacten te voorkomen.

Belangrijkste Bijdragen

• Eerste SSL-framework voor S5P: Het introduceren van een zelftoezichtsmethode die trainen mogelijk maakt zonder HR-ground-truth, wat essentieel is voor missies zoals S5P.
• Sensor-georiënteerde Loss: Integratie van de echte S5P degradatieoperator en ruisstatistieken (via SNR-metadata) in de loss-functie, wat leidt tot fysiek consistente reconstructies.
• Efficiënte Architecturen: Ontwikkeling van nieuwe Unet-varianten met DSC die specifiek zijn ontworpen voor de hoge spectrale dimensionaliteit van S5P, met een goede balans tussen efficiëntie en prestaties.
• Validatie zonder Ground-Truth: Demonstratie dat het framework realistische, niet-hallucinerende structuren kan genereren die de native resolutie van de sensor overstijgen.

Resultaten

De methoden zijn geëvalueerd in twee scenario's:

1. LR-HR (Synthetisch): Waarbij synthetische LR-data wordt gebruikt om de bekende HR-data te herstellen.

   • De SSL-modellen presteren vergelijkbaar met supervised learning (SL) modellen, met slechts een kleine daling in traditionele metrics (zoals PSNR), maar behouden een hoge meetconsistentie.
   • Ze overtreffen duidelijk de bicubische interpolatie.
   • De prestaties variëren per band en worden sterk beïnvloed door de signaalkwaliteit (SNR) en de ruimtelijke complexiteit, niet alleen door de ruis.

2. GT-SHR (Echte Observaties): Waarbij het model wordt toegepast op echte S5P-data om super-resolutie (SHR) afbeeldingen te genereren zonder HR-ground-truth.

   • Kwalitatieve analyse: De SHR-afbeeldingen tonen scherper randen en meer ruimtelijke details dan bicubische interpolatie.
   • Consistentie: De gereconstrueerde afbeeldingen zijn consistent met het degradatiemodel (als ze teruggeprojecteerd worden naar LR, komen ze overeen met de input).
   • Validatie met EMIT: Een kwalitatieve vergelijking met hyperspectrale data van de EMIT-sensor (hogere resolutie) bevestigt dat de herstelde structuren (bijvoorbeeld langs kustlijnen in Angola) fysiek betekenisvol zijn en geen hallucinaties van het model.

Betekenis en Conclusie

Dit onderzoek opent de deur voor praktische toepassingen van super-resolutie op S5P-data in real-world scenario's waar geen HR-ground-truth beschikbaar is. Door het gebruik van zelftoezicht en sensor-specifieke kennis, kunnen onderzoekers nu lokale emissiebronnen en complexe landschapsdetails (zoals kustlijnen) beter analyseren dan ooit tevoren met de native S5P-resolutie. Het framework biedt een robuuste oplossing die niet afhankelijk is van synthetische data die mogelijk niet de werkelijkheid weergeeft, en levert fysiek consistente, scherpere beelden op die direct inzetbaar zijn voor milieumonitoring.