Technische Samenvatting: Verdichting en Voorspelling van Sentinel-2 Tijdsreeksen uit Multimodale SAR- en Optische Data

Probleemstelling

Tijdsreeksen van optische satellietbeelden (SITS) zijn cruciaal voor aardobservatie-toepassingen zoals landbouw, klimaatmonitoring en analyse van het landoppervlak. Hun bruikbaarheid wordt echter ernstig beperkt door acquisitiegaten en onregelmatige bemonstering veroorzaakt door bewolking en strookranden. Hoewel bestaande deep learning-aanpakken succesvol bewolkingverwijdering en temporele verdichting (interpolatie) binnen het waargenomen tijdsvenster hebben aangepakt, staan ze voor twee primaire beperkingen:

1. Gebrek aan Voorspellend Vermogen: De meeste methoden zijn beperkt tot het reconstrueren van gaten binnen de temporele omvang van beschikbare data en kunnen geen toekomstige observaties voorspellen (extrapolatie).
2. Afwezigheid van Kwalificatie van Onzekerheid: Bestaande modellen bieden doorgaans puntsschattingen zonder expliciet de betrouwbaarheid of het vertrouwen van hun voorspellingen te kwantificeren, wat cruciaal is voor besluitvorming downstream.
3. Data-beperkingen: Veel methoden vertrouwen op temporeel uitgelijnde multimodale invoer of expliciete bewolkingmaskers, wat hun robuustheid beperkt in real-world, schaarse en onregelmatige scenario's.

Methodologie

De auteurs stellen een probabilistisch deep learning-kader voor dat is ontworpen om optische beelden te genereren op willekeurige verleden (interpolatie) of toekomstige (extrapolatie) data uit schaarse, onregelmatige en multimodale tijdsreeksen (Sentinel-2 Optisch en Sentinel-1 SAR). De aanpak wordt geformuleerd als een doel-geconditioneerd beeldgeneratie probleem.

Overzicht Architectuur

Het model bestaat uit drie primaire componenten:

1. Ruimtelijke Kenmerkextractie:

   • Afzonderlijke 2D convolutie-encoders verwerken Sentinel-2 (RGB-NIR) en Sentinel-1 (VV/VH) data onafhankelijk om modality-specifieke ruimtelijke patronen vast te leggen.
   • Een Spatial Pyramid Pooling (SPP) mechanisme wordt ingezet om multi-schaal contextuele informatie te aggregeren terwijl fijne ruimtelijke details behouden blijven en over-verzachting wordt voorkomen.
   • Invoersequenties worden herschikt om elke acquisitie onafhankelijk in de ruimtelijke dimensie te verwerken voordat temporele modellering plaatsvindt.

2. Temporele Encodering en Cross-Attention:

   • Temporele Encodering: Het model codeert tijd expliciet om onregelmatige bemonstering te hanteren.
     • De doeldatum ($d_{target}$) wordt gecodeerd met behulp van een continue representatie gebaseerd op de dag van het jaar (DOY) om seizoensinvloeden vast te leggen.
     • Invoer-acquisitiedata ($d_i$) worden gecodeerd ten opzichte van de doeldatum ($\Delta d = d_i - d_{target}$), waarbij zowel temporele afstand als richting (verleden/toekomst) worden vastgelegd.
   • Cross-Attention Mechanisme: De temporele encodering van de doeldatum dient als query, terwijl de spatio-temporele tokens van alle beschikbare Sentinel-1 en Sentinel-2 acquisities dienen als keys en values.
   • Dit mechanisme stelt het model in staat om selectief informatie te aggregeren uit de temporeel meest relevante observaties zonder expliciete bewolkingmaskers of temporeel uitgelijnde invoer te vereisen. Het model leert end-to-end om betrouwbare observaties te wegen en onbetrouwbare te negeren (bijvoorbeeld bewolkte pixels).

3. Probabilistische Decoder:

   • In plaats van een enkel deterministisch beeld te voorspellen, voorspelt de decoder de parameters van een pixel-voor-pixel Laplace-verdeling (gemiddelde $\mu$ en schaal $b$) voor elk spectraal band.
   • De Laplace-verdeling wordt gekozen vanwege zijn zwaardere staarten, die robuuster zijn tegen grote voorspellingsfouten en over-verzachting verminderen in vergelijking met Gaussische aannames.
   • Het model geeft zowel het gereconstrueerde optische beeld ($\mu$) als een onzekerheidskaart (afgeleid van de schaalparameter $b$) uit.
   • Training wordt uitgevoerd door de negatieve log-likelihood van de Laplace-verdeling te minimaliseren.

Belangrijkste Bijdragen

1. Gecombineerde Interpolatie en Extrapolatie: In tegenstelling tot eerdere werken die beperkt waren tot gatenvulling, genereert dit kader beelden op willekeurige doeldata, wat zowel reconstructie binnen het observatievenster als voorspelling daarbuiten ondersteunt.
2. Expliciete Modellering van Onzekerheid: De probabilistische formulering biedt pixel-voor-pixel onzekerheidsschattingen die goed gekalibreerd zijn, en biedt een maatstaf voor voorspellingsbetrouwbaarheid die toeneemt wanneer data schaars is of temporeel ver weg ligt.
3. Robuuste Multimodale Fusie: De aanpak exploiteert gezamenlijk Sentinel-1 SAR en Sentinel-2 optische data zonder te vertrouwen op externe bewolkingmaskers of strikte temporele uitlijning. Het cross-attention mechanisme benut adaptief SAR-data wanneer optische observaties ontbreken of vervuild zijn.
4. End-to-End Leren: Het model leert onregelmatige bemonstering en bewolkingsvervuiling impliciet te hanteren, waardoor de noodzaak voor voorverwerkingsstappen zoals bewolkingmaskering wordt verwijderd.

Experimentele Resultaten

De methode werd geëvalueerd op een dataset van Sentinel-1 en Sentinel-2 patches (96x96 pixels) die diverse landschappen omvatten, met een focus op landbouwgebieden.

Interpolatieprestaties

• Kwantitatieve Metrieken: Het voorgestelde model presteerde beter dan zowel een lineaire interpolatie-baseline als het U-TILISE-model (alleen optische sequence-to-sequence) voor alle landbedekkingssoorten (Stad, Bos, Akkerland) wat betreft MAE, RMSE en PSNR.
• Dynamische Gebieden: Het prestatieverschil was het grootst in akkerland gebieden, waar het model succesvol complexe, niet-lineaire seizoensdynamiek vastlegde die lineaire interpolatie en alleen-optische modellen niet nauwkeurig konden modelleren.
• Kwalitatieve Analyse: In scenario's met grote temporele gaten produceerde het model scherpere reconstructies dan baselines. Cruciaal vertoonden gebieden met hoge reconstructiemoeilijkheid (bijvoorbeeld grote gaten) een hogere voorspelde onzekerheid, wat een coherent onzekerheidsschatting aantoont.

Extrapolatieprestaties

• Het model slaagde erin om plausibele toekomstige observaties te genereren, waarbij radiometrische consistentie behouden bleef ondanks de inherente moeilijkheid van extrapolatie.
• Hoewel fouten hoger waren dan bij interpolatie, behield het model de belangrijkste vegetatiedynamiek (bijvoorbeeld NDVI-evolutie) over lange gaten (bijvoorbeeld 1 maand en 20 dagen).
• Onzekerheidskaarten markeerden correct gebieden met lager vertrouwen tijdens extrapolatie.

Ablatiestudies

• Multimodaal versus Alleen Optisch: De opname van Sentinel-1 SAR-data verbeterde de prestaties consequent (lagere MAE/RMSE, hogere PSNR) in vergelijking met een alleen-optische variant, wat de waarde bevestigt van de structurele informatie van SAR in bewolkte of schaarse omstandigheden.
• Temporele Encodering: Het gebruik van relatieve temporele encodering ($\Delta d$) presteerde aanzienlijk beter dan absolute datumencodering, wat suggereert dat het netwerk expliciet informeren over de temporele verschuiving naar de doeldatum cruciaal is voor de prestaties.
• Attention-analyse: Het visualiseren van attention-gewichten onthulde dat het model adaptief de focus verschuift: het vertrouwt sterk op temporeel dichtbijzijnde optische data wanneer deze beschikbaar is, maar verhoogt de attention aanzienlijk naar de dichtstbijzijnde SAR-acquisitie wanneer optische data ontbreekt of zwaar bewolkt is.

Betekenis en Beperkingen

Betekenis:
Het artikel stelt dat dit kader een stap voorwaarts is in het genereren van continue, betrouwbare optische tijdsreeksen door de dubbele uitdagingen van voorspelling en kwalificatie van onzekerheid aan te pakken. Het vermogen om goed gekalibreerde onzekerheidsschattingen te bieden, wordt benadrukt als een belangrijke bijdrage voor toepassingen die besluitondersteuning, scenario-analyse en risicobeoordeling vereisen. De adaptieve fusie van SAR en optische data zonder handmatig maskeren demonstreert een robuuste aanpak voor real-world data-onregelmatigheden.

Beperkingen:
De auteurs erkennen verschillende beperkingen:

• Extreme Reflectie: Het model neigt zeer hoge reflectiewaarden te onderschatten (bijvoorbeeld kunstmatige oppervlakken, heldere gewassen) door regulering vanuit de trainingsverdeling.
• Sneeuw en Bergen: Het model mist training in bergachtige of met sneeuw bedekte gebieden. Het verwart sneeuw vaak met wolken en probeert het onderliggende oppervlak (bijvoorbeeld bodem) te reconstrueren in plaats van het sneeuwsignaal te behouden, wat leidt tot fysisch onjuiste voorspellingen.
• Out-of-Distribution: Het model toont verminderde robuustheid in omstandigheden die niet in de trainingsset aanwezig waren (bijvoorbeeld sneeuw), hoewel de bijbehorende hoge onzekerheid dient als waarschuwingsindicator.

De auteurs concluderen dat, hoewel het kader effectief is voor algemeen landoppervlak-monitoring, toekomstig werk zich moet richten op het uitbreiden van trainingsdatasets om diverse omgevingsomstandigheden (sneeuw, bergen) op te nemen en potentieel aanvullende spectrale banden op te nemen om beter te kunnen discrimineren tussen sterk reflecterende oppervlakken.