SSL4EO-S12 v1.1: A Multimodal, Multiseasonal Dataset for Pretraining, Updated

Dit artikel introduceert SSL4EO-S12 v1.1, een multimodaal en multiseizoens dataset voor aardobservatie die is geüpdatet met verbeterde geospatiale uitlijning, een efficiëntere datastructuur en nieuwe modaliteiten om de pretraining van grote foundation-modellen te ondersteunen.

De kern

Stel je voor dat je een gigantische, wereldwijde fotobibliotheek bouwt, niet voor mensen die gewoon vakantiefoto's willen bekijken, maar voor kunstmatige intelligentie (AI) die de aarde wil leren begrijpen. Dat is precies wat dit paper doet met SSL4EO-S12 v1.1.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Een rommelige archiefruimte

De vorige versie van deze dataset (v1) was al heel goed. Het was een enorme verzameling van satellietfoto's van de 10.000 grootste steden ter wereld, genomen op verschillende momenten in het jaar (zoals lente, zomer, herfst en winter).

Maar er waren twee grote problemen, alsof je een puzzel probeert te leggen met stukjes die niet helemaal op elkaar aansluiten:

• De puzzelstukken pasten niet: De foto's van de ene satelliet (die radar gebruikt) zaten net een beetje verschoven ten opzichte van de foto's van de andere satelliet (die gewone lichtfoto's maakt).
• De opslag was onhandig: Het was lastig om de data snel te laden, alsof je boeken uit een bibliotheek moet halen die in chaotische dozen zitten in plaats van op nette planken.

2. De Oplossing: De "Super-Update" (v1.1)

De onderzoekers hebben deze bibliotheek volledig opgeknapt. Ze noemen de nieuwe versie SSL4EO-S12 v1.1.

• Perfecte Uitlijning: Ze hebben de foto's opnieuw "geplakt" zodat ze exact op elkaar aansluiten. Het is alsof je twee overlappende transparante folies hebt die nu perfect op elkaar liggen, zodat je zowel de radar- als de lichtbeelden tegelijk kunt zien zonder dat ze verschuiven.
• Klaar-voor-gebruik (ARD): Ze hebben de data zo opgeschoond dat AI-modellen er direct mee kunnen beginnen zonder eerst urenlang te hoeven poetsen. Het is alsof je in plaats van rauwe ingrediënten, een kant-en-klare maaltijd krijgt die je alleen nog maar hoeft op te warmen.
• Nieuwe Zintuigen: De oude versie had alleen foto's (optisch) en radar. De nieuwe versie heeft nu ook:
  • Hoogtekaartjes (DEM): Om te zien hoe hoog een berg of vallei is.
  • Groen-kaarten (NDVI): Om te zien hoe gezond planten zijn.
  • Landgebruik: Een kaartje dat aangeeft of iets een bos, een stad of een veld is.
  • Vergelijking: Het is alsof je een blindeman (de oude AI) ineens een bril, oordopjes en een GPS-apparaat geeft. Hij ziet nu niet alleen de vorm, maar ook de hoogte, de kleur en de functie van de wereld.

3. Hoe werkt het? (De "Web" en de "Doos")

De onderzoekers hebben een slimme manier gevonden om deze enorme hoeveelheid data (bijna 1 miljoen foto's!) op te slaan.

• Ze gebruiken een formaat genaamd Zarr en WebDataset.
• Vergelijking: Stel je voor dat je in plaats van duizenden losse foto's in duizenden enveloppen, alles in één grote, slimme koffer stopt. Deze koffer is zo ontworpen dat een computer er direct uit kan "streamen" (net als Netflix video's streamt) zonder alles eerst te hoeven downloaden. Dit maakt het veel sneller om AI-modellen te trainen.

4. Waarom is dit belangrijk?

Vroeger moesten AI-modellen de aarde leren kennen met één zintuig (bijvoorbeeld alleen zichtbaar licht). Nu kunnen ze leren met alle zintuigen tegelijk.

• Voorbeeld: Als je wilt weten of er een overstroming is, kijkt een oude AI alleen naar de foto. Een nieuwe AI met deze dataset kan ook kijken naar de radar (die door wolken en regen kijkt) en de hoogtekaart (om te zien waar het water naartoe stroomt).
• Resultaat: De AI wordt slimmer, sneller en kan betere voorspellingen doen over klimaatverandering, stadsplanning en natuurrampen.

Samenvattend

Dit paper is geen saaie technische handleiding, maar het verhaal van een gigantische upgrade voor de "oog" van de computer. Ze hebben de foto's scherper gemaakt, de puzzelstukken perfect op elkaar gelegd en de AI nieuwe zintuigen gegeven. Hierdoor kunnen wetenschappers en ontwikkelaars nu veel sneller en slimmer AI bouwen die de aarde beter begrijpt dan ooit tevoren.

De dataset is gratis beschikbaar (onder een vriendelijke licentie) voor iedereen die wil experimenteren met de toekomst van ruimtelijke data.

Technische samenvatting

Probleemstelling

De oorspronkelijke versie van het SSL4EO-S12-dataset, hoewel succesvol voor het trainen van Foundation Models (FM) in de aardobservatie (Earth Observation - EO), kampte met twee fundamentele beperkingen die de effectiviteit voor self-supervised learning (SSL) en multimodale pre-training belemmerden:

1. Ruimtelijke misalignering: Er bestonden onnauwkeurigheden in de uitlijning tussen Sentinel-1 (S-1, radar) en Sentinel-2 (S-2, optisch) patches. Dit kwam door projectieproblemen, vooral bij het herprojecteren van data naar een gemeenschappelijk coördinatenstelsel.
2. Gebrek aan "Analysis-Ready Data" (ARD): De data was niet optimaal opgezet voor directe pre-training. Er waren inefficiënte datastructuren, onnauwkeurige wolkmaskers (geleverd door de S-2-producten zelf) en beperkte beschikbaarheid van aanvullende modaliteiten (zoals hoogtemodelle of landgebruik) die essentieel zijn voor robuuste multimodale modellen.

Methodologie

De auteurs hebben SSL4EO-S12 v1.1 ontwikkeld door een grondige herverwerking van de data te implementeren, met de volgende technische stappen:

• Dataacquisitie en Projectie: Alle data is opgehaald via Google Earth Engine. In tegenstelling tot v1 (EPSG:4326), behoudt v1.1 de native UTM-zones om ruimtelijke vervorming te minimaliseren. Voor elke locatie wordt een referentie-timestamp geselecteerd en worden alle andere timestamps (zowel S-1 als S-2) hierop geprojecteerd en bijgesneden tot een vaste grootte van 264x264 pixels.
• Multimodale Uitlijning:
  • Sentinel-1 GRD-data wordt herprojecteerd om exact te matchen met de Sentinel-2 L2A-coördinaten.
  • Alle banden worden geupsampled naar 10m resolutie (dichtstbijzijnde interpolatie).
  • Nieuwe modaliteiten zijn toegevoegd en uitgelijnd: NDVI (vegetatie-index), Copernicus DEM (hoogtemodel, 30m, binaire resampling naar 10m), en Land Use/Land Cover (LULC) kaarten van ESRI.
• Datakwaliteit en Preprocessing:
  • NaN-filtering: Locaties met meer dan 1% ontbrekende waarden (NaN) worden verwijderd; resterende NaN's worden opgevuld via nearest-neighbor interpolatie.
  • Wolkmaskers: De standaard S-2 wolkmaskers worden vervangen door nauwkeurigere maskers gegenereerd door het SEnSeI v2-model.
  • RGB-visualisatie: Om verzadiging in heldere gebieden (wolken, sneeuw) en te donkere beelden te voorkomen, wordt een dynamische toewijzing toegepast. De 2e en 98e percentielen worden gebruikt om extreme pixelintensiteiten te comprimeren, gevolgd door een mapping naar 8-bit (0-255) met specifieke clamping-regels.
• Opslag en Datastructuur:
  • Data wordt opgeslagen in Zarr-bestanden (versie 2) binnen WebDataset tar-shards. Dit zorgt voor efficiënte streaming en ondersteunt lazy loading via Dask/xarray.
  • De data is opgedeeld in tijdreeksen van vier timestamps (seizoenen 2019-2021) met een cloudbedekking <10%.
  • Het dataset is gesplitst in training (99%) en validatie (1%) op basis van de TerraMesh-indeling om ruimtelijke datalekken te voorkomen.

Belangrijkste Bijdragen

1. Gealigneerde Multimodale Data: Het eerste grote dataset dat S-1, S-2, DEM, NDVI en LULC nauwkeurig ruimtelijk en temporeel uitgelijnd biedt voor 246.144 locaties wereldwijd (voornamelijk rond de 10.000 grootste steden).
2. Analysis-Ready Format (ARD): De data is direct bruikbaar voor pre-training zonder extra preprocessing door de gebruiker, inclusief correcte wolkmaskers en geoptimaliseerde RGB-weergave.
3. Efficiënte Data-Engineering: Implementatie van een moderne data-pipeline (Zarr + WebDataset) die de laadtijd en opslag-efficiëntie op HPC-clusters en platforms zoals Hugging Face aanzienlijk verbetert.
4. Open Access: Het dataset is vrijgegeven onder de CC-BY-4.0 licentie, wat open onderzoek en reproduceerbaarheid stimuleert.

Resultaten

• Dataset Statistieken: Het dataset bevat 246.144 unieke locaties met elk 4 timestamps, wat neerkomt op 984.576 samples.
• Benchmark Prestaties: Experimenten op het PANGAEA-benchmark tonen aan dat modellen getraind op v1.1 superieure prestaties leveren.
  • Het TerraMind-model (multimodaal, getraind op v1.1) presteert het beste op bijna alle taken (zoals SpaceNet7, AI4Farms, BurnScars) vergeleken met eerdere modellen zoals CROMA of MAE/DINO/MoCo die alleen op S-2 data waren getraind.
  • De toevoeging van semantische en topografische modaliteiten (DEM, LULC) verbetert de representatielering aanzienlijk.
• Visualisatie: Figuur 1 en 3 in het paper illustreren de hoge kwaliteit van de uitgelijnde patches, inclusief correcte weergave van S-1 (VV-VH-VV/VH pseudo-kleuring) en S-2 (IRRG en RGB).

Significantie

SSL4EO-S12 v1.1 vormt een cruciale mijlpaal in de ontwikkeling van aardobservatie Foundation Models. Door de problemen van ruimtelijke misalignering en data-inefficiëntie op te lossen, biedt het een robuuste basis voor:

• Multimodale Self-Supervised Learning: Het stelt onderzoekers in staat om complexe patronen te leren door zowel radar als optische data, gecombineerd met geografische context (hoogte, landgebruik), te gebruiken.
• Temporele Redenering: De multiseizoensstructuur maakt het mogelijk om modellen te trainen die veranderingen in de tijd kunnen detecteren (bijv. overstromingen, gewasgroei).
• Toepassingen: Het dataset ondersteunt diverse downstream-taken zoals landgebruiksklassificatie, overstromingsdetectie, objectdetectie voor stedelijke planning en verbrandingsgebieden.

Kortom, SSL4EO-S12 v1.1 is een "analysis-ready" resource die de drempel voor het trainen van geavanceerde, multimodale AI-modellen voor aardobservatie verlaagt en de standaard verhoogt voor toekomstige datasets in dit domein.