Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications

Dit artikel introduceert Prithvi-EO-2.0, een geavanceerd open-source fundamenteel model voor aardobservatie dat is getraind op 4,2 miljoen tijdreeksstalen en aanzienlijk beter presteert dan eerdere modellen bij diverse ruimtelijke taken, van landdekkingsmapping tot ecosysteemmonitoring.

De kern

🌍 Prithvi-EO-2.0: De Super-Intelligente Satellietlezer

Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van boeken, zitten er miljarden foto's van de aarde in. Deze foto's zijn gemaakt door satellieten die de hele planeet al jarenlang fotograferen. Het probleem? Niemand heeft de tijd om al die foto's één voor één te bekijken en te begrijpen wat erop te zien is.

Prithvi-EO-2.0 is een nieuwe, slimme computer (een "AI-model") die is opgeleid om deze bibliotheek te doorzoeken en te begrijpen. Het is de opvolger van een eerder model (Prithvi-EO-1.0), maar dit nieuwe exemplaar is veel slimmer, sneller en ziet de wereld in 4D (ruimte én tijd).

Hier is hoe het werkt, in drie simpele stappen:

1. De Training: Van "Kijkje" naar "Verhaal"

Vroeger keken veel AI's alleen naar één foto op één moment. Dat is alsof je een film kijkt, maar alleen één frame per uur. Je mist dan de beweging!

• Het oude probleem: De vorige versie van Prithvi keek vooral naar foto's van alleen de VS en keek niet goed naar veranderingen in de tijd.
• De nieuwe truc: Prithvi-EO-2.0 is getraind op 4,2 miljoen tijdreeksen van over de hele wereld. Het kijkt niet naar één foto, maar naar een reeks van vier foto's van dezelfde plek, met maanden ertussen.
• De analogie: Stel je voor dat je een boom wilt leren kennen.
  • Een oude AI ziet alleen een foto van een boom in de zomer.
  • Prithvi-EO-2.0 ziet de boom in de winter (kaal), de lente (knoppen), de zomer (groen) en de herfst (geel). Het begrijpt nu het verhaal van de boom, niet alleen het plaatje.

Daarnaast heeft het model een soort "GPS en kalender" in zijn hoofd. Het weet precies waar (locatie) en wanneer (datum) de foto is gemaakt. Dit helpt het om patronen te herkennen, zoals "in deze regio groeit het graan altijd in juni".

2. De Superkracht: Alles Snappen met Weinig Hulp

Een van de grootste problemen bij het bestuderen van de aarde is dat er vaak te weinig "geleerde" voorbeelden zijn. Mensen moeten vaak handmatig foto's labelen (bijv. "dit is een overstroming", "dit is een bos"). Dat is duur en tijdrovend.

• De Analogie: Stel je voor dat je een kind wilt leren wat een hond is.
  • De oude manier: Je moet het kind duizenden foto's van honden laten zien en elke keer zeggen: "Dit is een hond."
  • De Prithvi-methode: Je laat het kind eerst miljarden foto's van de hele wereld zien (zonder uitleg). Het leert zelf de patronen van wolken, water, bossen en steden. Als je het daarna één foto van een hond laat zien, zegt het kind direct: "Ah, dat is een hond!"
• Het resultaat: Prithvi-EO-2.0 heeft veel minder "handmatige uitleg" nodig om nieuwe taken te leren. Het is als een student die al een enorme basis heeft en nu slechts een korte instructie nodig heeft om een examen te halen.

3. Wat kan het allemaal? (De Praktijk)

De makers hebben het model getest in drie belangrijke gebieden, vaak samen met echte experts (zoals brandweermannen en landbouwers):

• 🚨 Rampenbestrijding (Overstromingen & Branden):
  • Voorbeeld: Als er een bosbrand is, kan Prithvi snel zien welke gebieden verbrand zijn en hoe ernstig de schade is. Het kan zelfs zien of er nog rook hangt.
  • Vergelijking: Het is als een brandweerman die met een superbril door de rook kijkt en direct ziet waar de vlammen het hevigst zijn, zelfs als de camera's het moeilijk hebben.
• 🌾 Landbouw & Bodemgebruik:
  • Voorbeeld: Het kan precies zeggen welk gewas er op een veld staat (maïs, tarwe, soja) en hoe de gezondheid van het gewas is, zonder dat een boer het veld in hoeft te lopen.
  • Vergelijking: Het is alsof je een landbouwer bent die een magische bril opzet en direct ziet: "Ah, hier is het graan droog, daar moet ik water geven."
• 🌳 Ecosysteem & Klimaat:
  • Voorbeeld: Het kan schatten hoeveel hout er in een bos zit (biomassa) en hoeveel koolstof bomen opnemen.
  • Vergelijking: Het is een "bos-verteller" die kan tellen hoeveel bladeren er zijn en hoe gezond het bos is, alleen door naar foto's te kijken.

Waarom is dit belangrijk?

Dit project is een samenwerking tussen NASA, IBM en universiteiten. Ze hebben gekozen voor "Open Science".

• Betekenis: Ze hebben de "recepten" (de code) en het "gebak" (het getrainde model) gratis beschikbaar gesteld voor iedereen.
• Het doel: Iedereen, van een klein startup-bedrijf tot een grote overheidsinstantie, kan dit model gebruiken om de aarde beter te begrijpen en te beschermen, zonder zelf jarenlang te hoeven bouwen aan een AI.

Samenvatting in één zin

Prithvi-EO-2.0 is een slimme, wereldwijd getrainde AI die door naar tijdreeksen van satellietfoto's te kijken, de aarde beter begrijpt dan ooit tevoren, en ons helpt om sneller en slimmer te reageren op klimaatverandering, branden en overstromingen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications" in het Nederlands.

1. Probleemstelling

De paper adresseert drie fundamentele beperkingen van bestaande Geospatiale Fundamentmodellen (GFMs) voor Aardeobservatie (EO):

• Gebrek aan multi-temporele modellering: Hoewel EO-data inherent tijdsafhankelijk is, behandelen de meeste GFMs data als statische beelden of beperken ze zich tot korte tijdreeksen op kleine plekken. Ze missen vaak de capaciteit om langdurige trends en seizoenspatronen op wereldschaal te leren.
• Beperkte validatie: Er is een gebrek aan diepgaande validatie met diverse taken en duidelijke vergelijkingsprotocollen, wat gebruikers belemmert om te beoordelen of een model geschikt is voor hun specifieke use-case.
• Adaptatie-uitdagingen: Het aanpassen van geavanceerde GFMs aan nieuwe toepassingen vereist vaak diepgaande AI-expertise en er ontbreken gestroomlijnde tools of instructies voor fijnafstemming (fine-tuning).

2. Methodologie

Dataset en Sampling

• Bron: Het model is getraind op het Harmonized Landsat and Sentinel-2 (HLS) archief van NASA, wat data combineert van Landsat 8/9 en Sentinel-2A/B.
• Schaal: De dataset omvat 4,2 miljoen wereldwijde tijdreeks-samples met een resolutie van 30 meter.
• Sampling-strategie: Er is een zorgvuldige samplingstrategie ontwikkeld om diversiteit in landbedekking (LULC) en ecoregio's te garanderen, terwijl wolken en ontbrekende data worden geminimaliseerd.
• Tijdreeksen: Samples bestaan uit sequenties van 4 afbeeldingen met intervallen van 1 tot 6 maanden, gedurende een periode van 2014 tot 2023. Dit zorgt voor het vastleggen van seizoenspatronen en langetermijntrends.
• Preprocessing: Data is opgesplitst in 256x256 patches. Clouds en schaduwen zijn gefilterd, en ontbrekende pixels zijn geïnterpoleerd.

Model Architectuur

• Basis: Prithvi-EO-2.0 is gebaseerd op de Masked Autoencoder (MAE) architectuur met een Vision Transformer (ViT) backbone.
• 3D-Embeddings: In tegenstelling tot eerdere 2D-modellen, gebruikt Prithvi-EO-2.0 3D patch-embeddings (tijd, hoogte, breedte) om spatiotemporale data te verwerken.
• Metadata Integratie: Het model integreert expliciet locatie-embeddings (latitude/longitude) en temporele embedddings (jaar, dag van het jaar) in de input. Deze worden als bias toegevoegd aan de tokens, waardoor het model leert om rekening te houden met geografische en tijdscontext.
• Robuustheid: Tijdens het pre-training wordt metadata willekeurig "gedropt" (met een kans van 10%) om het model te leren werken zonder deze informatie als deze niet beschikbaar is.
• Grootte: Er zijn twee varianten ontwikkeld: 300M en 600M parameters.

Training en Infrastructuur

• Hardware: Getraind op de JUWELS supercomputer (Jülich Supercomputing Centre) met A100 GPU's.
• Efficiëntie: De training omvatte 400 epochs. Voor de 600M variant werden 240 GPU's gebruikt (ca. 58.000 GPU-uren).

3. Belangrijkste Bijdragen

1. Prithvi-EO-2.0 Model: Een nieuw, open-source fundamenteel model dat significant verbeteringen biedt ten opzichte van de voorganger (Prithvi-EO-1.0) door expliciete spatiotemporale modellering en metadata-integratie.
2. Grote, Globale Dataset: De creatie van een geoptimaliseerde pre-training dataset van 4,2 miljoen samples die langdurige trends en seizoenspatronen wereldwijd dekt.
3. Uitgebreide Validatie: Een robuuste evaluatie via het GEO-Bench framework en samenwerking met domeinexperts (SMEs) voor real-world toepassingen.
4. Open Science en Toegankelijkheid: Het model is beschikbaar gesteld als open-source op Hugging Face en geïntegreerd in TerraTorch (een toolkit voor PyTorch), wat de adoptie en fijnafstemming voor de gemeenschap vergemakkelijkt.

4. Resultaten

Benchmarking (GEO-Bench)

• Prithvi-EO-2.0 presteerde 8% beter dan zijn voorganger (Prithvi-EO-1.0) over een reeks van 12 taken (classificatie en segmentatie).
• Het model overtrof zes andere populaire GFMs (zoals DOFA, DeCUR, Satlas) in zowel classificatie als segmentatietaken.
• De varianten met tijds- en locatie-embeddings (TL) presteerden consistent beter dan de varianten zonder, zelfs op datasets zonder expliciete metadata, wat aantoont dat het model generaliseerbare patronen leert.
• Het model toonde sterke prestaties op hogere resoluties (tot 0.1m), ondanks training op 30m data.

Real-world Toepassingen (SME-leden)

• Noodhulp:
  • Overstromingen: Verbeterde IoU (Intersection over Union) voor waterdetectie met 3,5 punten ten opzichte van de vorige versie.
  • Wildebranden: Significant betere detectie van verbrandingsgebieden (burn scars) en intensiteit.
  • Aardverschuivingen: Prithvi-EO-2.0 behaalde de beste resultaten in few-shot learning scenario's (training op slechts 1% van de data), waarbij het model veel robuuster bleef dan traditionele U-Net modellen.
• Landbedekking en Gewassen:
  • Uitstekende prestaties in multi-temporele gewassegmentatie in de VS en landbedekkingsclassificatie in Europa (Sen4Map), zelfs met ingekorte tijdreeksen.
  • Het model slaagde erin om lange tijdreeksen (tot 61 frames) te verwerken, hoewel het getraind was op 4 frames.
• Ecosysteem-dynamica:
  • Biomassa: Benaderde de prestaties van multimodale modellen (optisch + SAR) voor bovengrondse biomassa-schatting, uitsluitend met multispectrale data.
  • GPP (Gross Primary Productivity): Bereikte een $R^2$ van 0,88 voor het schatten van fotosynthese, wat aanzienlijk beter was dan Random Forest en XGBoost baselines, zonder gebruik te maken van handmatige vegetatie-indexen.

5. Betekenis en Conclusie

Prithvi-EO-2.0 markeert een belangrijke stap in de evolutie van Aardeobservatie-modellen. Door de integratie van multi-temporele context en geografische metadata in de architectuur, slaagt het model erin om complexe, dynamische processen op Aarde beter te modelleren dan statische modellen.

De paper benadrukt dat grootschalige pre-training op diverse, hoogwaardige data leidt tot modellen die minder gelabelde data nodig hebben voor specifieke taken (few-shot learning), wat cruciaal is voor toepassingen in rampenbestrijding en ecosysteemmonitoring waar gelabelde data schaars is. De open-source release en integratie in TerraTorch verlagen de drempel voor onderzoekers en praktijken om deze geavanceerde AI-tools toe te passen, ondersteunend het "Trusted Open Science"-principe.