💰 quantitative finance

A harmonised dataset for Earth system foundation models

Dit artikel introduceert WorldTensor, een geharmoniseerde wereldwijde dataset die diverse milieuvariabelen en sociaaleconomische variabelen uitlijnt op een gestandaardiseerd raster van 0,25° en een jaarlijks kader om het trainen van multimodale Earth system foundation models mogelijk te maken die gekoppelde mens-milieu-dynamiek vastleggen.

Oorspronkelijke auteurs: Carlos Rodriguez-Pardo, Massimo Tavoni

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Carlos Rodriguez-Pardo, Massimo Tavoni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de Aarde voor als een enorme, complexe machine met twee hoofdmotoren: de natuurlijke wereld (weer, oceanen, bossen) en de menselijke wereld (steden, boerderijen, elektriciteitscentrales, economieën). Lange tijd hebben wetenschappers "superhersenen" (genaamd foundation models) gebouwd om te begrijpen hoe deze motoren werken. Echter, er was een groot probleem: de superhersenen waren alleen gevoed met data over de natuurlijke motor. Ze wisten alles van regen en wind, maar ze waren bijna blind voor hoe mensen steden bouwen, brandstof verbranden of geld verplaatsen.

Dit artikel introduceert WorldTensor, een enorme nieuwe "gebruiksaanwijzing" die ontworpen is om dit blinde vlek te verhelpen. Denk aan WorldTensor niet als een enkel boek, maar als een gigantische, perfect georganiseerde bibliotheek waar elk enkel feit over de planeet — van een regendruppel tot een fabrieksschoorsteen — op hetzelfde type papier staat geschreven, in dezelfde taal en in dezelfde lade is opgeborgen.

Hier is hoe het artikel het onderverdeelt:

1. Het Probleem: Een Rommelige Stapel Puzzels

Voordat WorldTensor bestond, was het bestuderen van de Aarde en de mens samen alsof je een puzzel probeert op te lossen waarbij de helft van de stukjes uit een afbeelding van de oceaan komt, en de andere helft uit een afbeelding van een stad, maar ze zijn allemaal verschillende groottes, verschillende vormen en gedrukt in verschillende talen.

Sommige data is dagelijks (zoals het weer); sommige is slechts eens in enkele jaren (zoals bevolkingsaantallen).
Sommige data is een raster van vierkantjes (zoals een kaart); sommige is slechts een lijst met punten (zoals de locaties van elektriciteitscentrales).
Sommige kaarten gebruiken verschillende coördinatensystemen, waardoor het onmogelijk is om ze uit te lijnen.

Wetenschappers moesten maanden besteden aan alleen al het opschonen en afstemmen van deze data voordat ze überhaupt aan hun onderzoek konden beginnen.

2. De Oplossing: De "WorldTensor" Bibliotheek

De auteurs creëerden WorldTensor, een geharmoniseerde dataset die fungeert als een universele vertaler en een meesterorganisator.

Het Raster: Ze namen honderden verschillende databronnen en dwongen ze allemaal op één enkel, standaard raster (0,25 graden, ongeveer de grootte van een groot stadsblok). Stel je voor dat je een foto met hoge resolutie, een schets en een lijst met getallen neemt en ze allemaal op exact hetzelfde ruitjespapier print zodat ze perfect op één lijn liggen.
De Tijd: Ze standaardiseerden de tijd naar een jaarlijks ritme. Als een bron dagelijkse data had, vatten ze die samen in een jaarlijks gemiddelde. Als een bron slechts elke 5 jaar data had, vulden ze de gaten in om een vloeiende jaarlijkse tijdlijn te maken.
De Inhoud: Het is een "multimodale" mix. Het bevat niet alleen het weer; het heeft:
- Natuur: Oceanen, ijs, bodem, bossen en luchtkwaliteit.
- Mensen: Bevolking, BBP (rijkdom), elektriciteitscentrales, wegen en zelfs conflictzones.
- De Mix: Hoe mensen de natuur veranderen (zoals het kappen van bossen) en hoe de natuur mensen beïnvloedt (zoals overstromingen die steden raken).

3. Hoe Ze Het Gebouwd Hebben (De Keukenanalogie)

Beschouw de databronnen als rauwe ingrediënten uit verschillende markten. Sommige zijn verse vis (dagelijks weer), andere zijn gedroogde bonen (jaarlijkse volkstelling) en sommige zijn specerijen (punten op een kaart van fabrieken).

Regridding: Ze namen de "vis" en hakten deze in stukjes van dezelfde grootte als de "bonen".
Rasterization: Ze namen de "specerijen" (stippen op een kaart) en verspreidden deze zodat ze eruitzagen als een gladde laag kruiden op het raster.
Standardisering: Ze zorgden ervoor dat elk ingrediënt in dezelfde eenheden werd gemeten (zoals het omrekenen van kopjes naar grammen) en duidelijk werd gelabeld.
Kwaliteitscontrole: Ze controleerden de ingrediënten om te zien of ze niet bedorven waren. Als een getal fysiek onmogelijk was (zoals een temperatuur van 500°C op Aarde), markeerden ze dit. Ze controleerden ook of de "kaart" geen scheuren of naden had waar de randen niet overeenkwamen.

4. Hoe Het Eruitziet

Het artikel laat zien dat deze dataset enorm is. Het bevat meer dan 52.000 bestanden die de jaren 1900 tot 2025 beslaan.

Het bevat 14 verschillende "afdelingen" (zoals Klimaat, Energie, Menselijke Systemen, Gevaren).
Het stelt een computer in staat om te zien dat een verandering in emissies (mens) gekoppeld is aan een verandering in luchtkwaliteit (natuur), of dat verstedelijking (mens) gekoppeld is aan overstromingsrisico (natuur).

5. Waarom Het Belangrijk Is (De Training van de "Superhersenen")

Het hoofddoel van WorldTensor is het trainen van Foundation Models.

Vóór: Een superbrein leerde het weer te voorspellen, maar begreep niet dat het bouwen van een dam de rivierloop verandert, of dat een oorlog het boerenbedrijf stopt.
Nu: Met WorldTensor kan een superbrein de gekoppelde dynamiek leren. Het kan leren hoe menselijke acties en natuurlijke krachten op een wereldwijde schaal op elkaar inwerken.

Het artikel valideert dit door aan te tonen dat de data werkt. Wanneer ze de data testten tegen echte historische gebeurtenissen (zoals El Niño in 1997 of de pandemie van 2020), toonde de data correct de pieken en dalen in temperatuur, emissies en conflicten aan. Het bewees dat de "bibliotheek" accuraat is en klaar is om door computers gelezen te worden.

Samenvatting

WorldTensor is een enorme, schone en georganiseerde dataset die de "Mens"- en "Aarde"-motoren eindelijk op dezelfde pagina plaatst. Het verandert een chaotische stapel mismatchende kaarten en getallen in één samenhangend beeld van onze planeet, waardoor AI eindelijk kan leren hoe we op en met de Aarde leven, in plaats van de Aarde alleen in isolatie te bestuderen.

Technische Samenvatting: WorldTensor – Een Geharmoniseerde Dataset voor Earth System Foundation Models

Probleemstelling
Earth system foundation models zijn snel geavanceerd in het simuleren van fysieke klimaat- en weerdynamiek, voornamelijk door gebruik te maken van dichte reanalyse- en satellietgegevens. Er blijft echter een kritieke kloof bestaan: deze modellen laten grotendeels de menselijke systemen weg die emissies aansturen, landgebruik veranderen, infrastructuur bouwen en kwetsbaarheid bepalen. Hoewel de noodzakelijke gegevens om gekoppelde mens-Aarde-dynamiek te beschrijven aanwezig zijn in reanalyses, remote sensing, emissie-inventarissen en sociaaleconomische indicatoren, blijven deze gefragmenteerd. Deze bronnen verschillen in hun natuurlijke resoluties, projecties, temporele frequenties (variërend van dagelijks tot schaarse meerjarige momentopnames) en metadataconventies. Deze fragmentatie belemmert de ontwikkeling van werkelijk multimodale foundation models die in staat zijn om gekoppelde dynamiek tussen milieu- en menselijke systemen op planetaire schaal te leren. Huidige inspanningen zijn vaak beperkt tot het mondiale Noorden of missen een verenigde representatie die gezamenlijke redenering over fysieke en sociaaleconomische domeinen mogelijk maakt.

Methodologie
De auteurs presenteren WorldTensor, een geharmoniseerde wereldwijde dataset ontworpen om te dienen als een verenigde trainingsbron voor machine learning-workflows. De dataset stemt honderden milieu- en sociaaleconomische variabelen af op een gestandaardiseerd 0,25° ruimtelijk rooster (overeenkomend met ERA5) en een jaarlijks temporeel kader.

De constructie van WorldTensor steunde op vier kernprincipes: gedeelde ruimtelijke ondersteuning, gedeelde temporele resolutie, multimodale domeindekking en een machineleesbaar formaat. De methodologie omvatte:

Bronselectie: Een gecureerde set hoogwaardige variabelen werd geselecteerd op basis van relevantie voor gekoppelde mens-Aarde-dynamiek (dekking van fysiek klimaat, land-/oceaanprocessen, emissies, infrastructuur, gevaren en sociaaleconomische activiteit) en mondiale dekking. Bronnen werden uitgesloten als ze een gebrek hadden aan mondiale reikwijdte, betrouwbare temporele uitlijning of reproduceerbaarheid.
Ruimtelijke Harmonisatie: Alle gegridde inputs werden geregrid naar het canonieke 0,25°-rooster. Continue velden gebruikten bilineaire resampling, terwijl categorische lagen gebruikmaakten van nearest-neighbor toewijzing om klassengrenzen te behouden. Punt-, lijn- en polygoondata (bijv. elektriciteitscentrales, conflictgebeurtenissen) werden gerasterd in continue velden of dichtheidskaarten met behulp van geometrie-specifieke regels. Er werd speciale aandacht besteed aan het afhandelen van de lengtegraad-naad (longitude seam), gedrag bij de polen en het vermijden van ruimtelijke artefacten.
Temporele Harmonisatie: Heterogene bronfrequenties werden omgezet naar een gemeenschappelijk jaarlijks releasemodel. Dagelijkse en maandelijkse data werden geaggregeerd met variabele-gepaste statistieken (bijv. gemiddelde, som, maximum, minimum). Schaarse sociaaleconomische datasets werden geïnterpoleerd tussen ankerjaren. Statische variabelen (bijv. bathymetrie, bodemtextuur) werden uitgebracht als tijdsinvariante lagen.
Datamodel en Verpakking: De dataset wordt gedistribueerd als gecomprimeerde NetCDF-bestanden die voldoen aan de CF-metadata-conventies. De structuur is modulair: temporele variabelen worden opgeslagen als <domein>/<variabele>/<JJJJ>.nc, terwijl statische variabelen verblijven in static/<groep>/<variabele>.nc. De dataset bevat 757 vrijgegeven eenheden (658 temporele variabele-families en 99 statische lagen), totaal ongeveer 46 GB.

Belangrijkste Bijdragen

WorldTensor Dataset: Een verenigde, geharmoniseerde wereldwijde dataset die 14 top-level domeinen beslaat: klimaat, extremen, luchtkwaliteit, emissies, landgebruik, vegetatie, hydrologie, cryosfeer, oceaan, landbouw, energie, menselijke systemen, gevaren/conflict en statische context.
Gestandaardiseerde Representatie: De dataset biedt een enkele representatie voor variabelen die voorheen incompatibel waren, wat modellen in staat stelt om cross-domein koppelingen te leren (bijv. tussen emissies en atmosferische samenstelling, of landgebruikverandering en hydrologie).
Reproduceerbare Infrastructuur: De auteurs bieden een volledige verwerkingspijplijn, inclusionele bron-specifieke downloadmodules, harmonisatiescripts en geautomatiseerde kwaliteitscontroletools.
Machine Learning Interfaces: De release bevat PyTorch-voorbeelden (WorldTensorYearDataset en WorldTensorPatchDataset) die demonstreren hoe de data geïntegreerd kan worden in training workflows voor foundation models, waarbij zowel temporele als statische lagen worden afgehandeld.

Resultaten en Technische Validatie
Het artikel valideert WorldTensor via een vijflaags kader:

Fysieke Plausibiliteit: 54 representatieve variabelen werden getest tegen fysieke grenzen; minder dan 0,1% van de pixels overschreed de verwachte bereiken. Mondiale gebiedsgewogen gemiddelden voor temperatuur, neerslag, NDVI, populatie en methaanemissies kwamen overeen met gezaghebbende benchmarks (WMO, ERA5, MODIS, GPW, EDGAR).
Interne Consistentie: Landgebruik-toestandsfracties werden geverifieerd op correcte optelling tegen de landbudget (exclusief ijs/water). Cumulatieve gevaar- en infrastructuurvariabelen werden bevestigd als monotoon niet-afnemend.
Temporele Signaalgetrouwheid: De dataset legde historische anomalieën succesvol vast zonder voorafgaande kennis, waaronder de El Niño van 2015–16 (temperatuurpiek), de burgeroorlog in Syrië (conflictslachtoffers), de eruptie van de Pinatubo (zonlichtdip) en de COVID-19-emissieperturbatie van 2020 (gedempt op jaarlijkse resolutie).
Ruimtelijke Structuur: Empirische semivariogrammen bevestigden dat brede ruimtelijke autocorrelatie behouden bleef over domeinen heen. Milieuvariabelen vertoonden langetermijnautocorrelatie (bijv. temperatuur ~~2580 km), terwijl menselijke systeemvariabelen zoals BBP lokaler bleven (~~300 km).
Multivariaat Coherentie: Onafhankelijke Componenten Analyse (ICA) op niet-statische variabelen herstelde onderscheidende eco-klimatische zones (boreale bossen, tropische regenwouden, aride regio's) zonder geografische supervisie, wat bevestigt dat de data geografisch betekenisvolle structuren codeert.
Feature Nut: Geospatiale embedding-analyse toonde aan dat Random Convolutional Features (RCF) geëxtraheerd uit WorldTensor-patches de eenvoudige Fourier-positionele codering significant overtroffen bij het voorspellen van uit de dataset gehouden variabelen (gemiddelde $R^2$ van 0,63 vs. 0,34), wat aantoont dat de dataset fijne ruimtelijke texturen en multivariabele co-occurrence patronen behoudt.

Betekenis en Claims
Het artikel positioneert WorldTensor als een onderzoeksinfrastructuur in plaats van een benchmark die gebonden is aan een specifieke modelklasse. De primaire betekenis ligt in het aanpakken van de datafragmentatie die de volgende generatie Earth system foundation models beperkt. Door milieu-, menselijke en statische dimensies in één enkele bron te combineren, biedt WorldTensor de "grondstof" voor modellen om te leren hoe menselijke systemen planetaire dynamiek modificeren en erop reageren.

De auteurs beweren dat deze verenigde representatie essentieel is voor taken zoals:

Het trainen van algemene geospatial embeddings.
Transfer learning over milieu- en sociaaleconomische voorspellings-taken.
Downscaling of het invullen van gaten in schaarse sociaaleconomische velden.
Feature generatie voor klimaatimpact- en risicomodellen.

Het artikel erkent beperkingen en merkt op dat de jaarlijkse resolutie minder geschikt is voor sub-dagelijkse weersvoorspellingen of het detecteren van kortstondige extremen op gebeurtenisniveau, en dat het 0,25°-rooster fijnmazige stedelijke structuren kan afvlakken of een schijnbare precisie kan introduceren voor schaarse puntdata. Het stelt echter dat WorldTensor er succesvol in slaagt om de studie van gekoppelde mens-Aarde-dynamiek op planetaire schaal mogelijk te maken, waarbij verder wordt gekeken dan het fysieke klimaat-systeem om ook de menselijke drijfveren en reacties te omvatten die mondiale verandering vormgeven.