💰 quantitative finance

A harmonised dataset for Earth system foundation models

Cet article présente WorldTensor, un ensemble de données mondiales harmonisées qui aligne diverses variables environnementales et socioéconomiques sur une grille standardisée de 0,25° et un cadre annuel afin de permettre l'entraînement de modèles de fondation multimodaux du système terrestre capturant la dynamique couplée homme-environnement.

Auteurs originaux : Carlos Rodriguez-Pardo, Massimo Tavoni

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Carlos Rodriguez-Pardo, Massimo Tavoni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez la Terre comme une machine géante et complexe dotée de deux moteurs principaux : le monde naturel (météo, océans, forêts) et le monde humain (villes, fermes, centrales électriques, économies). Pendant longtemps, les scientifiques ont construit des « super-cerveaux » (appelés modèles de fondation) pour comprendre comment ces moteurs fonctionnent. Cependant, il y avait un problème majeur : ces super-cerveaux n'avaient été nourris que de données concernant le moteur naturel. Ils connaissaient tout sur la pluie et le vent, mais ils étaient presque aveugles à la manière dont les humains construisent des villes, brûlent du carburant ou déplacent de l'argent.

Ce document présente WorldTensor, un nouveau « manuel d'instructions » massif conçu pour corriger cet angle mort. Considérez WorldTensor non pas comme un livre unique, mais comme une immense bibliothèque parfaitement organisée où chaque fait concernant la planète — de la goutte de pluie à la cheminée d'une usine — est écrit sur le même type de papier, dans la même langue et classé dans le même tiroir.

Voici comment le document le décompose :

1. Le Problème : Un tas de puzzles désordonnés

Avant WorldTensor, essayer d'étudier la Terre et les humains ensemble revenait à essayer de résoudre un puzzle dont la moitié des pièces proviennent d'une image de l'océan, et l'autre moitié d'une image de ville, mais où toutes sont de tailles, de formes et de langues différentes.

Certaines données sont quotidiennes (comme la météo) ; d'autres ne le sont que tous les quelques années (comme les recensements de population).
Certaines données sont une grille de carrés (comme une carte) ; d'autres sont juste une liste de points (comme l'emplacement de centrales électriques).
Certaines cartes utilisent différents systèmes de coordonnées, ce qui les rend impossibles à aligner.

Les scientifiques passaient des mois entiers à simplement nettoyer et aligner ces données avant même de pouvoir commencer leurs recherches.

2. La Solution : La bibliothèque « WorldTensor »

Les auteurs ont créé WorldTensor, un ensemble de données harmonisé qui agit comme un traducteur universel et un maître organisateur.

La Grille : Ils ont pris des centaines de sources de données différentes et les ont toutes forcées sur une grille standard unique (0,25 degré, soit environ la taille d'un grand pâté de maisons). Imaginez prendre une photo haute résolution, un croquis et une liste de chiffres, puis les imprimer tous sur le même papier millimétré afin qu'ils s'alignent parfaitement.
Le Temps : Ils ont standardisé le temps selon un rythme annuel. Si une source possédait des données quotidiennes, elles étaient résumées en une moyenne annuelle. Si une source n'avait des données que tous les 5 ans, ils comblaient les lacunes pour créer une chronologie fluide.
Le Contenu : C'est un mélange « multimodal ». Il ne contient pas seulement la météo ; il contient :
- La Nature : Océans, glace, sols, forêts et qualité de l'air.
- L'Humain : Population, PIB (richesse), centrales électriques, routes et même les zones de conflit.
- Le Mélange : Comment les humains modifient la nature (comme la coupe des forêts) et comment la nature affecte les humains (comme les inondations frappant les villes).

3. Comment ils l'ont construit (L'analogie de la cuisine)

Considérez les sources de données comme des ingrédients bruts provenant de différents marchés. Certains sont des poissons frais (météo quotidienne), d'autres des haricots secs (recensement annuel), et d'autres encore des épices (points de localisation d'usines).

Le Recadrage (Regridding) : Ils ont pris le « poisson » et l'ont découpé en morceaux de la même taille que les « haricots ».
La Rasterisation : Ils ont pris les « épices » (points sur une carte) et les ont étalées pour qu'elles ressemblent à une couche de saisonnement lisse sur la grille.
La Standardisation : Ils se sont assurés que chaque ingrédient était mesuré avec les mêmes unités (comme convertir les tasses en grammes) et étiqueté clairement.
Le Contrôle Qualité : Ils ont vérifié les ingrédients pour s'assurer qu'ils n'étaient pas périmés. Si un chiffre était physiquement impossible (comme une température de 500 °C sur Terre), ils le signalaient. Ils ont également vérifié que la « carte » ne présentait pas de déchirures ou de coutures là où les bords ne correspondaient pas.

4. À quoi cela ressemble

Le document montre que cet ensemble de données est énorme. Il contient plus de 52 000 fichiers couvrant les années 1900 à 2025.

Il comprend 14 « départements » différents (comme le Climat, l'Énergie, les Systèmes Humains, les Risques).
Il permet à un ordinateur de voir qu'un changement dans les émissions (humain) est lié à un changement dans la qualité de l'air (nature), ou que l'urbanisation (humain) est liée au risque d'inondation (nature).

5. Pourquoi c'est important (L'entraînement du « Super-Cerveau »)

L'objectif principal de WorldTensor est d'entraîner des modèles de fondation.

Avant : Un super-cerveau apprenait à prédire la météo mais ne comprenait pas que la construction d'un barrage change le débit d'un fleuve, ou qu'une guerre interrompt l'agriculture.
Maintenant : Avec WorldTensor, un super-cerveau peut apprendre les dynamiques couplées. Il peut apprendre comment les actions humaines et les forces naturelles se poussent et se tirent mutuellement à l'échelle mondiale.

Le document valide cela en montrant que les données fonctionnent. Lorsqu'ils ont testé l'ensemble par rapport à des événements historiques réels (comme El Niño en 1997 ou la pandémie de 2020), les données ont correctement montré les pics et les chutes de température, d'émissions et de conflits. Cela a prouvé que la « bibliothèque » est précise et prête à être lue par les ordinateurs.

Résumé

WorldTensor est un ensemble de données massif, propre et organisé qui met enfin les moteurs « Humain » et « Terre » sur la même longueur d'onde. Il transforme un tas chaotique de cartes et de chiffres incompatibles en une image cohérente de notre planète, permettant à l'IA d'apprendre enfin comment nous vivons sur et avec la Terre, plutôt que de simplement étudier la Terre de manière isolée.

Résumé Technique : WorldTensor – Un jeu de données harmonisé pour les modèles de fondation du système Terre

Énoncé du problème
Les modèles de fondation du système Terre ont progressé rapidement dans la simulation des dynamiques physiques du climat et de la météo, en s'appuyant principalement sur des données de réanalyse denses et des données satellitaires. Cependant, une lacune critique subsiste : ces modèles omettent largement les systèmes humains qui pilotent les émissions, modifient l'utilisation des terres, construisent les infrastructures et déterminent la vulnérabilité. Bien que les données nécessaires pour décrire la dynamique couplée homme-Terre existent à travers les réanalyses, la télédétection, les inventaires d'émissions et les indicateurs socio-économiques, elles restent fragmentées. Ces sources diffèrent par leurs résolutions natives, leurs projections, leurs fréquences temporelles (allant du quotidien aux instantanés pluriannuels épars) et leurs conventions de métadonnées. Cette fragmentation entrave le développement de véritables modèles de fondation multimodaux capables d'apprendre les dynamiques couplées entre les systèmes environnementaux et humains à l'échelle planétaire. Les efforts actuels sont souvent limités au Nord global ou manquent d'une représentation unifiée permettant un raisonnement conjoint entre les domaines physiques et socio-économiques.

Méthodologie
Les auteurs présentent WorldTensor, un jeu de données mondial harmonisé conçu pour servir de ressource d'entraînement unifiée pour les flux de travail d'apprentissage automatique. Le jeu de données aligne des centaines de variables environnementales et socio-économiques sur une grille spatiale de 0,25° (correspondant à l'ERA5) et un cadre temporel annuel.

La construction de WorldTensor repose sur quatre principes fondamentaux : un support spatial partagé, une résolution temporelle partagée, une couverture de domaines multimodaux et un format lisible par machine. La méthodologie comprenait :

Sélection des sources : Un ensemble curaté de variables de haute qualité a été sélectionné en fonction de leur pertinence pour les dynamiques couplées homme-Terre (couvrant le climat physique, les processus terre/océan, les émissions, les infrastructures, les aléas et l'activité socio-économique) et de leur couverture mondiale. Les sources ont été exclues si elles manquaient d'étendue mondiale, d'alignement temporel fiable ou de reproductibilité.
Harmonisation spatiale : Toutes les entrées en grille ont été rééchantillonnées sur la grille canonique de 0,25°. Les champs continus ont utilisé un rééchantillonnage bilinéaire, tandis que les couches catégorielles ont utilisé une affectation par plus proche voisin afin de préserver les limites de classes. Les jeux de données ponctuels, linéaires et polygonaux (ex: centrales électriques, événements de conflit) ont été rasterisés en champs continus ou en cartes de densité selon des règles spécifiques à la géométrie. Une attention particulière a été portée à la gestion de la couture de longitude, au comportement des bords polaires et à l'évitement des artefacts spatiaux.
Harmonisation temporelle : Les fréquences sources hétérogènes ont été converties en un modèle commun de publication annuelle. Les données quotidiennes et mensuelles ont été agrégées à l'aide de statistiques appropriées à la variable (ex: moyenne, somme, max, min). Les jeux de données socio-économiques épars ont été interpolés entre les années pivots. Les variables statiques (ex: bathymétrie, texture du sol) ont été publiées sous forme de couches invariantes dans le temps.
Modèle de données et conditionnement : Le jeu de données est distribué sous forme de fichiers NetCDF compressés respectant les conventions de métadonnées CF. La structure est modulaire : les variables temporelles sont stockées sous la forme <domaine>/<variable>/<YYYY>.nc, tandis que les variables statiques résident dans static/<groupe>/<variable>.nc. Le jeu de données comprend 757 unités publiées (658 familles de variables temporelles et 99 couches statiques), totalisant environ 46 Go.

Contributions clés

Jeu de données WorldTensor : Un jeu de données mondial unifié et harmonisé couvrant 14 domaines de haut niveau : climat, extrêmes, qualité de l'air, émissions, utilisation des terres, végétation, hydrologie, cryosphère, océan, agriculture, énergie, systèmes humains, aléas/conflits et contexte statique.
Représentation standardisée : Le jeu de données fournit une représentation unique pour des variables qui étaient auparavant incompatibles, permettant aux modèles d'apprendre les couplages inter-domaines (ex: entre les émissions et la composition atmosphérique, ou entre le changement d'utilisation des terres et l'hydrologie).
Infrastructure reproductible : Les auteurs fournissent un pipeline de traitement complet, incluant des modules de téléchargement spécifiques aux sources, des scripts d'harmonisation et des outils de contrôle qualité automatisés.
Interfaces d'apprentissage automatique : La publication inclut des exemples PyTorch (WorldTensorYearDataset et WorldTensorPatchDataset) qui démontrent comment ingérer les données dans des flux de travail d'entraînement de modèles de fondation, en gérant à la fois les couches temporelles et statiques.

Résultats et validation technique
L'article valide WorldTensor via un cadre à cinq couches :

Plausibilité physique : 54 variables représentatives ont été testées par rapport aux limites physiques ; moins de 0,1 % des pixels ont dépassé les plages attendues. Les moyennes mondiales pondérées par la surface pour la température, les précipitations, l'NDVI, la population et les émissions de méthane concordent avec les références faisant autorité (WMO, ERA5, MODIS, GPW, EDGAR).
Cohérence interne : Les fractions d'état de l'utilisation des terres ont été vérifiées pour s'assurer qu'elles s'additionnent correctement par rapport au bilan terrestre (excluant la glace/l'eau). Les variables cumulatives d'aléas et d'infrastructures ont été confirmées comme étant de croissance monotone non décroissante.
Fidélité du signal temporel : Le jeu de données a capturé avec succès les anomalies historiques sans connaissance préalable, notamment l'El Niño 2015–16 (pic de température), la guerre civile en Syrie (morts liées aux conflits), l'éruption du Pinatubo (baisse du rayonnement solaire) et la perturbation des émissions liée au COVID-19 en 2020 (atténuée à la résolution annuelle).
Structure spatiale : Des semi-variogrammes empiriques ont confirmé que l'autocorrélation spatiale globale est préservée à travers les domaines. Les variables environnementales ont montré une autocorrélation à longue distance (ex: température ~~2580 km), tandis que les variables de systèmes humains comme le PIB sont restées plus localisées (~~300 km).
Cohérence multivariée : Une analyse en composantes indépendantes (ICA) sur les variables non statiques a permis de récupérer des zones éco-climatiques distinctes (forêts boréales, forêts tropicales, régions arides) sans supervision géographique, confirmant que les données encodent une structure géographiquement significative.
Utilité des caractéristiques : L'analyse de l'incorporation géospatiale a montré que les caractéristiques convolutionnelles aléatoires (RCF) extraites des patchs de WorldTensor surpassent significativement l'encodage positionnel de Fourier simple pour prédire les variables non utilisées (moyenne $R^2$ de 0,63 contre 0,34), démontrant que le jeu de données préserve la texture spatiale fine et les modèles de cooccurrence multivariée.

Signification et affirmations
L'article positionne WorldTensor comme une infrastructure de recherche plutôt que comme un benchmark lié à une classe de modèles spécifique. Sa principale importance réside dans le fait de s'attaquer à la fragmentation des données qui contraint la prochaine génération de modèles de fondation du système Terre. En co-localisant les dimensions environnementales, humaines et statiques dans une seule ressource, WorldTensor fournit la "matière première" pour que les modèles apprennent comment les systèmes humains modifient et répondent aux dynamiques planétaires.

Les auteurs affirment que cette représentation unifiée est essentielle pour des tâches telles que :

L'entraînement d'embeddings géospatiaux à usage général.
Le transfert d'apprentissage entre les tâches de prédiction environnementale et socio-économique.
Le downscaling ou le comblement des lacunes des champs socio-économiques épars.
La génération de caractéristiques pour les modèles de risque et d'impact climatique.

L'article reconnaît des limites, notant que la résolution annuelle est moins adaptée à la prévision météorologique sub-journalière ou à la détection d'événements extrêmes de courte durée, et que la grille de 0,25° peut lisser les structures urbaines fines ou introduire une précision apparente pour les données ponctuelles éparses. Cependant, il affirme que WorldTensor permet avec succès l'étude des dynamiques couplées homme-Terre à l'échelle planétaire, allant au-delà du système climatique physique pour inclure les moteurs et les réponses humaines qui façonnent le changement global.