💻 computer science

From Surface Forecasting to Observability Forecasting: A Latent World Model for Cloud-Aware EO Monitoring

Cet article présente LeWorldModel, un modèle de monde latent adapté à l'observation de la Terre qui exploite l'imagerie multispectrale et les données météorologiques pour surpasser de manière significative les modèles de référence de persistance et LightGBM dans la prévision de la couverture nuageuse et la prédiction du moment des futures acquisitions de satellites exploitables.

Auteurs originaux : Mohanad Albughdadi

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohanad Albughdadi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de regarder un match de sport en direct sur un écran géant, mais que la vue est constamment obstruée par d'épais nuages en mouvement. Parfois, les nuages s'écartent une seconde, puis recouvrent le terrain pendant des heures. Dans le monde de l'observation de la Terre, les scientifiques utilisent des satellites pour prendre des photos de notre planète, mais ils sont confrontés exactement au même problème. Le véritable défi n'est pas que les satellites cessent de fonctionner ou que les images n'arrivent pas ; le défi est que les images arrivent souvent avec le sol complètement caché. C'est comme essayer de lire un livre pendant que quelqu'un ne cesse de mélanger un jeu de cartes au-dessus des pages.

Pour résoudre ce problème, les chercheurs utilisent des « moteurs météorologiques » — des données sur la pluie, la température et la pression — pour deviner à quoi le ciel ressemblera. Ils utilisent également le concept d'un « modèle de monde ». Pensez à un modèle de monde non pas comme une machine qui dessine une image parfaite du futur, mais comme un étudiant intelligent qui apprend les règles de la façon dont le monde change. Au lieu d'essayer de mémoriser chaque pixel d'une photo nuageuse, cet étudiant apprend le motif caché de « quand les nuages s'écartent habituellement ». Cet article pose une question très pratique : pouvons-nous apprendre à un ordinateur à arrêter de s'inquiéter de dessiner l'image parfaite du futur pour commencer à se concentrer sur la réponse à une question plus simple et plus utile : « La vue sera-t-elle assez dégagée pour voir le sol, et si non, combien de temps devrons-nous attendre ? »

Le problème de la fenêtre nuageuse

Dans le monde de l'observation de la Terre (EO), les pipelines ne tombent pas en panne parce que les données cessent de circuler ; ils tombent en panne parce que les données qui arrivent sont inutilisables. Les nuages, la brume et les pixels manquants peuvent cacher la surface de la Terre pendant des jours ou des semaines. Cela transforme le défi principal de « obtenir des données » en « savoir si les données sont utilisables ».

Les auteurs de cet article, Mohanad Albughdadi du Centre européen pour les prévisions météorologiques à moyen range, ont décidé de s'attaquer à ce problème en changeant l'objectif. Au lieu d'essayer de prédire exactement à quoi ressemblera la prochaine image de la Terre (une tâche appelée « prévision de surface »), ils ont demandé : Pouvons-nous prédire si la prochaine image sera utilisable, et si elle est nuageuse, quand les nuages finiront-ils par se dissiper ?

Ils ont testé cette idée en utilisant un ensemble de données appelé EarthNet2021, qui contient des séquences d'images satellites couplées à des données météorologiques. Pour résoudre le problème, ils ont utilisé un type spécial d'IA appelé LeWorldModel (LeWM).

L'« Étudiant Intelligent » contre l'« Artiste »

La plupart des modèles d'IA essayant de prédire le futur agissent comme des artistes. Ils essaient de reconstruire chaque détail de l'image suivante, pixel par pixel. Si le ciel est nuageux, l'artiste essaie de deviner à quoi ressemblent les nuages et ce qui pourrait se trouver en dessous.

LeWorldModel, cependant, agit davantage comme un étudiant intelligent étudiant un motif. Il utilise une « architecture prédictive à plongement conjoint » (Joint-Embedding Predictive Architecture - JEPA). Au lieu d'essayer de dessiner la prochaine image, il apprend un état latent — un résumé compressé et caché de la situation. Il demande : « Étant donné les dernières images et la météo actuelle, quel est l'état de la visibilité ? »

Les auteurs soutiennent que pour surveiller la Terre, vous n'avez pas besoin de savoir si la prochaine image montrera un arbre spécifique ou une route spécifique. Vous avez juste besoin de connaître l'« état » de la scène : Est-elle cachée ? Est-elle sur le point de devenir visible ? Cela rend le modèle beaucoup plus efficace. Il possède 18,0 millions de paramètres entraînables et a été entraîné sur 23 904 épisodes de données satellites.

L'expérience : Peut-il prédire le dégagement ?

Les chercheurs ont mis en place un test strict pour voir si leur « étudiant intelligent » pouvait battre deux autres méthodes :

Persistance : C'est la méthode « paresseuse ». Elle suppose que le futur ressemblera exactement au présent. S'il fait nuageux maintenant, elle prédit qu'il fera nuageux ensuite.
LightGBM : Un outil d'apprentissage automatique puissant et standard qui regarde les chiffres (historique météo, dates du calendrier) mais ne « voit » pas les images.

Ils ont testé le modèle sur quatre scénarios différents :

Valsplit : Un ensemble de test standard.
IID : Des données qui ressemblent beaucoup aux données d'entraînement.
OOD : Des données différentes des données d'entraînement (Out-of-Distribution).
Extreme : Des données avec une couverture nuageuse très lourde et des intervalles de temps plus longs.

Les résultats : Quand attendre, quand agir

Les résultats ont montré que LeWorldModel est un excellent « forecaster d'observabilité », mais qu'il possède des forces et des faiblesses spécifiques par rapport aux autres outils.

1. Battre la méthode « paresseuse »
Le modèle a systématiquement écrasé la méthode de « persistance ».

Utilisabilité de l'étape suivante : Lorsqu'on lui a demandé si la photo suivante serait utilisable, LeWorldModel a atteint une précision équilibrée entre 0,769 et 0,887. La persistance n'a réussi que 0,493 à 0,556.
Le timing du retour : Lorsqu'on lui a demandé de prédire précisément quand la vue se dégagerait, LeWorldModel était beaucoup plus précis (0,602 à 0,806) par rapport à la persistance (0,120 à 0,369).

2. La bataille avec LightGBM
La comparaison avec LightGBM a révélé une division dans les compétences de l'équipe :

La question simple : Pour la question facile « Est-ce qu'une image utilisable apparaîtra dans les six prochaines étapes ? », LightGBM était en fait le vainqueur sur la plupart des tests. Il est très doué pour regarder les chiffres de la météo et prendre une décision rapide de type « oui/non ».
La question complexe : Pour les questions plus difficiles — comme prédire le moment exact où les nuages se dissiperont, ou estimer la qualité continue de la vue (quelle partie du sol est visible) — LeWorldModel était le champion.
- Sur le split Extreme (les données les plus difficiles et les plus nuageuses), LeWorldModel a prédit le moment exact de la première vue utilisable avec une précision de 0,705, tandis que LightGBM a obtenu 0,633.
- En termes d'erreur, LeWorldModel était en moyenne décalé de 0,627 étapes sur le split Extreme, alors que LightGBM était décalé de 0,885 étapes.

3. Le point faible
L'article note que LeWorldModel n'est pas parfait partout. Sur le split OOD (Out-of-Distribution), où les données étaient très différentes de celles sur lesquelles il a été entraîné, LightGBM a en fait mieux performé. Cela suggère que si l'« étudiant intelligent » est excellent pour apprendre des motifs qu'il a déjà vus, il peut être confus lorsque la météo se comporte d'une manière totalement nouvelle.

Ce que cela signifie pour l'avenir

Les auteurs prennent soin de ne pas survendre les résultats. Ils précisent que ce modèle n'est pas un outil pour planifier des actions (comme dire à un satellite où voler exactement) car les données météorologiques utilisées sont externes et ne peuvent pas être contrôlées. Ce n'est pas non plus un générateur de vidéo qui crée de nouvelles images de la Terre.

Au lieu de cela, l'article conclut que LeWorldModel est un forecaster d'observabilité latente hautement efficace. C'est un outil qui dit aux opérateurs : « Ne perdez pas de temps à analyser l'image suivante ; il fait encore nuageux. Mais bonne nouvelle, les nuages devraient se dissiper dans environ 3 heures. »

En fin de compte, la valeur de ce travail n'est pas qu'il puisse dessiner une image parfaite du futur. C'est qu'il peut nous dire quand nous pourrons enfin voir le sol, économisant ainsi du temps et des ressources pour tous ceux qui surveillent la Terre depuis l'espace.

Résumé technique : De la prévision de surface à la prévision d'observabilité

Définition du problème
Le papier aborde un goulot d'étranglement critique dans le traitement de l'observation de la Terre (EO) : l'arrivée de nouvelles images ne garantit pas leur utilisabilité. Les nuages, la brume et les pixels manquants rendent souvent les observations inutilisables pendant des jours ou des semaines. Alors que la recherche traditionnelle en EO se concentre sur la reconstruction de futures images de surface (prévision de pixels) ou la prédiction d'indices de surface, ce travail recadre le problème en tant que prévision d'observabilité. La question centrale n'est pas « à quoi ressemblera la surface ? » mais plutôt :

La prochaine acquisition sera-t-elle utilisable ?
Si non, une observation utilisable reviendra-t-elle dans un horizon spécifique ?
Quand exactement la première observation utilisable reviendra-t-elle ?

Les auteurs utilisent le jeu de données EarthNet2021, qui fournit des images Sentinel-2 multispectrales couplées à des moteurs météorologiques mésoséchelles, pour entraîner un modèle qui prédit la qualité d'observation sous l'occlusion nuageuse.

Méthodologie
L'étude adapte LeWorldModel (LeWM), un modèle de monde basé sur une architecture de prédiction à plongement conjoint (JEPA), au domaine de l'EO. Contra à contrairement aux modèles génératifs qui reconstruisent des pixels, LeWM apprend une représentation d'état latent qui évolue au fil du temps en fonction des observations passées et des covariables exogènes.

Pipeline de données : Les « minicubes » bruts d'EarthNet2021 sont convertis en séquences HDF5 épisodiques. Chaque observation $x_t$ est composée de cinq canaux (Bleu, Vert, Rouge, NIR et un masque de nuages binaire). Les covariables $u_t$ incluent les deltas temporels, des caractéristiques cycliques de jour de l'année et des statistiques météorologiques agrégées (précipitations, pression, température) entre les images. Crucialement, les images nuageuses ne sont pas supprimées ; elles sont préservées avec des valeurs spectrales mises à zéro et un masque de nuages actif pour maintenir l'alignement temporel.
Architecture du modèle : L'adaptation de LeWM contient 18,0 M de paramètres entraînables. Il présente :
- Un adaptateur de canal mappant 5 canaux EO vers une entrée d'encodeur ViT-tiny à 3 canaux.
- Un encodeur ViT-tiny (taille de patch 16) produisant un état latent de 192 dimensions $z_t$ .
- Un encodeur d'action mappant les covariables météorologiques de dimension 8 vers la même largeur latente.
- Un prédicteur transformeur autorégressif conditionnel à 6 couches qui prévoit les futurs états latents $(\hat{z}_{t+1}, \dots)$ étant donné l'historique des latents et des covariables.
Objectif d'entraînement : Le modèle est entraîné à partir de zéro en utilisant une perte par force du professeur (teacher-forced loss) sur un historique de 10 étapes pour prédire les 10 prochains états latents. L'objectif combine une perte de prédiction latente ( $L_{pred}$ ) avec un régulariseur gaussien isotrope ( $R_{sig}$ ) pour imposer une géométrie latente stable.
Protocole d'évaluation : Un protocole « verrouillé » est employé pour assurer un test de généralisation rigoureux. Les têtes de sondage (linear probes) et les seuils de calibration sont ajustés uniquement sur le split de validation interne (valsplit). Ces têtes sont ensuite gelées et évaluées sur quatre splits distincts : valsplit, IID (indépendant et identiquement distribué), OOD (hors distribution) et Extreme (séquences plus longues et plus nuageuses).

Contributions clés

Recadrage du problème : Les auteurs déplacent le benchmark EarthNet2021 de la prévision de surface générique vers la prévision d'observabilité, définissant des cibles explicites pour l'utilisabilité à l'étape suivante, l'utilisabilité basée sur l'horizon et le timing exact de récupération.
Pipeline reproductible : Un pipeline d'adaptation complet est fourni, incluant la conversion de données sensible aux nuages, la gestion explicite du masque de nuages et la normalisation spécifique au jeu de données.
Évaluation rigoureuse : Le papier établit un protocole d'évaluation verrouillé qui sépare l'entraînement, l'ajustement des sondes et le test à travers plusieurs splits pour distinguer la véritable généralisation de l'adaptation spécifique au split.
Résultats empiriques : L'étude démontre que LeWM est plus efficace non pas comme prédicteur vidéo spatial, mais comme préviseur d'observabilité latente. Il surpasse significativement les baselines de persistance et offre des avantages distincts par rapport aux baselines tabulaires (LightGBM) dans des tâches temporelles spécifiques.

Résultats
Le modèle a été évalué par rapport à deux baselines : la Persistance (copie du dernier état observé) et une baseline LightGBM gelée entraînée sur des historiques de qualité explicites et des covariables météorologiques.

Prévision latente : LeWM surpasse systématiquement la persistance dans la prédiction de l'état latent suivant et des déroulements (rollouts) de six étapes sur tous les splits, confirmant qu'il apprend des dynamiques temporelles non triviales.
Utilisabilité à l'étape suivante (binaire) : LeWM atteint une précision équilibrée allant de 0,769 à 0,887, battant nettement la persistance (0,493–0,556). Contre LightGBM, LeWM est plus performant sur valsplit et les splits Extreme, mais est légèrement surpassé sur OOD et à égalité sur IID.
Timing exact de récupération : C'est ici que LeWM montre son plus grand avantage. Pour prédire l'horizon exact de la première observation utilisable, LeWM atteint des précisions de 0,602 à 0,806, très largement supérieur à la persistance (0,120–0,369) et généralement meilleur que LightGBM sur valsplit, IID et Extreme.
Régression de qualité continue : LeWM fournit des RMSE plus faibles pour la régression de la fraction de ciel clair/nuageux sur la plupart des splits par rapport à LightGBM, sauf sur le split OOD où LightGBM est légèrement plus robuste.
Détection d'anomalies : Le modèle produit des signaux de classement forts pour les incohérences temporelles synthétiques (ex: images futures permutées), servant de vérificateur de cohérence temporelle.

Signification et affirmations
Le papier affirme modestement que la valeur de LeWorldModel dans ce contexte n'est pas celle d'un prédicteur spatial ou d'un système de planification, mais spécifiquement celle d'un préviseur d'observabilité latente pour la surveillance sensible aux nuages.

Spécialisation des tâches : Les résultats révèlent une division claire des tâches : LightGBM excelle dans les décisions binaires simples (« Une observation utilisable apparaîtra-t-elle dans les 6 prochaines étapes ? »), probablement parce que les historiques de qualité explicites contiennent un signal suffisant. LeWM, cependant, est supérieur pour la régression de qualité continue et la prédiction du timing exact, suggérant que sa représentation latente capture une évolution d'état temporel plus riche que les modèles tabulaires.
Limites : Les auteurs reconnaissent que la performance OOD reste un point faible, où la distribution latente dévie significativement du régime d'entraînement. De plus, le modèle dépend de covariables météorologiques futures connues (forçage exogène) et ne réalise pas de prévision météorologique ou d'optimisation de politique.
Conclusion : La principale contribution est de démontrer qu'un modèle de monde basé sur JEPA peut efficacement suivre l'évolution cachée de la visibilité d'une scène. Il fournit un outil pratique aux pipelines d'EO pour déterminer quand attendre des données utilisables, plutôt que de simplement tenter de reconstruire des surfaces obscurcies.