🤖 machine learning

Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

Cet article propose une nouvelle tâche de préentraînement appelée KG-VSF, qui guide l'apprentissage des modèles fondation multimodaux en télédétection par la modélisation de prévisions conditionnelles basées sur des relations causales, améliorant ainsi les performances sur des tâches comme la cartographie des cultures et l'estimation de l'humidité du sol par rapport aux méthodes existantes.

Auteurs originaux : Praveen Ravirathinam, Ajitesh Parthasarathy, Ankush Khandelwal, Rahul Ghosh, Vipin Kumar

Publié 2026-03-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Praveen Ravirathinam, Ajitesh Parthasarathy, Ankush Khandelwal, Rahul Ghosh, Vipin Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Grand Défi : Comprendre la Terre sans se perdre dans les chiffres

Imaginez que vous essayez de comprendre la santé d'une forêt ou d'un champ de blé en regardant des photos satellites prises par des satellites. C'est un peu comme essayer de deviner la météo de demain en regardant seulement une photo de votre jardin prise hier.

Les chercheurs ont créé des "modèles de fondation" (des intelligences artificielles très puissantes) pour analyser ces images. Mais jusqu'à présent, ces modèles apprenaient un peu comme un enfant qui joue à "trouver l'intrus" : on cache une partie de l'image, et l'IA doit deviner ce qui manque. C'est utile, mais ça ne lui apprend pas pourquoi les choses changent.

🧠 L'Idée Géniale : La "Recette de Cuisine" (KG-VSF)

Les auteurs de ce papier, de l'Université du Minnesota, disent : "Attendez, la nature ne fonctionne pas par hasard !".

La pluie (le conducteur) fait pousser l'herbe (la réponse).
Le soleil fait sécher la terre.
Le froid fait apparaître la neige.

Leur nouvelle méthode s'appelle KG-VSF (Forecasting Guidé par la Connaissance). Voici l'analogie pour comprendre :

L'analogie du Chef Cuisinier vs. L'Étudiant en Cuisine

Les anciennes méthodes (Reconstruction masquée) : C'est comme donner à un étudiant une photo d'un gâteau avec un morceau manquant et lui dire : "Devine à quoi ressemblait ce morceau". L'étudiant apprend à copier les couleurs et les formes, mais il ne sait pas comment on fait le gâteau.

La nouvelle méthode (KG-VSF) : C'est comme donner au chef les ingrédients (la météo : pluie, soleil, vent) et lui dire : "Voici l'état du champ hier. Si je te donne ces ingrédients pour les 10 prochains jours, à quoi ressemblera le champ demain ?".

En forçant l'IA à prédire l'avenir en se basant sur la cause (la météo) et non juste sur la forme (l'image), elle apprend la "physique" du monde réel.

🚀 Comment ça marche en pratique ?

Le Moteur : L'IA regarde deux choses en même temps :
- Les images satellites (ce qu'on voit).
- Les données météo (ce qui agit sur ce qu'on voit).
Le Jeu : L'IA doit prédire à quoi ressemblera l'image du satellite dans le futur (dans 10 jours, 50 jours, etc.) en utilisant les données météo de cette période future.
L'Apprentissage : Si l'IA prédit que le champ restera vert alors qu'il a plu pendant 3 jours, elle se trompe ! Elle doit apprendre que la pluie fait pousser l'herbe. Si elle prédit de la neige alors qu'il fait 30°C, elle se trompe aussi. Elle apprend ainsi les liens de cause à effet.

🏆 Les Résultats : Pourquoi c'est une révolution ?

Les chercheurs ont testé cette méthode sur plusieurs tâches difficiles, et les résultats sont impressionnants :

🌾 Identifier les cultures : Pour savoir si un champ contient du maïs ou du blé, l'IA guidée par la météo est beaucoup plus précise. Elle comprend le cycle de vie des plantes, pas juste leur couleur.
💧 Estimer l'humidité du sol : C'est comme deviner si un éponge est mouillée. L'IA qui connaît la pluie et le soleil devine beaucoup mieux l'humidité que celle qui ne regarde que la photo.
🌫️ Réparer les images abîmées : Les satellites ont souvent des trous dans leurs images à cause des nuages. L'IA de KG-VSF peut "inventer" ce qui se cache sous le nuage en se disant : "Il a plu hier, donc le sol doit être humide et sombre", plutôt que de juste deviner une couleur au hasard.
🔮 Prédire le futur : Si on veut savoir à quoi ressemblera un champ dans 3 mois, cette IA est capable de simuler la croissance des plantes bien mieux que les autres.

💡 En résumé

Imaginez que vous appreniez à conduire.

Les anciennes IA apprenaient à reconnaître les panneaux de signalisation par cœur.
La nouvelle IA (KG-VSF) apprend pourquoi on s'arrête au feu rouge (parce que c'est dangereux) et comment la route réagit à la pluie.

En apprenant la causalité (le lien entre la cause et l'effet), cette IA devient non seulement plus intelligente, mais aussi plus fiable pour aider les agriculteurs, les pompiers et les scientifiques à prendre de meilleures décisions pour notre planète. C'est passer de l'observation passive à la compréhension active du monde qui nous entoure.

1. Problématique

L'essor des modèles fondation (Foundation Models) en télédétection repose principalement sur l'apprentissage auto-supervisé à grande échelle. Les approches de préentraînement actuelles se divisent en deux catégories dominantes :

Reconstruction masquée (Masked Reconstruction - MR) : Le modèle tente de reconstruire des parties masquées de l'image (ex: MAE, SimCLR).
Prédiction de la prochaine token / Forecasting : Le modèle prédit les données futures basées sur le passé (ex: modèles climatiques).

Le problème identifié : Bien que performants, ces modèles ne capturent pas pleinement les relations causales entre les variables géospatiales et environnementales. Par exemple, ils ne modélisent pas explicitement comment les variables « drivers » (comme la météo) influencent les variables « réponse » (comme l'état de la végétation observé par satellite). Les méthodes existantes capturent des corrélations spatio-temporelles ou sémantiques, mais échouent à intégrer la dynamique causale directionnelle (ex: la pluie fait pousser les cultures, mais pas de la même manière selon le type de sol ou de culture). Cela limite leur efficacité sur des tâches où cette causalité est cruciale, comme la prévision de l'humidité du sol ou la prédiction de l'évolution des cultures.

2. Méthodologie : KG-VSF

Les auteurs proposent une nouvelle tâche de préentraînement appelée Knowledge Guided Variable-Step Forecasting (KG-VSF).

A. Concept Central

Contrairement aux méthodes classiques, KG-VSF traite la prévision comme une génération conditionnelle.

Variables Drivers (Conditionnement) : Données météorologiques (température, précipitations, vent) jusqu'à une date future.
Variables Response (Cible) : Images satellites futures.
Objectif : Prédire une image satellite à un temps $T + \delta t$ en utilisant l'historique des images satellites (jusqu'à $T$ ) et les données météorologiques (de $T$ jusqu'à $T + \delta t$ ).

L'idée clé est que le modèle doit apprendre comment les conditions météorologiques passées et futures causent des changements dans la surface terrestre observée par satellite.

B. Architecture du Modèle

L'architecture suit un schéma « Heavy Encoder / Lightweight Decoder » :

Encodeur Satellite (ViT) : Un Vision Transformer partagé extrait les caractéristiques spatiales des bandes spectrales (Sentinel-2) à travers les timestamps.
Encodeur Météo (LSTM) : Un LSTM unidirectionnel encode les séries temporelles de données météorologiques (ERA5) pour capturer leur nature temporelle.
Encodeurs Temporels : Intégration du jour de l'année (DOY) et des deltas de temps entre les images.
Encodeur de Séquence Multimodale : Fusion des embeddings spatiaux, météo et temporels via un Transformer avec attention unidirectionnelle (causale) pour éviter les fuites d'information du futur vers le passé.
Prévisionneur (Forecaster) : Une couche légère qui transforme les embeddings du temps présent vers le futur en utilisant les données météo futures comme conditionnement.
Décodeur : Un MLP léger reconstruit l'image satellite future.

C. Stratégie de Préentraînement en Deux Phases

Pour s'assurer que les embeddings capturent bien la causalité et pas seulement la corrélation, les auteurs proposent un processus en deux phases :

Phase 1 (Reconstruction Masquée) : Entraînement séparé des encodeurs (Satellite et Météo) et de l'encodeur multimodal via des tâches de reconstruction masquée (MAE) pour acquérir des représentations de base solides.
Phase 2 (Prévision) : Introduction du prévisionneur. Le modèle apprend à transformer les embeddings du présent vers le futur en s'appuyant sur les données météo. Cette phase force le modèle à intégrer la relation causale (Météo $\rightarrow$ Changement de surface).

3. Contributions Clés

Nouvelle Tâche de Préentraînement (KG-VSF) : Introduction d'un objectif qui intègre explicitement la connaissance du domaine (causalité météo-surface) dans la fonction de perte, contrairement aux méthodes purement statistiques.
Validation de la Causalité : Démonstration que les embeddings appris capturent des relations physiques cohérentes (via des tests de contrefactuels et de mélange de données).
Performance Supérieure sur Tâches Causales : Preuve expérimentale que KG-VSF surpasse les méthodes de référence (SM-MR, MM-MR, SM-VSF, MM-VSF) sur des tâches dépendantes de la dynamique environnementale.
Ressources Ouvertes : Publication du code et des modèles pré-entraînés.

4. Résultats Expérimentaux

Les auteurs ont évalué leurs modèles sur deux jeux de données (Global et US Cropland) et plusieurs tâches de fine-tuning :

Cartographie des types de cultures (Pixel-wise Crop Mapping) :
- KG-VSF a obtenu le meilleur score F1 moyen (0.7602), surpassant MM-MR (0.7056) et MM-VSF (0.5426).
- Cela démontre que l'intégration de la causalité météo améliore la compréhension des cycles de croissance des cultures.
Estimation et Prévision de l'Humidité du Sol :
- Pour la prédiction : KG-VSF a atteint un $R^2$ de 0.8081, contre 0.7606 pour MM-VSF et 0.6039 pour MM-MR.
- Pour la prévision (jusqu'à 100+ jours) : KG-VSF maintient une performance supérieure, prouvant sa capacité à extrapoler les dynamiques à long terme basées sur la météo.
Prédiction d'Images Manquantes et Prévision d'Images Futures (Zero-Shot) :
- Dans des scénarios de données manquantes (nuages, trous de données), KG-VSF a produit les erreurs quadratiques moyennes (MSE) les plus faibles.
- Analyse qualitative : Les modèles basés sur KG-VSF ont correctement prédit des phénomènes physiques (ex: neige sur les champs, assèchement des lits de rivières, croissance des cultures) là où les modèles basés sur la reconstruction (MR) ou la prévision sans connaissance (VSF) échouaient (ex: ajout de fausse végétation ou d'eau).
Analyse des Embeddings (t-SNE) :
- Les visualisations montrent que KG-VSF forme des clusters plus denses et mieux séparés pour différents types de cultures, indiquant une représentation latente plus structurée et sémantiquement cohérente.
Tests de Robustesse (Contrefactuels et Ablation) :
- Test de contrefactuel : En changeant artificiellement les données météo (ex: météo sèche vs neigeuse), les images prédites par KG-VSF changent physiquement de manière cohérente (ex: apparition de neige sur les zones ouvertes mais pas sous les arbres).
- Test de mélange (Shuffle) : Mélanger les données météo par rapport aux images détruit la performance, confirmant que le gain provient de la relation causale temporelle et non de la simple présence d'une modalité supplémentaire.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la construction de modèles fondation pour les sciences de la Terre :

Au-delà de la Corrélation : Il démontre que l'intégration de connaissances causales (domain knowledge) dans la phase de préentraînement est supérieure à l'accumulation massive de données pour des tâches dynamiques.
Interprétabilité Physique : Les modèles deviennent plus interprétables et physiquement cohérents, ce qui est crucial pour les applications scientifiques (gestion de l'eau, agriculture, surveillance des catastrophes).
Généralisation : Bien que testé sur la télédétection, le cadre KG-VSF est applicable à d'autres domaines où des variables drivers influencent des réponses (santé, finance, climatologie).
Évolutivité : Les résultats montrent que la performance continue de s'améliorer avec la taille des données de préentraînement, suggérant un fort potentiel pour les futurs modèles fondation à très grande échelle.

En conclusion, KG-VSF établit que pour les applications géoscientifiques complexes, comprendre le "pourquoi" (causalité) est aussi important que de comprendre le "quoi" (reconstruction), offrant ainsi une voie prometteuse pour des modèles d'IA plus robustes et fiables.