🤖 machine learning

Mini-JEPA Foundation Model Fleet Enables Agentic Hydrologic Intelligence

Ce papier présente Mini-JEPAs, une flotte de modèles de base spécialisés et légers qui, orchestrés par un agent de routage, surpassent un modèle géospatial unique à grande échelle dans les tâches d'intelligence hydrologique tout en offrant une meilleure accessibilité et une efficacité computationnelle accrue.

Auteurs originaux : Mashrekur Rahman

Publié 2026-05-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mashrekur Rahman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre les systèmes hydriques de la Terre, mais que vous ne disposez que d'une seule encyclopédie géante, toute-puissante. Appelons cette encyclopédie « AlphaEarth ». Elle est immense. Elle sait un peu de tout : forêts, déserts, rivières et villes. Elle est excellente pour des questions générales comme « À quoi ressemble ce continent ? »

Mais que se passe-t-il si vous posez une question très précise, telle que « À quel point le sol juste sous ce nuage est-il humide ? » ou « Comment la température évolue-t-elle dans cette vallée spécifique ? » L'encyclopédie géante pourrait alors devenir un peu floue. Ayant tenté d'apprendre tout à la fois, elle pourrait avoir dilué les détails spécifiques nécessaires à ces questions délicates. De plus, cette encyclopédie est si grande et si coûteuse que seule une poignée de personnes peut même l'ouvrir.

Les chercheurs de cet article ont décidé d'essayer une approche différente. Au lieu d'un seul cerveau géant, ils ont construit une équipe de cinq petits experts spécialisés. Ils appellent cette équipe la « Flotte Mini-JEPA ».

L'équipe de spécialistes

Imaginez ces cinq Mini-JEPA comme cinq détectives différents, chacun portant une paire de lunettes unique :

Le détective optique : Porte des lunettes qui voient la lumière visible (comme un appareil photo ordinaire). Il est excellent pour observer ce que font les plantes et à quoi ressemble le sol lorsque le soleil brille.
Le détective radar : Porte des lunettes qui voient à travers les nuages grâce aux ondes radio. Il peut « sentir » à quel point le sol est rugueux ou à quel point le sol est humide, même pendant une tempête.
Le détective thermique : Porte des lunettes thermiques qui voient la température. Il sait exactement à quel point le sol est chaud ou froid, jour ou nuit.
Le détective saisonnier : Porte des lunettes qui suivent l'évolution des plantes au cours des quatre saisons. Il comprend le rythme de la croissance printanière et de la dormance hivernale.
Le détective du terrain : Porte des lunettes qui voient la forme du relief et le type de sol. Il connaît l'altitude et la façon dont l'eau pourrait s'écouler sur une colline.

Comment ils ont été formés

Les chercheurs n'ont pas simplement deviné ce que ces experts devraient savoir. Ils les ont formés en utilisant une méthode ingénieuse appelée JEPA.

Habituellement, lorsque vous enseignez à un ordinateur à voir, vous lui montrez une image et lui demandez de redessiner les parties manquantes pixel par pixel. C'est comme demander à un élève de recopier un manuel mot pour mot. C'est lent et force l'élève à mémoriser le « bruit » (comme la neige sur un écran de télévision).

Au lieu de cela, ces Mini-JEPA ont été appris à prédire le sens des parties manquantes. C'est comme montrer à un détective quelques indices et lui demander : « Quelle est l'histoire la plus probable ici ? » Cela leur a permis d'apprendre la physique de leur capteur spécifique (comme le comportement de la chaleur ou la réflexion du radar) sans se laisser distraire par les détails désordonnés des images brutes.

Comme ils ont tous été formés sur exactement la même architecture informatique mais avec des « lunettes » différentes, les chercheurs ont pu prouver que toute différence dans leurs cerveaux provenait strictement des capteurs qu'ils utilisaient, et non de la façon dont ils ont été enseignés.

L'agent « Routeur »

Avoir cinq experts est formidable, mais il faut quelqu'un pour décider qui interroger. Les chercheurs ont construit un agent Routeur (alimenté par un grand modèle de langage).

Lorsque vous posez une question comme « Y a-t-il une inondation sous ces nuages ? », le Routeur lit une petite « carte d'identité » pour chaque expert. Cette carte indique au Routeur ce que chaque expert maîtrise.

Le Routeur voit « nuages » et « inondation ».
Il sait que le détective optique ne peut pas voir à travers les nuages.
Il sait que le détective radar peut voir à travers les nuages et est sensible à l'eau.
Ainsi, le Routeur envoie la question spécifiquement au détective radar.

Ce qu'ils ont découvert

L'article a testé ce système contre l'encyclopédie géante « AlphaEarth » et a découvert certaines choses intéressantes :

La spécialisation fonctionne : Chaque Mini-JEPA était le meilleur pour prédire ce que son capteur voit physiquement. Le détective thermique était incroyable pour prédire la température ; le détective du terrain était incroyable pour prédire l'altitude.
Différentes formes de cerveau : Même s'ils sont de la même taille, leurs « cerveaux » (appelés mathématiquement variétés) ont des formes différentes. Le cerveau du détective thermique est très simple et lisse (comme une ligne droite), tandis que celui du détective radar est complexe et irrégulier (comme un morceau de papier froissé). Cela prouve qu'ils traitent le monde de manière fondamentalement différente.
Mieux ensemble : Lorsque les chercheurs ont combiné les Mini-JEPA avec la gigantesque AlphaEarth, ils ont obtenu de meilleures réponses pour des éléments spécifiques comme l'humidité du sol et les précipitations que ce qu'AlphaEarth pouvait obtenir seule.
Le « Routeur » gagne : Lorsque le Routeur choisissait le bon expert pour la tâche, les réponses étaient beaucoup plus précises et ancrées dans la réalité que lorsque l'encyclopédie géante tentait de répondre à tout seule.

La conclusion

L'article soutient que vous n'avez pas toujours besoin d'un superordinateur massif, coûteux et à l'échelle planétaire pour comprendre la Terre. Vous pouvez construire une flotte de petits modèles spécialisés et peu coûteux, qui peuvent être formés sur un seul ordinateur.

En utilisant un « Routeur » intelligent pour choisir le bon spécialiste pour la tâche, vous pouvez obtenir des réponses tout aussi bonnes (voire parfois meilleures) que les modèles géants, mais avec beaucoup moins de puissance de calcul et plus de transparence. C'est la différence entre embaucher un généraliste surchargé qui sait un peu de tout, et embaucher une équipe de cinq experts concentrés qui savent exactement ce qu'ils font.

Résumé technique : Une flotte de modèles de base Mini-JEPA permet une intelligence hydrologique agentic

Énoncé du problème

Les modèles de base géospatiaux suivent généralement un paradigme « généraliste » : l'entraînement d'un modèle unique et massif sur des données multispectrales, radar et atmosphériques diverses pour produire un espace d'incorporation universel. Bien que cette approche soit efficace pour une caractérisation large, elle rencontre trois limitations critiques dans des domaines spécialisés comme l'hydrologie :

Compromis du signal : Un espace d'incorporation unique doit allouer des dimensions à des phénomènes ayant des origines physiques distinctes (par exemple, la réflectance optique par rapport à la rétrodiffusion micro-ondes). Cela conduit souvent à sous-pondérer les signaux spécialisés pertinents pour des tâches hydrologiques spécifiques.
Accessibilité et coût : Les modèles à l'échelle planétaire (par exemple, Google AlphaEarth) sont coûteux à entraîner, souvent fermés, et nécessitent d'énormes ressources de calcul, ce qui les rend inaccessibles pour de nombreux groupes de recherche et difficiles à auditer ou à étendre.
Manque de spécialisation : Les modèles généralistes peuvent ne pas capturer les signaux physiques nuancés requis pour un raisonnement hydrologique spécialisé, où les données pertinentes résident souvent dans une modalité de capteur spécifique.

Les auteurs proposent qu'au lieu d'un modèle monolithique unique, une flotte de petits modèles spécialisés par capteur, gérée par un routeur agentic, pourrait offrir une alternative plus efficace, interprétable et performante pour l'intelligence hydrologique.

Méthodologie

1. La flotte Mini-JEPA

La contribution centrale est une flotte de cinq modèles de base Mini-JEPA (Joint Embedding Predictive Architecture).

Architecture : Les cinq modèles partagent une colonne vertébrale identique Vision Transformer-Small (ViT-S) (12 couches, 6 têtes d'attention, dimension cachée 384) et un espace de sortie de 64 dimensions pour assurer une comparabilité directe avec des modèles à l'échelle planétaire comme AlphaEarth.
Recette d'entraînement : Ils utilisent l'objectif d'entraînement I-JEPA combiné à un régularisateur VICReg. Contrairement aux Autoencodeurs Masqués (MAE) qui reconstruisent les pixels (forçant le modèle à apprendre le bruit spécifique au capteur), JEPA prédit des représentations latentes masquées. Cela permet d'appliquer la même recette d'entraînement à différentes modalités de capteurs sans biais envers des profils de bruit spécifiques (par exemple, le speckle SAR ou les rayures MODIS).
Données : Chaque modèle est pré-entraîné sur un produit satellite distinct de Google Earth Engine couvrant 9 704 patches (128x128 pixels, résolution 30m) à travers les États-Unis continentaux (CONUS) pour l'année 2022. Les cinq modalités sont :
1. S2-Optical : Réflectance de surface Sentinel-2 (médiane annuelle).
2. S1-SAR : SAR à double polarisation Sentinel-1 (VV+VH).
3. MODIS-Thermal : Température de surface terrestre MODIS (jour/nuit).
4. S2-Phenology : Composites trimestriels Sentinel-2 capturant la dynamique saisonnière.
5. Topo-Soil : Une pile de propriétés d'élévation/pente/aspect SRTM et de SoilGrids.

2. Cadre d'évaluation

Les auteurs caractérisent la flotte selon trois axes :

Interprétabilité au niveau des dimensions : Utilisation des corrélations de Spearman et de l'importance par permutation des forêts aléatoires pour mapper les dimensions d'incorporation aux variables environnementales (par exemple, humidité du sol, précipitations, température).
Géométrie de la variété : Analyse de la structure géométrique des espaces d'incorporation de 64 dimensions via les ratios de participation globaux (dimensionnalité effective) et la dimensionnalité intrinsèque locale (basée sur k-NN).
Complémentarité : Utilisation de l'Analyse en Corrélations Canoniques (CCA) et de la régression conjointe par forêt aléatoire pour déterminer si les Mini-JEPA fournissent des informations non déjà capturées par AlphaEarth.

3. Système agentic

Un agent de routage (LLM) a été mis en œuvre pour opérationnaliser la flotte :

Cartes de référence : Chaque Mini-JEPA est résumé dans une « carte de référence » compacte contenant son dictionnaire de dimensions, son profil géométrique, sa description de signal physique et ses métriques de performance prédictive.
Logique de routage : Étant donné une question hydrologique en langage naturel, le routeur LLM lit ces cartes et émet un plan structuré pour interroger des Mini-JEPA spécifiques (et optionnellement AlphaEarth).
Récupération et synthèse : Les modèles sélectionnés effectuent une récupération par k-plus proches voisins contre des indices FAISS. Un LLM de synthèse combine le contexte récupéré pour générer une réponse finale.

Résultats clés

1. La physique des capteurs guide la spécialisation

Chaque Mini-JEPA a démontré sa meilleure compétence prédictive sur la variable environnementale physiquement correspondante à son capteur :

MODIS-Thermal : A atteint $R^2 = 0,97$ pour la température moyenne annuelle.
Topo-Soil : A atteint $R^2 = 0,97$ pour l'élévation.
S2-Phenology : A atteint $R^2 = 0,81$ pour les précipitations (via la réponse de la végétation).
S1-SAR : A atteint $R^2 = 0,62$ pour les précipitations.
S2-Optical : A atteint $R^2 = 0,73$ pour l'aridité.
Il est à noter que les schémas de performance de la flotte n'étaient pas de simples recherches de correspondance capteur-variable, mais reflétaient des processus de surface complexes (par exemple, la phénologie prédit mieux les précipitations que le SAR). Tous les modèles ont eu des difficultés avec la couverture terrestre catégorielle (NLCD), suggérant une limitation de la tâche plutôt qu'un échec du modèle.

2. Géométries de variétés distinctes

Les cinq modèles ont produit des variétés d'incorporation avec des structures géométriques distinctes, reflétant leur physique de capteur :

Dimensionnalité globale : Variée de 8,9 (S1-SAR) à 20,2 (MODIS-Thermal).
Complexité locale : S1-SAR présentait une forte complexité locale (moyenne locale $n_{80} \approx 6,0$ ), tandis que MODIS-Thermal était presque unidimensionnel localement ( $n_{80} \approx 2,0$ ), cohérent avec une température variant le long de gradients lisses.
Cela confirme que la fixation de l'architecture et de la recette isole le capteur comme le principal moteur des différences structurelles.

3. Complémentarité avec AlphaEarth

Valeur ajoutée : La combinaison de Topo-Soil ou de S2-Phenology avec AlphaEarth a produit des gains positifs ( $\Delta R^2$ jusqu'à 0,031) pour l'humidité du sol, l'aridité et les précipitations.
Redondance : Pour les variables où AlphaEarth performait déjà bien (température, élévation), les Mini-JEPA offraient peu de gain supplémentaire, bien qu'ils puissent égaler individuellement les performances d'AlphaEarth.
Substitution : Sur les variables correspondant à la physique, un seul Mini-JEPA (22 millions de paramètres) pouvait se substituer au généraliste à l'échelle planétaire, atteignant des scores $R^2$ comparables avec une fraction du calcul.

4. Performance agentic

Précision du routage : Le routeur LLM a atteint un taux de réussite de 100 % sur les modalités attendues pour un ensemble curaté de 40 questions.
Qualité de la réponse : Dans les évaluations « LLM-as-Judge » :
- Agrégat : Le système de double récupération (AlphaEarth + Flotte) n'a montré que des gains agrégats modestes par rapport à AlphaEarth seul ( $\Delta \approx +0,021$ ), en grande partie dû à la saturation des scores sur les questions larges.
- Questions à modalité unique : Pour les questions où le signal physique réside clairement dans un seul capteur, la flotte routée a nettement surpassé AlphaEarth seul ( $d$ de Cohen = 1,10, $p = 0,031$ ).
- Substitution : La flotte routée seule a performé de manière comparable à AlphaEarth sur les questions correspondant à la physique, validant son utilisation comme alternative autonome lorsque les généralistes ne sont pas disponibles.

Importance et revendications

L'article revendique que les Mini-JEPA spécialisés et entraînés localement offrent une voie viable et complémentaire aux modèles de base à l'échelle planétaire pour les sciences de l'environnement.

Démocratisation : La conception de la flotte abaisse la barrière à l'entrée, permettant aux institutions disposant de ressources de calcul modestes (un seul GPU de station de travail) de construire, auditer et étendre des incorporations environnementales sur mesure.
Interprétabilité : En séparant les modèles par physique de capteur, le système offre une interprétabilité plus claire concernant quels signaux physiques entraînent des prédictions spécifiques, contrairement à la nature « boîte noire » des incorporations généralistes.
Flexibilité agentic : L'agent de routage compose avec succès ces spécialistes en un système fonctionnel qui s'adapte aux exigences physiques d'une requête, surpassant les généralistes sur des tâches spécialisées.
Coexistence : Les auteurs envisagent un avenir où les incorporations généralistes et les flottes de spécialistes coexistent, les agents sélectionnant dynamiquement l'outil approprié en fonction de la physique de la question.

Les auteurs restent modestes, reconnaissant des limitations telles que la restriction aux données CONUS, le corpus d'entraînement d'une seule année, et la saturation des scores LLM-as-Judge sur les questions larges. Ils suggèrent que les travaux futurs devraient explorer la spécialisation par régime hydrologique (par exemple, neige, aride) et échelle temporelle, et tester la généralisation géographique au-delà du domaine d'entraînement.