🤖 AI

EO-Agents: A Three-Agent LLM Pipeline for Earth Observation Hypothesis Generation

Cet article introduit EO-Agents, un pipeline de LLM à trois agents fondé sur le graphe de connaissances d'observation de la Terre de la NASA, qui génère et évalue avec succès des hypothèses de recherche scientifiquement cohérentes et novatrices à travers de multiples domaines des sciences de la Terre en exploitant un réseau de neurones sur graphes hétérogènes pour identifier des appariements de jeux de données prometteurs.

Auteurs originaux : Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez la recherche en observation de la Terre (EO) comme une immense et chaotique bibliothèque contenant plus de 8 000 « livres » (jeux de données) différents sur notre planète. Chaque livre détient une information spécifique : l'un peut parler de l'humidité du sol, un autre de la hauteur des nuages, et un troisième de la vitesse de la glace.

Pendant des décennies, les scientifiques ont essayé de découvrir quels deux livres forment la meilleure histoire lorsqu'ils sont lus ensemble. Le problème ? Il existe plus d'un million de combinaisons possibles. C'est comme essayer de trouver les deux ingrédients parfaits pour une recette en goûtant chaque combinaison dans une cuisine géante. Aucun humain ne peut faire cela seul.

Ce document présente EO-Agents, un nouvel « assistant de cuisine intelligent » conçu pour aider les scientifiques à trouver ces associations d'ingrédients parfaites et à écrire la recette (l'hypothèse) d'une nouvelle étude.

Voici comment le système fonctionne, décomposé en étapes simples :

1. La Carte (Le Graphe de Connaissances)

D'abord, le système ne se contente pas de lire les livres ; il construit une carte géante et complexe de leurs relations. Considérez cela comme une carte de métro où chaque station est un jeu de données.

Les Connexions : Si deux jeux de données ont été utilisés ensemble dans un article scientifique passé, il existe une ligne de train directe entre eux.
L'Objectif : Le système veut trouver deux stations qui n'ont pas encore de ligne de train, mais qui devraient en avoir une.

2. L'Éclaireur (Le Classeur IA)

Le système utilise une IA spécialisée (un réseau de neurones sur graphe) pour agir comme un éclaireur. Il examine la carte et prédit quelles deux stations déconnectées sont les plus susceptibles d'être de bons partenaires.

L'Analogie : Imaginez un éclaireur regardant une carte de villes. Même si la Ville A et la Ville B n'ont jamais été reliées par une route, l'éclaireur voit qu'elles partagent un terrain et des ressources similaires, il prédit donc qu'une route devrait exister entre elles.
Le Résultat : L'éclaireur choisit les 200 paires de jeux de données « inexplorées » les plus prometteuses.

3. L'Équipe de Trois Agents (Le Pipeline de LLM)

Une fois que l'éclaireur a trouvé les 200 meilleures paires, le système les transmet à une équipe de trois agents IA (utilisant des modèles de langage étendu comme GPT-5.2 et Claude Sonnet 4.6). Ils travaillent comme une chaîne de production :

Agent 1 : Le Filtre (Le Gardien)
- Son travail : Il examine les 200 paires et demande : « Cette combinaison est-elle réellement sensée ? Est-elle nouvelle ? »
- Action : Il les évalue et sélectionne les 40 meilleures. C'est comme un recruteur de talents qui dirait : « Ces 40 paires semblent pouvoir fonctionner ensemble dans une véritable expérience. »
Agent 2 : Le Générateur (L'Inventeur)
- Son travail : Il prend ces 40 paires et rédige une proposition de recherche complète.
- Action : Il ne se contente pas de dire « Étudiez ces éléments ». Il écrit une histoire spécifique : « Si nous combinons le Jeu de Données X et le Jeu de Données Y, nous pouvons tester si [Question Scientifique Spécifique] est vraie. Voici comment nous procéderions, et voici ce que nous nous attendons à trouver. »
- Le Résultat : Il crée 40 hypothèses structurées et prêtes à être testées.
Agent 3 : Le Juge (Le Critique)
- Son travail : Il lit les 40 propositions et les note.
- Action : Il les évalue selon trois critères :
  1. Importance : Cela importe-t-il à la science ?
  2. Tractabilité : Pouvons-nous réellement réaliser cette étude avec les outils actuels ?
  3. Nouveauté : Est-ce une idée fraîche ?
- Le Twist : Le juge effectue ce travail deux fois pour chaque proposition : une fois de manière « aveugle » (ne voyant que le texte) et une fois de manière « contextuelle » (voyant la description réelle des données). Cela permet de vérifier si l'idée semble bonne simplement grâce aux mots, ou si les données la soutiennent réellement.

Qu'ont-ils découvert ?

L'équipe a testé l'ensemble de ce processus sur 1 475 jeux de données de la NASA et a abouti à 160 nouvelles hypothèses de recherche structurées. Celles-ci couvrent des domaines divers tels que la glaciologie (glace), l'écohydrologie (eau et plantes) et la chimie atmosphérique.

Découvertes Clés :

Le Système Fonctionne : Les associations « nouvelles » générées par l'IA ont été jugées presque aussi plausibles que les associations historiques réelles trouvées dans de véritables articles scientifiques. Cela signifie que le système ne se contente pas d'inventer des choses ; il trouve des combinaisons scientifiquement cohérentes que les humains n'ont pas encore essayées.
Le rôle du « Juge » est crucial : L'équipe a découvert une particularité amusante : qui agit en tant que juge modifie le score. Si vous utilisez le Modèle d'IA A comme juge, il pourrait donner une note de 4/5 à une hypothèse. Si vous utilisez le Modèle d'IA B, celui-ci pourrait donner 3/5 à la même hypothèse.
- La Leçon : On ne peut pas faire confiance à un seul juge IA pour donner un score absolu parfait. Cependant, le classement reste stable. Les deux juges sont d'accord sur les idées qui sont les « meilleures » et celles qui sont les « moins bonnes », même s'ils ne sont pas d'accord sur le chiffre exact.
Exemples Réels : Le système a proposé des idées telles que la combinaison de données de radar à pénétration de glace avec des données de champ magnétique pour étudier comment la glace s'écoule sur le socle rocheux, ou le mélange de données d'humidité du sol avec des indices de végétation pour voir comment les plantes réagissent à la sécheresse.

L'Essentiel

Ce document présente un outil qui aide les scientifiques à naviguer dans un océan massif de données. Au lieu de se noyer dans des millions de possibilités, le système utilise une carte pour trouver les connexions cachées les plus pertinentes, puis utilise une équipe d'agents IA pour rédiger la proposition de recherche et l'évaluer. Ce n'est pas un robot qui fait la science à votre place ; c'est un robot qui vous remet une liste des « recettes » les plus prometteuses pour que vous puissiez cuisiner le repas.

Résumé Technique : EO-Agents

Énoncé du Problème

La recherche en observation de la Terre (EO) est fondamentalement combinatoire, reposant sur l'appariement spécifique de produits de mesure (par exemple, l'humidité du sol avec les indices de végétation) plutôt que sur des ensembles de données uniques. Bien que la NASA distribue plus de 8 000 ensembles de données EO, l'espace combinatoire des appariements potentiels ( $\sim 10^6$ ) dépasse largement la capacité humaine d'inventaire. Les approches actuelles utilisant les Grands Modèles de Langage (LLM) pour la génération d'hypothèses scientifiques reposent généralement sur la recherche de littérature non structurée, traitant les hypothèses comme des affirmations textuelles libres. Cependant, dans les domaines observationnels riches en données, une hypothèse utile est inséparable du produit de mesure spécifique et exécutable nécessaire pour la tester. Les pipelines actuels fondés sur la littérature échouent souvent à ancrer directement les hypothèses à des jeux de données nommés, traitant l'identification des données comme un effet secondaire de la génération de texte plutôt que comme une contrainte structurelle.

Méthodologie

Les auteurs proposent EO-Agents, un pipeline qui ancre la génération d'hypothèses directement dans le Graphe de Connaissances d'Observation de la Terre de la NASA (EO-KG) plutôt que dans du texte non structuré. Le système fonctionne en trois étapes :

1. Récupération par Graphe de Connaissances et GNN

Source de Données : Le pipeline utilise l'EO-KG, un graphe hétérogène comprenant 150 351 nœuds (incluant les Datasets, Publications, Instruments, Plateformes, etc.) et 436 203 arêtes.
Supervision : La supervision par co-usage est dérivée de publications citant plusieurs jeux de données. Les paires sont étiquetées selon l'année de publication, créant une division temporelle : entraînement (articles $\le$ 2022), validation (2023) et test (2024).
Modèle de Classement : Un réseau de neurones sur graphe (GNN) hétérogène basé sur GraphSAGE est entraîné via la prédiction de liens pour classer les candidats d'appariement de jeux de données.
- Architecture : Le modèle utilise des agrégateurs spécifiques au type pour différents types d'arêtes (ex: co-usage, montage sur plateforme, appartenance par mot-clé). Les nœuds de jeux de données sont initialisés avec des plongements (embeddings) SPECTER2 de 768 dimensions ; les autres types de nœuds utilisent des plongements apprenables.
- Scoring : Deux têtes de score sont évaluées : un scoreur par produit scalaire ( $z_{dot}$ ) et un scoreur MLP ( $z_{mlp}$ ). La tête par produit scalaire est plus performante sur les paires en "démarrage à froid" (cold-start, où un jeu de données n'a pas de co-usage d'entraînement), tandis que la tête MLP excelle sur les paires "cross-DAAC" (jeux de données provenant d'archives différentes).
- Sortie : Le GNN classe les paires par probabilité de co-usage prédite, faisant remonter les 200 meilleures paires novatrices (celles non observées dans l'entraînement/validation/test).

2. Pipeline LLM à Trois Agents

Les 200 paires candidates sont traitées par une cascade de trois agents LLM, chacun instancié soit avec GPT-5.2, soit avec Claude Sonnet 4.6. Tous les agents opèrent à une température de 0 avec une sortie JSON stricte pour minimiser la variance d'échantillonnage.

Agent 1 (Filtre) : Reçoit la paire de jeux de données et leurs résumés. Il évalue la paire sur la Plausibilité (1–5) et la Nouveauté (1–5) sans voir de texte d'hypothèse généré. Il sélectionne les 40 meilleures paires en utilisant une règle par paliers qui équilibre une haute plausibilité avec une nouveauté suffisante.
Agent 2 (Générateur) : Reçoit les 40 paires sélectionnées et génère une hypothèse de recherche structurée pour chacune. La sortie inclut une question de recherche, une hypothèse testable, une méthode d'analyse, un résultat attendu, l'importance scientifique et un tag de domaine. Crucialement, il ne voit pas les scores de l'Agent 1 pour éviter une régression vers les préférences du filtre.
Agent 3 (Juge) : Évalue les hypothèses générées sur l'Importance, la Tractabilité et la Nouveauté. Cet agent opère sous deux conditions :
- Aveugle (Blind) : Ne voit que le texte de l'hypothèse.
- Contextuelle (Contextual) : Voit le texte de l'hypothèse plus les métadonnées du jeu de données sous-jacent.

3. Évaluation Factorielle

Pour évaluer la fiabilité de l'évaluation par LLM, les auteurs mènent une expérience factorielle $2 \times 2 \times 2$ à travers les trois rôles d'agents (Filtre, Générateur, Juge) et les deux conditions de jugement (Aveugle, Contextuelle). Cela produit 640 jugements pour 160 hypothèses, permettant une décomposition de la variance du processus de notation.

Résultats Clés

1. Performance de Récupération

Le GNN hétérogène surpasse significativement les modèles de référence (Popularité, Voisins Communs, Adamic–Adar, MF-SVD, et les modèles basés uniquement sur le contenu comme SPECTER2 et BGE-base) dans tous les pools de test.

Démarrage à froid (Cold-Start) : Le GNN atteint un Hits@10 de 0,519, surpassant les bases de contenu (0,477) et les heuristiques structurelles (0,211).
Cross-DAAC : Le GNN atteint un Hits@10 de 0,175 (produit scalaire) et 0,266 (MLP), démontrant la capacité de lier des jeux de données entre différentes archives là où la similitude de contenu échoue souvent à cause du jargon scientifique générique.
Nouveauté vs Plausibilité : Les paires novatrices prédites par le GNN reçoivent des scores de plausibilité de la part des juges LLM qui sont presque indiscernables des co-usages réels issus de publications de 2024 (ex: 4,38 contre 4,57 pour GPT), indiquant que le système fait remonter des combinaisons scientifiquement cohérentes et inexplorées.

2. Fiabilité de l'Évaluation et Décomposition de la Variance

L'expérience factorielle révèle des informations critiques sur la fiabilité du "LLM-as-judge" (LLM en tant que juge) :

Stabilité du Classement : Les classements d'hypothèses sont très stables à travers les différentes configurations d'agents. 159 des 160 hypothèses ne changent que de 2 points maximum dans le classement à travers les différentes conditions de jugement.
Variance du Score Absolu :
- Importance : Fortement dépendante de l'Identité du Juge (25,1 % de la variance). GPT-5.2 note systématiquement l'importance plus haut que Claude Sonnet 4.6.
- Tractabilité : Dominée par la Condition Aveugle/Contextuelle (15,8 % de la variance). Les hypothèses semblent plus exécutables lorsque les juges ne voient que le texte ; fournir les métadonnées des données diminue les scores de tractabilité, suggérant que le texte seul surestime la faisabilité.
- Nouveauté : Présente une faible variance sur tous les facteurs, les juges peinant à discriminer la nouveauté entre les types de paires.
Accord Inter-Évaluateurs : L'accord est le plus élevé pour la tractabilité ( $\kappa_q \approx 0,47$ ) et le plus bas pour l'importance ( $\kappa_q \approx 0,14$ ), confirmant que l'avancée "significative" est la métrique la plus subjective et la plus sensible aux biais du modèle.

3. Sortie Générée

Le pipeline a produit 160 hypothèses structurées couvrant cinq domaines phares : l'hydrogéologie, la glaciologie, les interactions aérosols-nuages, la phénologie de la végétation et la chimie de la stratosphère. Un exemple représentatif lie les données de magnétomètre aéroporté IceBridge à la vitesse de glace antarctique dérivée de l'InSAR pour émettre l'hypothèse que les anomalies magnétiques sous-glaciaires prédisent les motifs de friction basale.

Signification et Revendications

L'article revendique trois contributions principales :

Ancrage Structuré : Il introduit un pipeline de génération d'hypothèses pour la science observationnelle qui lie chaque hypothèse générée par LLM à une paire spécifique de jeux de données de la NASA via un classificateur par graphe de connaissances, allant au-delà de la simple recherche de texte libre.
Cohérence Scientifique : Il démontre que les appariements novateurs prédits par le modèle sont jugés aussi plausibles que les co-usages réels de la littérature, fournissant la preuve que le pipeline génère des idées scientifiquement cohérentes au-delà de la distribution d'entraînement du modèle.
Limites de l'Évaluation : Il fournit des preuves empiriques que si les classements d'hypothèses sont stables, les scores absolus dans les évaluations par LLM sont fortement dépendants du modèle de juge spécifique et de la disponibilité des données contextuelles. Cela souligne le risque de s'appuyer sur des évaluations à juge unique pour des scores absolaux en matière de découverte scientifique.

Les auteurs soulignent que le système est conçu pour l'idéation, et non pour l'exécution. Les 160 hypothèses servent de germes pour des investigations menées par l'humain et nécessitent une vérification par des experts du domaine ainsi qu'une analyse réelle des données avant d'être traitées comme des résultats. Le travail ne prétend pas remplacer les scientifiques humains, mais augmenter la couche de découverte en faisant remonter des directions de recherche exploitables et ancrées dans les données qui resteraient autrement inexplorées dans le vaste espace combinatoire des données d'observation de la Terre.