🤖 AI

EO-Agents: A Three-Agent LLM Pipeline for Earth Observation Hypothesis Generation

Dit artikel introduceert EO-Agents, een drie-agenten LLM-pipeline gebaseerd op de NASA Earth Observation Knowledge Graph die er succesvol in slaagt om wetenschappelijk coherente, nieuwe onderzoekshypothesen te genereren en te evalueren over meerdere aardwetenschappelijke domeinen door gebruik te maken van een heterogene graph neural network om veelbelovende datasetcombinaties te identificeren.

Oorspronkelijke auteurs: Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Beschouw onderzoek naar Earth Observation (EO) als een enorme, chaotische bibliotheek met meer dan 8.000 verschillende "boeken" (datasets) over onze planeet. Elk boek bevat een specifieke stuk informatie: de ene kan gaan over bodemvochtigheid, een andere over wolkenhoogte, en een derde over ijsnelheid.

Decennialang hebben wetenschappers geprobeerd uit te vogelen welke twee boeken samen het beste verhaal vormen wanneer ze samen worden gelezen. Het probleem? Er zijn meer dan een miljoen mogelijke combinaties. Het is alsoos proberen de perfecte twee ingrediënten voor een recept te vinden door elke mogelijke combinatie te proeven in een gigantische keuken. Geen mens kan dat alleen.

Dit artikel introduceert EO-Agents, een nieuwe "slimme keukenassistent" die wetenschappers helpt om deze perfecte ingrediëntcombinaties te vinden en het recept (de hypothese) voor een nieuwe studie te schrijven.

Zo werkt het systeem, opgedeeld in eenvoudige stappen:

1. De Kaart (De Knowledge Graph)

Eerst leest het systeem niet alleen de boeken; het bouwt een enorme, complexe kaart van hoe ze met elkaar verband houden. Denk hierbij aan een metrolijn waarbij elke halte een dataset is.

De Verbindingen: Als twee datasets in het verleden samen in een wetenschappelijk artikel zijn gebruikt, is er een directe treinverbinding tussen hen.
Het Doel: Het systeem wil twee stations vinden die nog geen treinverbinding hebben, maar die er wel zou moeten zijn.

2. De Verkenner (De AI Ranker)

Het systeem gebruikt een gespecialiseerde AI (een Graph Neural Network) om als een verkenner te fungeren. De verkenner bekijkt de kaart en voorspelt welke twee niet-verbonden stations waarschijnlijk goede partners zouden zijn.

De Analogie: Stel je een verkenner voor die naar een kaart van steden kijkt. Zelfs als Stad A en Stad B nog nooit door een weg met elkaar zijn verbonden, ziet de verkenner dat ze beide een vergelijkbaar terrein en vergelijkbare hulpbronnen hebben, waardoor de verkenner voorspelt dat er een weg zou moeten bestaan tussen deze steden.
Het Resultaat: De verkenner selecteert de 200 meest veelbelovende "onverkende" datasetparen.

3. Het Drie-Agenten Team (De LLM Pipeline)

Zodra de verkenner de top 200 paren heeft gevonden, draagt het systeem deze over aan een team van drie AI-"agenten" (gebruikmakend van grote taalmodellen zoals GPT-5.2 en Claude Sonnet 4.6). Zij werken als een productielijn:

Agent 1: De Filter (De Poortwachter)
- Taak: Deze bekijkt de 200 paren en vraagt: "Is deze combinatie eigenlijk zinvol? Is deze nieuw?"
- Actie: Het scoort de paren en selecteert de beste 40. Het is als een talentenjager die zegt: "Deze 40 paren zien eruit alsof ze echt samen zouden kunnen werken in een echt experiment."
Agent 2: De Generator (De Uitvinder)
- Taak: Deze neemt die 40 paren en schrijft een volledig onderzoeksvoorstel.
- Actie: Het zegt niet alleen "Bestudeer deze datasets." Het schrijft een specifiek verhaal: "Als we Dataset X en Dataset Y combineren, kunnen we testen of [Specifieke Wetenschappelijke Vraag] waar is. Hier is hoe we dat zouden doen, en dit is wat we verwachten te vinden."
- De Output: Het creëert 40 gestructureerde, klaar om te testen hypothesen.
Agent 3: De Rechter (De Criticus)
- Taak: Deze leest de 40 voorstellen en beoordeelt ze.
- Actie: De rechter beoordeelt ze op drie punten:
  1. Belang: Maakt dit uit voor de wetenschap?
  2. Behandelbaarheid: Kunnen we deze studie daadwerkelijk uitvoeren met de huidige middelen?
  3. Nieuwigheid: Is dit een fris idee?
- De Twist: De rechter doet dit twee keer voor elk voorstel: één keer blind (ziet alleen de tekst) en één keer contextueel (ziet de werkelijke beschrijvingen van de data). Dit helpt om te controleren of een idee goed klinkt omdat de woorden goed zijn, of omdat de data het idee daadwerkelijk ondersteunt.

Wat hebben ze ontdekt?

Het team heeft dit hele proces uitgevoerd op 1.475 NASA-datasets en kwam uiteindelijk uit op 160 nieuwe, gestructureerde onderzoekshypothesen. Deze bestrijken diverse gebieden zoals glaciologie (ijs), ecohydrologie (water en planten) en atmosferische chemie.

Belangrijke ontdekkingen:

Het Systeem Werkt: De door AI gegenereerde "nieuwe" combinaties werden door de rechters bijna even plausibel beoordeeld als echte, historische combinaties die in daadwerkelijke wetenschappelijke artikelen zijn gevonden. Dit betekent dat het systeem niet zomaar dingen verzint; het vindt wetenschappelijk coherente combinaties die mensen nog niet hebben geprobeerd.
De "Rechter" is Belangrijk: Het team ontdekte een vreemde eigenaardigheid: wie de rechter is, verandert de score. Als je AI-Model A als rechter gebruikt, kan het een hypothese een 4/5 geven. Als je AI-Model B gebruikt, kan het voor diezelfde hypothese een 3/5 geven.
- De Les: Je kunt niet één AI-rechter vertrouwen om een perfect absoluut cijfer te geven. Echter, de rangschikking blijft stabiel. Beide rechters zijn het erover eens welke ideeën de "beste" en welke de "slechtste" zijn, zelfs als ze van mening verschillen over het exacte getal.
Voorbeelden uit de Praktijk: Het systeem kwam met ideeën zoals het combineren van ijs-penetrerende radargegevens met magnetische veldgegevens om te bestuderen hoe ijs over gesteente stroomt, of het mengen van bodemvochtigheidsgegevens met vegetatie-indices om te zien hoe planten reageren op droogte.

De Kernboodschap

Dit artikel presenteert een hulpmiddel dat wetenschappers helpt te navigeren door een enorme oceaan van data. In plaats van te verdrinken in miljoenen mogelijkheden, gebruikt het systeem een kaart om de beste verborgen verbindingen te vinden, en gebruikt het vervolgens een team van AI-agenten om het onderzoeksvoorstel te schrijven en te beoordelen. Het is geen robot die de wetenschap voor je doet; het is een robot die je een lijst geeft met de meest veelbelovende "recepten", zodat jij het gerecht kunt gaan bereiden.

Technische Samenvatting: EO-Agents

Probleemstelling

Aardobservatieonderzoek (EO) is fundamenteel combinatorisch van aard, waarbij de nadruk ligt op de specifieke koppeling van meetproducten (bijv. bodemvocht met vegetatie-indices) in plaats van op enkelvoudige datasets. Terwijl NASA meer dan 8.000 EO-datasets distribueert, overstijgt de combinatorische ruimte van potentiële koppelingen ( $\sim 10^6$ ) de menselijke capaciteit voor surveys ver met gemak. Bestaande door Large Language Models (LLM) aangedreven benaderingen voor wetenschappelijke hypothesegeneratie vertrouwen doorgaans op ongestructureerde literatuurretrieval, waarbij hypothesen worden behandeld als vrije tekstuele claims. Echter, in datarijke observationele domeinen is een bruikbare hypothese onscheidbaar van de specifieke, uitvoerbare meetproducten die nodig zijn om deze te testen. Huidige door literatuur gegronde pipelines falen er vaak in om hypothesen direct aan benoemde datasets te koppelen, waarbij datasetidentificatie wordt behandeld als een bijproduct van tekstgeneratie in plaats van een structurele beperking.

Methodologie

De auteurs stellen EO-Agents voor, een pipeline die hypothesegeneratie direct grondt in de NASA Earth Observation Knowledge Graph (EO-KG) in plaats van in ongestructureerde tekst. Het systeem werkt in drie stadia:

1. Knowledge Graph en GNN Retrieval

Databron: De pipeline maakt gebruik van de EO-KG, een heterogene graaf met 150.351 knopen (inclusief Datasets, Publicaties, Instrumenten, Platformen, etc.) en 436.203 randen.
Supervisie: Co-gebruikssupervisie wordt afgeleid van publicaties die meerdere datasets citeren. Paren worden gelabeld op basis van het publicatiejaar, wat een temporele splitsing creëert: training (papers $\le$ 2022), validatie (2023) en test (2024).
Ranking Model: Een heterogene Graph Neural Network (GNN) gebaseerd op GraphSAGE wordt getraind via linkvoorspelling om kandidaat-datasetkoppelingen te rangschikken.
- Architectuur: Het model gebruikt type-specifieke aggregatoren voor verschillende soorten randen (bijv. co-gebruik, platformbevestiging, trefwoordlidmaatschap). Dataset-knopen worden geïnitialiseerd met 768-dimensionale SPECTER2-embeddings; andere typen knopen gebruiken leerbare embeddings.
- Scoring: Er worden twee scoring-heads geëvalueerd: een dot-product scorer ( $z_{dot}$ ) en een MLP scorer ( $z_{mlp}$ ). De dot-product head presteert beter op "cold-start" paren (waarbij één dataset geen trainingsco-gebruik heeft), terwijl de MLP head uitblinkt in "cross-DAAC" paren (datasets uit verschillende archieven).
- Output: De GNN rangschikt paren op basis van de voorspelde waarschijnlijkheid van co-gebruik, waarbij de top 200 nieuwe paren (die niet aanwezig zijn in de trainings/validatie/test-sets) naar voren komen.

2. Drie-Agent LLM Pipeline

De top 200 kandidaat-paren worden verwerkt door een cascade van drie LLM-agents, elk geïnstantieerd met ofwel GPT-5.2 of Claude Sonnet 4.6. Alle agents opereren bij temperatuur 0 met strikte JSON-output om steekproefvariantie te minimaliseren.

Agent 1 (Filter): Ontvangt het datasetpaar en hun abstracts. Het scoort het paar op Plausibiliteit (1–5) en Nieuwheid (1–5) zonder de gegenereerde hypothese-tekst te zien. Het selecteert de top 40 paren met behulp van een gelaagde regel die een hoge plausibiliteit balanceert met voldoende niewheid.
Agent 2 (Generator): Ontvangt de 40 geselecteerde paren en genereert voor elk een gestructureerde onderzoekshypothese. De output bevat een onderzoeksvraag, toetsbare hypothese, analysemethode, verwachte bevinding, wetenschappelijk belang en domein-tag. Cruciaal is dat deze agent de scores van Agent 1 niet ziet om regressie naar de voorkeuren van de filter te voorkomen.
Agent 3 (Judge): Evalueert de gegenereerde hypothesen op Belang, Traceerbaarheid en Nieuwheid. Deze agent opereert onder twee condities:
- Blind: Ziet alleen de hypothese-tekst.
- Contextueel: Ziet de hypothese-tekst plus de onderliggende dataset-metadata.

3. Factoriële Evaluatie

Om de betrouwbaarheid van LLM-gebaseerde evaluatie te beoordelen, voeren de auteurs een $2 \times 2 \times 2$ factorieel experiment uit over de drie agent-rollen (Filter, Generator, Judge) en de twee oordelingscondities (Blind, Contextueel). Dit levert 640 oordelen op voor 160 hypothesen op, wat een variantie-decompositie van het scoringsproces mogelijk maakt.

Belangrijkste Resultaten

1. Retrieval Performance

De heterogene GNN presteert significant beter dan baselines (Populariteit, Common Neighbors, Adamic–Adar, MF-SVD, en content-only modellen zoals SPECTER2 en BGE-base) over alle testpools heen.

Cold-Start: De GNN bereikt een Hits@10 van 0,519, waarmee het content-baselines (0,477) en structurele heuristieken (0,211) overtreft.
Cross-DAAC: De GNN bereikt een Hits@10 van 0,175 (dot-product) en 0,266 (MLP), wat het vermogen aantoont om datasets over verschillende archieven te koppelen waar content-gelijkenis vaak faalt door generieke wetenschappelijke clichés.
Nieuwheid vs. Plausibiliteit: De door de GNN voorspelde nieuwe paren ontvangen plausibiliteitsscores van LLM-judges die bijna ononderscheidbaar zijn van de uit de testset gehouden werkelijke co-gebruiken uit 2024 publicaties (bijv. 4,38 vs. 4,57 voor GPT), wat aangeeft dat het systeem wetenschappelijk coherente, onverkende combinaties naar voren brengt.

2. Evaluatiebetrouwbaarheid en Variantie-decompositie

Het factoriële experiment levert cruciale inzichten op over de betrouwbaarheid van LLM-als-judge:

Rangschikkingsstabiliteit: De rangschikking van hypothesen is zeer stabiel over verschillende agent-configuraties. 159 van de 160 hypothesen veranderen door maximaal 2 punten in rangorde tussen verschillende judge-condities.
Absolute Score Variantie:
- Belang: Sterk afhankelijk van de Judge Identiteit (25,1% van de variantie). GPT-5.2 scoort belang consequent hoger dan Claude Sonnet 4.6.
- Traceerbaarheid: Wordt gedomineerd door de Blind/Contextuele Conditie (15,8% van de variantie). Hypothesen lijken uitvoerbaarder wanneer judges alleen de tekst zien; het verstrekken van dataset-metadata verlaagt de traceerbaarheidsscores, wat suggereert dat tekst alleen de haalbaarheid overschat.
- Nieuwheid: Vertoont een lage variantie over alle factoren; judges hebben moeite om niewheid tussen paren te onderscheiden.
Inter-rater Overeenkomst: De overeenkomst is het hoogst voor traceerbaarheid ( $\kappa_q \approx 0,47$ ) en het laagst voor belang ( $\kappa_q \approx 0,14$ ), wat bevestigt dat "betekenisvolle vooruitgang" de meest subjectieve metriek is en het meest gevoelig is voor model-priors.

3. Gegenereerde Output

De pipeline produceerde 160 gestructureerde hypothesen verspreid over vijf vlaggenschip-domeinen: ecohydrologie, glaciologie, aerosol-wolk interacties, vegetatiefenologie en stratosferische chemie. Een representatief voorbeeld koppelt de IceBridge airborne magnetometer data aan InSAR-afgeleide Antarctische ijsvelociteit om te hypothetiseren dat subglaciale magnetische anomalieën basal-frictiepatronen voorspellen.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

Gestructureerde Gronding: Het introduceert een hypothesegeneratie-pipeline voor observationeel onderzoek die elke door een LLM gegenereerde hypothese koppelt aan een specifiek paar NASA-datasets via een kennisgraaf-ranker, waarmee het verder gaat dan vrije tekstretrieval.
Wetenschappelijke Coherentie: Het demonstreert dat door het model voorspelde nieuwe paren even plausibel worden beoordeeld als werkelijke, uit de literatuur gehouden co-gebruiken, wat bewijs levert dat de pipeline wetenschelijk coherente ideeën genereert die buiten de trainingsdistributie van het model liggen.
Evaluatiebeperkingen: Het biedt empirisch bewijs dat hoewel hypothese-rangschikkingen stabiel zijn, de absolute scores in LLM-als-judge evaluaties sterk afhankelijk zijn van de specifieke judge-modellen en de beschikbaarheid van contextuele data. Dit benadrukt het risico van het vertrouwen op enkele judge-evaluaties voor absolute scoring in wetenschappelijke ontdekking.

De auteurs benadrukken dat het systeem is ontworpen voor ideatie, niet voor uitvoering. De 160 hypothesen dienen als zaadjes voor menselijk geleid onderzoek en vereisen verificatie door domeinexperts en daadwerkelijke data-analyse voordat ze als bevindingen kunnen worden beschouwd. Het werk claimt niet de menselijke wetenschapper te vervangen, maar de ontdekkingslaag te versterken door actiegerichte, dataset-gegronde onderzoeksrichtingen naar voren te brengen die anders onverkend zouden blijven in de enorme combinatorische ruimte van aardobservatiedata.