🤖 AI

EO-Agents: A Three-Agent LLM Pipeline for Earth Observation Hypothesis Generation

Dieses Paper stellt EO-Agents vor, eine Drei-Agenten-LLM-Pipeline, die auf dem NASA Earth Observation Knowledge Graph basiert und erfolgreich wissenschaftlich kohärente, neuartige Forschungshypothesen über mehrere Erdwissenschaftsdomänen hinweg generiert und evaluiert, indem sie ein heterogenes Graph-Neural-Network nutzt, um vielversprechende Datensatz-Paarungen zu identifizieren.

Ursprüngliche Autoren: Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mahyar Ghazanfari, Amin Tabrizian, Armin Mehrabian, Peng Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Erdb beobachtungsforschung (Earth Observation, EO) als eine riesige, chaotische Bibliothek vor, die über 8.000 verschiedene „Bücher“ (Datensätze) über unseren Planeten enthält. Jedes Buch hält eine spezifische Information bereit: Eines könnte etwas über Bodenfeuchtigkeit berichten, ein anderes über Wolkenhöhe und ein drittes über die Eisgeschwindigkeit.

Seit Jahrzehnten versuchen Wissenschaftler herauszufinden, welche zwei Bücher zusammen die beste Geschichte ergeben, wenn man sie gemeinsam liest. Das Problem dabei? Es gibt über eine Million mögliche Kombinationen. Es ist, als würde man versuchen, die perfekten zwei Zutaten für ein Rezept zu finden, indem man jede einzelne Kombination in einer riesigen Küche probiert. Kein Mensch kann das allein bewältigen.

Dieses Paper stellt EO-Agents vor, einen neuen „intelligenten Küchenassistenten“, der Wissenschaftlern dabei helfen soll, diese perfekten Zutaten-Paarungen zu finden und das Rezept (die Hypothese) für eine neue Studie zu schreiben.

So funktioniert das System, unterteilt in einfache Schritte:

1. Die Karte (Der Wissensgraph)

Zuerst liest das System nicht einfach nur die Bücher; es erstellt eine riesige, komplexe Karte darüber, wie sie miteinander in Beziehung stehen. Denken Sie an dies als eine U-Bahn-Karte, bei der jeder Datensatz eine Station ist.

Die Verbindungen: Wenn zwei Datensätze in einer vergangenen wissenschaftlichen Arbeit gemeinsam verwendet wurden, gibt es eine direkte Zuglinie zwischen ihnen.
Das Ziel: Das System möchte zwei Stationen finden, zwischen denen noch keine Zuglinie existiert, die aber eigentlich vorhanden sein sollte.

2. Der Scout (Der KI-Ranker)

Das System nutzt eine spezialisierte KI (ein Graph Neural Network), die als Scout fungiert. Der Scout betrachtet die Karte und sagt voraus, welche zwei noch nicht verbundenen Stationen am wahrscheinlichsten gute Partner wären.

Die Analogie: Stellen Sie sich einen Scout vor, der einen Stadtplan betrachtet. Selbst wenn Stadt A und Stadt B noch nie durch eine Straße verbunden wurden, sieht der Scout, dass beide ein ähnliches Gelände und ähnliche Ressourcen haben, und sagt daher voraus, dass dort eine Straße existieren sollte.
Das Ergebnis: Der Scout wählt die 200 vielversprechendsten „unerschlossenen“ Datensatz-Paare aus.

3. Das Drei-Agenten-Team (Die LLM-Pipeline)

Sobdem der Scout die Top-200-Paare gefunden hat, übergibt das System diese an ein Team aus drei KI-„Agenten“ (unter Verwendung von Large Language Models wie GPT-5.2 und Claude Sonnet 4.6). Diese arbeiten wie ein Fließband:

Agent 1: Der Filter (Der Torwächter)
- Aufgabe: Er betrachtet die 200 Paare und fragt: „Ist diese Kombination tatsächlich sinnvoll? Ist sie neu?“
- Aktion: Er bewertet sie und wählt die besten 40 aus. Es ist wie ein Talent-Scout, der sagt: „Diese 40 Paare sehen so aus, als könnten sie tatsächlich zusammenarbeiten in einem echten Experiment.“
Agent 2: Der Generator (Der Erfinder)
- Aufgabe: Er nimmt diese 40 Paare und schreibt einen vollständigen Forschungsvorschlag.
- Aktion: Er sagt nicht nur „Untersuche diese Datensätze“. Er schreibt eine spezifische Geschichte: „Wenn wir Datensatz X und Datensatz Y kombinieren, können wir testen, ob [Spezifische wissenschaftliche Frage] wahr ist. Hier ist, wie wir es machen würden, und hier ist das, was wir erwarten zu finden.“
- Die Ausgabe: Er erstellt 40 strukturierte, bereit zum Testen befindliche Hypothesen.
Agent 3: Der Richter (Der Kritiker)
- Aufgabe: Er liest die 40 Vorschläge und bewertet sie.
- Aktion: Er bewertet sie anhand von drei Kriterien:
  1. Bedeutung: Ist das wichtig für die Wissenschaft?
  2. Durchführbarkeit: Können wir diese Studie mit aktuellen Werkzeugen tatsächlich durchführen?
  3. Neuheit: Ist das eine frische Idee?
- Der Clou: Der Richter führt dies zweimal für jeden Vorschlag durch: einmal blind (er sieht nur den Text) und einmal kontextuell (er sieht die tatsächlichen Datenbeschreibungen). Dies hilft zu prüfen, ob die Idee nur deshalb gut klingt, weil die Worte gut gewählt sind, oder ob die Daten sie tatsächlich stützen.

Was haben sie herausgefunden?

Das Team führte diesen gesamten Prozess an 1.475 NASA-Datensätzen durch und erhielt am Ende 160 neue, strukturierte Forschungshypothesen. Diese decken vielfältige Felder wie Glaziologie (Eis), Ecohydrologie (Wasser und Pflanzen) und atmosphärische Chemie ab.

Wichtige Erkenntnisse:

Das System funktioniert: Die KI-generierten „neuen“ Paarungen wurden von den Richtern fast ebenso plausibel bewertet wie reale, historische Paarungen, die in tatsächlichen wissenschaftlichen Arbeiten zu finden sind. Das bedeutet, das System erfindet nicht einfach Dinge, sondern findet wissenschaftlich kohärente Kombinationen, die Menschen bisher noch nicht ausprobiert haben.
Der „Richter“ spielt eine Rolle: Das Team stellte eine interessante Besonderheit fest: Wer als Richter fungiert, verändert die Bewertung. Wenn man KI-Modell A als Richter verwendet, vergibt es für eine Hypothese vielleicht eine 4/5. Wenn man KI-Modell B verwendet, vergibt dieses für dieselbe Hypothese eine 3/5.
- Die Lehre: Man kann einem einzelnen KI-Richter nicht blind vertrauen, um eine perfekte absolute Punktzahl zu vergeben. Die Rangfolge bleibt jedoch stabil. Beide Richter sind sich einig darüber, welche Ideen die „besten“ und welche die „schlechtesten“ sind, auch wenn sie bei der exakten Zahl divergieren.
Praxisbeispiele: Das System entwickelte Ideen wie die Kombination von eisdurchdringenden Radardaten mit Magnetfelddaten, um zu untersuchen, wie Eis über dem Untergrund fließt, oder die Vermischung von Bodenfeuchtigkeitsdaten mit Vegetationsindizes, um zu sehen, wie Pflanzen auf Dürre reagieren.

Das Fazit

Dieses Paper präsentiert ein Werkzeug, das Wissenschaftlern hilft, durch ein riesiges Meer an Daten zu navigieren. Anstatt in Millionen von Möglichkeiten zu ertrinken, nutzt das System eine Karte, um die besten verborgenen Verbindungen zu finden, und setzt dann ein Team von KI-Agenten ein, um den Forschungsvorschlag zu schreiben und zu bewerten. Es ist kein Roboter, der die Wissenschaft für Sie betreibt; es ist ein Roboter, der Ihnen eine Liste der vielversprechendsten „Rezepte“ überreicht, damit Sie das Essen kochen können.

Technisches Resümee: EO-Agents

Problemstellung

Die Forschung in der Erdbeobachtung (Earth Observation, EO) ist fundamental kombinatorisch geprägt und stützt sich auf die spezifische Paarung von Messprodukten (z. B. Bodenfeuchte mit Vegetationsindizes) statt auf einzelne Datensätze. Während die NASA über 8.000 EO-Datensätze bereitstellt, übersteigt der kombinatorische Raum potenzieller Paarungen ( $\sim 10^6$ ) die menschliche Kapazität zur Erfassung bei weitem. Bestehende Ansätze mittels Large Language Models (LLMs) für die Generierung wissenschaftlicher Hypothesen verlassen sich typischerweise auf die unstrukturierte Literaturrecherche und behandeln Hypothesen als freiformhafte textuelle Behauptungen. In datenreichen Beobachtungsdomänen ist eine nützliche Hypothese jedoch untrennbar mit den spezifischen, ausführbaren Messprodukten verbunden, die für ihre Überprüfung erforderlich sind. Aktuelle, literaturbasierte Pipelines versagen oft darin, Hypothesen direkt an benannten Datensätzen zu verankern, da sie die Identifizierung von Datensätzen als Nebeneffekt der Textgenerierung behandeln statt als strukturelle Randbedingung.

Methodik

Die Autoren schlagen EO-Agents vor, eine Pipeline, die die Hypothesengenerierung direkt im NASA Earth Observation Knowledge Graph (EO-KG) verankert, anstatt auf unstrukturiertem Text zu basieren. Das System operiert in drei Stufen:

1. Knowledge Graph und GNN-Retrieval

Datenquelle: Die Pipeline nutzt den EO-KG, einen heterogenen Graphen mit 150.351 Knoten (einschließlich Datensätze, Publikationen, Instrumente, Plattformen usw.) und 436.203 Kanten.
Supervision: Die Co-Usage-Supervision wird aus Publikationen abgeleitet, die mehrere Datensätze zitieren. Paare werden basierend auf dem Publikationsjahr gelabelt, was einen zeitlichen Split erzeugt: Training (Paper $\le$ 2022), Validierung (2023) und Test (2024).
Ranking-Modell: Ein auf einem heterogenen Graph Neural Network (GNN) basierender GraphSAGE-Ansatz wird mittels Link-Prediction trainiert, um Kandidaten-Datensatzpaare zu ranken.
- Architektur: Das Modell verwendet typspezifische Aggregatoren für verschiedene Kantenarten (z. B. Co-Usage, Plattformmontage, Keyword-Mitgliedschaft). Datensatz-Knoten werden mit 768-dimensionalen SPECTER2-Embeddings initialisiert; andere Knotentypen nutzen lernbare Embeddings.
- Scoring: Es werden zwei Scoring-Heads evaluiert: ein Dot-Product-Scorer ( $z_{dot}$ ) und ein MLP-Scorer ( $z_{mlp}$ ). Der Dot-Product-Head schneidet besser bei „Cold-Start“-Paaren ab (bei denen ein Datensatz keine Trainings-Co-Usage aufweist), während der MLP-Head bei „Cross-DAAC“-Paaren (Datensätze aus verschiedenen Archiven) exzelliert.
- Output: Das GNN rankt Paare nach der vorhergesagten Co-Usage-Wahrscheinlichkeit und liefert die Top 200 neuartigen Paare (solche, die nicht in den Trainings-/Validierungs-/Test-Sets beobachtet wurden).

2. Drei-Agenten-LLM-Pipeline

Die Top 200 Kandidatenpaare werden durch eine Kaskade aus drei LLM-Agenten verarbeitet, die jeweils mit GPT-5.2 oder Claude Sonnet 4.6 instanziiert sind. Alle Agenten arbeiten mit einer Temperatur von 0 und striktem JSON-Output, um die Sampling-Varianz zu minimieren.

Agent 1 (Filter): Erhält das Datensatzpaar und deren Abstracts. Er bewertet das Paar hinsichtlich Plausibilität (1–5) und Neuheit (1–5), ohne den generierten Hypothesentext zu sehen. Er wählt die Top 40 Paare mittels einer gestuften Regel aus, die eine hohe Plausibilität mit ausreichender Neuheit abwägt.
Agent 2 (Generator): Erhält die 40 ausgewählten Paare und generiert für jedes eine strukturierte Forschungshypothese. Der Output umfasst eine Forschungsfrage, eine testbare Hypothese, eine Analysemethode, ein erwartetes Ergebnis, die wissenschaftliche Bedeutung und ein Domain-Tag. Entscheidend ist, dass er die Scores von Agent 1 nicht sieht, um eine Regression hin zu den Filter-Präferenzen zu verhindern.
Agent 3 (Judge): Evaluiert die generierten Hypothesen auf Bedeutung (Importance), Durchführbarkeit (Tractability) und Neuheit (Novelty). Dieser Agent operiert unter zwei Bedingungen:
- Blind: Sieht nur den Hypothesentext.
- Kontextuell: Sieht den Hypothesentext plus die zugrunde liegenden Metadaten des Datensatzes.

3. Faktorielles Experiment

Um die Zuverlässigkeit der LLM-basierten Evaluierung zu bewerten, führen die Autoren ein $2 \times 2 \times 2$ faktorielles Experiment über die drei Agentenrollen (Filter, Generator, Judge) und die zwei Judging-Bedingungen (Blind, Kontextuell) durch. Dies ergibt 640 Urteile für 160 Hypothesen, was eine Varianzzerlegung des Scoring-Prozesses ermöglicht.

Kernergebnisse

1. Retrieval-Performance

Das heterogene GNN übertrifft die Baselines (Popularity, Common Neighbors, Adamic–Adadar, MF-SVD und inhaltsbasierte Modelle wie SPECTER2 und BGE-base) in allen Test-Pools signifikant.

Cold-Start: Das GNN erreicht ein Hits@10 von 0,519 und übertrifft damit Inhalts-Baselines (0,477) und strukturelle Heuristiken (0,211).
Cross-DAAC: Das GNN erreicht ein Hits@10 von 0,175 (Dot-Product) und 0,266 (MLP), was die Fähigkeit demonstriert, Datensätze über verschiedene Archive hinweg zu verknüpfen, wo die Inhaltsähnlichkeit aufgrund generischer wissenschaftlicher Floskeln oft versagt.
Neuheit vs. Plausibilität: Die vom GNN vorhergesagten neuartigen Paare erhalten von LLM-Judges Plausibilitätsbewertungen, die nahezu ununterscheidbar von den gehaltenen realen Co-Usages aus 2024-Publikationen sind (z. B. 4,38 vs. 4,57 für GPT), was darauf hindeutet, dass das System wissenschaftlich kohärente, unerforschte Kombinationen aufspürt.

2. Evaluierungszuverlässigkeit und Varianzzerlegung

Das faktorielle Experiment liefert kritische Erkenntnisse über die Zuverlässigkeit von LLM-as-judge:

Ranking-Stabilität: Die Rankings der Hypothesen sind über verschiedene Agenten-Konfigurationen hinweg hochgradig stabil. 159 von 160 Hypothesen ändern ihren Rang über verschiedene Judge-Bedingungen hinweg um maximal 2 Punkte.
Absolute Score-Varianz:
- Bedeutung (Importance): Hängt stark von der Identität des Judges ab (25,1 % der Varianz). GPT-5.2 bewertet die Bedeutung konsistent höher als Claude Sonnet 4.6.
- Durchführbarkeit (Tractability): Wird dominiert durch die Blind/Kontextuell-Bedingung (15,8 % der Varianz). Hypothesen erscheinen durchführbarer, wenn die Judges nur den Text sehen; die Bereitstellung von Datensatz-Metadaten senkt die Durchführbarkeitswerte, was darauf hindeutet, dass der Text allein die Machbarkeit überzeichnet.
- Neuheit (Novelty): Zeigt eine geringe Varianz über alle Faktoren hinweg; die Judges haben Schwierigkeiten, zwischen Paar-Typen hinsichtlich der Neuheit zu differenzieren.
Inter-Rater-Agreement: Die Übereinstimmung ist am höchsten für die Durchführbarkeit ( $\kappa_q \approx 0,47$ ) und am geringsten für die Bedeutung ( $\kappa_q \approx 0,14$ ), was bestätigt, dass „bedeutender Fortschritt“ die subjektivste Metrik ist und am stärksten auf Modell-Priors reagiert.

3. Generierter Output

Die Pipeline produzierte 160 strukturierte Hypothesen, die fünf Flaggschiff-Domänen abdecken: Ökohydrologie, Glaziologie, Aerosol-Wolken-Interaktionen, Vegetationsphänologie und Stratosphärenchemie. Ein repräsentatives Beispiel verknüpft IceBridge Airborne Magnetometer-Daten mit InSAR-abgeleiteter antarktischer Eisgeschwindigkeit, um zu hypothetisieren, dass subglaziale magnetische Anomalien die Basisreibungsmuster vorhersagen.

Signifikanz und Ansprüche

Das Paper beansprucht drei primäre Beiträge:

Strukturierte Verankerung: Es führt eine Hypothesengenerierungs-Pipeline für die Beobachtungswissenschaft ein, die jede LLM-generierte Hypothese über einen Knowledge-Graph-Ranker an ein spezifisches Paar von NASA-Datensätzen bindet und so über die freiformhafte Textrecherche hinausgeht.
Wissenschaftliche Kohärenz: Es zeigt, dass die modellvorhergesagten neuartigen Paarungen in ihrer Plausibilität den realen, gehaltenen Literatur-Co-Usages nahekommen, was ein Beleg dafür ist, dass die Pipeline wissenschaftlich kohärente Ideen jenseits der Trainingsverteikation des Modells generiert.
Evaluierungsbeschränkungen: Es liefert empirische Belege dafür, dass zwar die Hypothesen-Rankings stabil sind, die absoluten Scores in LLM-as-judge-Evaluierungen jedoch stark von dem spezifischen Judge-Modell und der Verfügbarkeit kontextueller Daten abhängen. Dies verdeutlicht das Risiko, sich bei der absoluten Bewertung auf Single-Judge-Evaluierungen zu verlassen.

Die Autoren betonen, dass das System zur Ideengenerierung (Ideation) konzipiert ist, nicht zur Ausführung. Die 160 Hypothesen dienen als Keimzellen für die menschliche Untersuchung und erfordern eine fachliche Verifizierung sowie tatsächliche Datenanalysen, bevor sie als Ergebnisse behandelt werden können. Die Arbeit beansprucht nicht, menschliche Wissenschaftler zu ersetzen, sondern die Entdeckungsebene zu erweitern, indem sie handlungsrelevante, datensatz-gegrundete Forschungsrichtungen aufzeigt, die in dem riesigen kombinatorischen Raum der Erdbeobachtungsdaten andernfalls unentdeckt geblieben wären.