Technisch Overzicht: Het brengen van Agentic Search naar Earth Observation Data Discovery

Probleemstelling

De ontdekking van Earth observation data (aardobservatiedata) wordt niet gekenmerkt door een tekort aan data, maar door de moeilijkheid van het navigeren door gefragmenteerde metadata, diverse tools en complexe toegangswegen over duizenden datasets die worden gehost door NASA en haar Distributed Active Archive Centers (DAACs). Hoewel Large Language Models (LLMs) een natuurlijke interface bieden voor het uitdrukken van retrieval-intenties, staat hun directe toepassing in de geowetenschappen voor twee primaire uitdagingen:

1. Domeinkennisgat: De algemene pre-training corpora van LLM's missen specifieke geowetenschappelijke observatiedata en domeinkennis, wat leidt tot een onnauwkeurig begrip van domeinspecifieke queries.
2. Contextbeperkingen: Zelfs met Retrieval-Augmented Generation (RAG) beperkt het contextvenster van de LLM het aantal kandidaten dat het kan verwerken. Attention decay in lange contexten betekent dat alleen de hoogst gerangschikte kandidaten de uiteindelijke antwoorden beïnvloeden, waardoor de kwaliteit van de ranking een kritieke bottleneck vormt. Bovendien vertonen algemene embedding-modellen vaak een systematische gemiddelde bias die de afstanden voor geowetenschappelijke terminologie verkeerd afstemt.

Het paper stelt dat de latente waarde van Knowledge Graphs (KGs) kan worden versterkt door agentic search, waarbij een LLM autonoom externe tools aanroept om zijn redenering te funderen, in plaats van enkel te vertrouwen op statische, vooraf gebouwde indices of interne kennis.

Methodologie

Het voorgestelde systeem is een driefasige agentic search-pipeline die is ontworpen voor het ophalen en herrangschikken van Earth observation datasets:

1. Pipeline Architectuur

• Fase 1: Router (Officiële Tools): Het systeem probeert eerst queries op te lossen met behulp van het bestaande NASA-ecosysteem (Harmony, Science Discovery Engine, WorldView, Giovanni). Als een tool de aanvraag volledig vervult, wordt de pipeline vroegtijdig beëindigd met output voorzien van provenance-annotaties.
• Fase 2: Hybride Retrieval: Als officiële tools onvoldoende zijn, haalt het systeem kandidaten op uit de NASA Common Metadata Repository (CMR) corpus via een hybride aanpak:
  • Lexicale Verankering: Gebruikt BM25 om exacte wetenschappelijke identificatoren (missienamen, instrumentcodes) te vangen, die fungeren als precisie-signalen met een hoge nauwkeurigheid.
  • Taakadaptieve Semantische Scoring: Adresseert domeinverschuiving en paar-specifieke bias. De auteurs stellen twee methoden voor:
    • NN-SSC (Neural Score Correction): Houdt de backbone encoder bevroren en traint een lichtgewicht Multi-Layer Perceptron (MLP) op geconcateneerde query-dataset embeddings om een relevantiescore te produceren. Dit maakt niet-lineaire, paar-specifieke correcties mogelijk.
    • Encoder Fine-tuning: Fine-tunt de sentence transformer direct op (query, positieve, hard-negatieve) triples.
  • Hybride Fusie: Combineert BM25 en neurale scores via een convexe combinatie ($\alpha \cdot \hat{s}_{NN} + (1-\alpha) \cdot \hat{s}_{BM25}$). Het gewicht $\alpha$ wordt analytisch afgeleid op basis van de relatieve standalone prestaties van de scorers om tuning op de testset te vermijden.
• Fase 3: Agentic Reranking: Een top-$K$ venster van kandidaten wordt doorgegeven aan een LLM. In tegen tegenstelling tot standaard reranking, is de agentic versie uitgerust met autonome tool-toegang. Voordat de ranking plaatsvindt, voert het model een vijfstaps-routine uit:
  1. Zoek op arXiv naar relevante papers.
  2. Gebruik web search voor extra context.
  3. Disambigueer kandidaat-beschrijvingen via web search.
  4. Redeneer stap-voor-stap over de geschiktheid.
  5. Produceer de uiteindelijke gerangschikte lijst.
     Dit staat in contrast met een single-shot LLM rerank, die uitsluitend vertrouwt op ingesloten kandidaat-tekst zonder tool calls.

2. Benchmark Constructie: NASA-EO-Bench

Om een rigoureuze evaluatie mogelijk te maken, hebben de auteurs NASA-EO-Bench geconstrueerd, afgeleid van de NASA Earth Observation Knowledge Graph (NASA EO-KG).

• Bron: 10.636 meest geciteerde peer-reviewed publicaties.
• Ground Truth: "Silver labels" worden gevormd door de datasets die expliciet worden geciteerd in de "USES DATASET" edges van de KG.
• Schaal: 47.654 query-dataset paren (21.272 taakgebaseerde queries) verdeeld in trainingssets (38k paren) en testsets (9.5k paren).
• Query Generatie: LLM's genereren "Ik wil graag..." stijl queries vanuit paper abstracts, waarbij de intentie van experts wordt gesimuleerd.
• Metrics:
  • Citatie-gebaseerd: Recall@K, Mean Average Precision (MAP), Mean Reciprocal Rank (MRR).
  • Semantisch: LLM-as-a-Judge Precision@K (gebruikmakend van Qwen3.6-35B-A3B om te beoordelen of een dataset de vereiste fysieke variabele meet).

Belangrijkste Resultaten

Experimenten werden uitgevoerd op de NASA-EO-Bench testset met diverse baselines en de voorgestelde methoden:

1. Prestaties van de Retrieval Suite:

   • De ongeadapteerde cosine baseline presteerde slecht (R@10 = 0.0755), wat een significante domeinverschuiving aantoont.
   • De NN-SSC + BM25 (Hybrid) aanpak behaalde de beste Ground Truth metrieken, waarbij de Recall@10 steeg naar 0.4275 en de MRR naar 0.2517.
   • Dit vertegenwoordigt een verbetering van >5× ten opzichte van de ongeadapteerde cosine baseline voor zowel R@10 als MRR.
   • De hybride fusie was cruciaal; het verwijderen van BM25 veroorzaakte een daling in MAP en MRR, wat de noodzaak van exacte lexicale signalen voor geowetenschappen bevestigt.

2. Efficiëntie van NN-SSC:

   • NN-SSC (460K trainbare parameters) evenaarde of overtrof de prestaties van een volledig fine-getunede encoder (~125M trainbare parameters), terwijl het aanzienlijk efficiënter was qua parameters.

3. Agentic vs. Single-Shot Reranking:

   • Single-shot LLM reranking (bijv. GPT-5.5) verbeterde consequent de MAP en MRR ten opzien van de retrieval backbone alleen, wat bevestigt dat LLM-redenering de gesuperviseerde retrieval aanvult.
   • Agentic reranking (LLM met tool-toegang) leverde verdere directionele winsten op over single-shot reranking op een gestratificeerde $N=200$ subset.
     • Voor Claude Opus 4.7: MRR steeg van 0.367 (single-shot) naar 0.388 (agentic).
     • Voor DeepSeek v4 pro: MRR steeg van 0.366 naar 0.374.
   • De agentic aanpak was 5–10 keer duurder per query vanwege tool round trips, maar bewees dat autonome tool-gebruik complementaire waarde biedt aan statische prompting.

Betekenis en Claims

Het paper claimt "betrouwbare" en "verifieerbare" agentic search in het domein van de geowetenschappen te operationaliseren via drie belangrijke bijdragen:

1. NASA-EO-Bench: De eerste grootschalige benchmark (21k queries) voor geowetenschappelijke dataset-retrieval die supervised training ondersteunt en gebruikmaakt van citatie-gegronde silver labels, waarmee het verder gaat dan kleinschalige handmatige scoring of grove LLM-as-a-judge evaluaties.
2. Retrieval Correction Suite: Een demonstratie dat het combineren van lexicale (BM25) en semantische (NN-SSC) signalen via analytisch afgeleide fusie aanzienlijk beter presteert dan ongeadapteerde baselines, waarmee de specifieke domeinverschuiving van geowetenschappelijke terminologie wordt aangepakt.
3. Gecontroleerde Agentic Vergelijking: Een rigoureuze, binnen hetzelfde model uitgevoerde vergelijking die aantoont dat agentic reranking (LLM + autonome tool-gebruik) een meetbare winst oplevert ten opzichte van single-shot reranking. Het paper beargumenteert dat het vermogen om rankingbeslissingen te funderen in externe context (web/arXiv) een onderscheidende en waardevolle capaciteit is voor dataset-ontdekking, met name voor het disambigueren van kandidaten en het afhandelen van eventspecifieke queries.

De auteurs houden een bescheiden standpunt en erkennen dat de citatie-gebaseerde ground truth een "silver label" is die relevante maar niet-geciteerde datasets kan missen (popular dataset bias) en dat de agentic experimenten beperkt waren tot een gestratificeerde subset zonder gepaarde bootstrap-betrouwbaarheidsintervallen. Echter, de resultaten leveren consistent bewijs dat agentic search, wanneer het wordt gegrond in externe tools, de retrieval-pipeline versterkt voorbij wat statische LLM-prompting kan bereiken.