Technische Samenvatting: Compass: Navigatie door Expert-Gestuurde LLM-Agent voor Integratie van Wereldwijde Maritieme Looddata

Probleemstelling

Maritiem lood (Pb) en zijn isotopen zijn cruciale tracers voor het begrijpen van oceaancirculatie en de geschiedenis van antropogene vervuiling. Echter, hoogwaardige in-situ waarnemingen zijn kostbaar en schaars, waarbij het merendeel van de historische data begraven ligt in de ongestructureerde tekst, tabellen en figuren van academische papers. Dit creëert een "data silo"-probleem waarbij kritieke datasets ontoegankelijk zijn voor synthese op wereldschaal.

Bestaande oplossingen staan voor twee primaire beperkingen:

1. Handmatige Cureratie: Hoewel programma's zoals GEOTRACES hoge datafideliteit garanderen, zijn ze arbeidsintensief en niet schaalbaar tegen de exponentiële groei van wetenschappelijke literatuur.
2. Geautomatiseerde Extractie: Algemeen doelgerichte Large Language Models (LLM's) en domeinspecifieke, fijn-afgestemde modellen falen vaak in wetenschappelijke contexten met hoge risico's. Algemene LLM's missen de nodige domeinspecifieke logische beperkingen, wat leidt tot hallucinaties en wetenschappelijk ongeldige outputs (bijvoorbeeld het verkeerd interpreteren van isotopennotaties of eenheidsconversies). Omgekeerd degraderen fijn-afgestemde modellen vaak de instructievolgende capaciteiten die vereist zijn voor complexe, meerstapswerkstromen.

De kernuitdaging is om zowel schaalbaarheid als wetenschappelijke strengheid te bereiken door de kloof te overbruggen tussen algemeen doelgerichte taalbegrip en de strikte logische beperkingen die vereist zijn voor mariene geochemie.

Methodologie: Het Compass-kader

Om deze uitdagingen aan te pakken, stellen de auteurs Compass voor, een LLM-agentkader dat een expert-gestuurde aanpassingsbenadering operationaliseert. In plaats van te vertrouwen op black-box fijn-afstemming of ongestructureerde retrieval-augmented generation (RAG), integreert Compass domeinexpertise direct in de werkstroom van de agent via een Kennisboom.

1. Ontwerp van de Kennisboom

Co-ontworpen met mariene wetenschappers, is de Kennisboom ($T$) een hiërarchische structuur waarbij knopen specifieke taken of subtaken vertegenwoordigen. Elke knoop is gekoppeld aan een vierdimensionale kennisset ($K$):

• Achtergrondkennis ($BK$): Domeinconcepten en terminologie.
• Logische Beperkingen ($LC$): Expliciete regels en conditionele afhankelijkheden die geldige uitvoeringspaden definiëren.
• Operationele Richtlijnen ($OG$): Stap-voor-stap procedures en specificaties voor outputformaten.
• Validatiecriteria ($VC$): Kwaliteitsmetrieken en fysieke beperkingcontroles voor het verifiëren van outputcorrectheid.

Deze structuur codeert niet alleen wat de agent moet weten, maar ook hoe het moet redeneren en zijn outputs moet valideren, waardoor de werkstroom interpreteerbaar en wetenschappelijk betrouwbaar wordt.

2. Agentarchitectuur

Compass decomposeert de complexe data-integratietaken in een driefasige hiërarchische pijplijn:

• Verzamelingsfase: Een paper-classificatiecomponent haalt kandidaat-papers op uit repositories (bijvoorbeeld Semantic Scholar, AceMap) en gebruikt LLM's die worden geleid door de Kennisboom om papers te identificeren die doelmaritieme Pb-data bevatten.
• Extractiefase: Een tabelclassificatiecomponent maakt gebruik van PDF-parsingtools (MinerU) om tabulaire content te extraheren. LLM's analyseren vervolgens tabellen met contextuele informatie (bijschriften, beschrijvingen) om doel-datatabel te classificeren en te filteren.
• Aggregatiefase: Drie componenten handhaven integratie:
  • Dataassociatie: Koppelt gerelateerde elementen binnen papers (bijvoorbeeld het matchen van Pb-metingen met coördinaten uit voetnoten).
  • Kruisbronfusie: Normaliseert heterogene tabelkoppen naar een uniek schema.
  • Datastandaardisatie: Converteert waarden naar consistente eenheden met behulp van door LLM gegenereerde conversiefuncties.

3. Validatiemechanisme

Compass hanteert een meerlagige validatiestrategie die wordt ingegeven door de Validatiecriteria van de Kennisboom:

• Geautomatiseerde Fysieke Beperkingcontroles: Elke geëxtraheerde record ondergaat verificatie van waardenbereiken, kruisvalidatie van eenheidsconversies en filtering van geografische uitschieters. Falen activeert een terugdraaimechanisme om de specifieke subtaken opnieuw te verwerken, waardoor foutpropagatie wordt voorkomen.
• Expert Handmatige Validatie: Een gestratificeerde steekproef wordt beoordeeld door mariene wetenschappers om de end-to-end nauwkeurigheid te beoordelen.

Belangrijkste Bijdragen

1. Compass-kader: De ontwikkeling van een Kennisboom-verrijkte LLM-agent die complexe wetenschappelijke werkstromen hiërarchisch decomposeert, waardoor nauwkeurige extractie en integratie van fijnmazige data (tekst en tabellen) uit heterogene academische bronnen mogelijk wordt.
2. Expert-Gestuurde Aanpassing: Een demonstratie dat het injecteren van gestructureerde expertkennis via een co-ontworpen Kennisboom de kloof effectief kan overbruggen tussen algemeen doelgerichte LLM's en wetenschappelijke domeinen met hoge risico's, zonder de noodzaak van kostbare fijn-afstemming.
3. Grootste Geïntegreerde Maritieme Pb-database: De implementatie van Compass op meer dan 230.000 open-access papers om 3.751 eerder niet-opgenomen Pb-records te herstellen, waarmee de grootste geïntegreerde maritieme Pb-database tot nu toe wordt gevestigd.

Resultaten en Prestaties

De auteurs evalueerden Compass tegen algemeen doelgerichte LLM's (bijvoorbeeld GPT-4o, Gemini-2.5-pro) en domeinspecifieke, fijn-afgestemde modellen (bijvoorbeeld K2, OceanGPT) met behulp van een benchmarkdataset van 337 tabellen over 10 categorieën.

• Benchmarkprestaties: Compass (met een Qwen2.5-32B-ruggengraat) behaalde de hoogste scores voor alle taken.
  • Paperclassificatie: 96,0% nauwkeurigheid.
  • Tabelclassificatie: 94,7% nauwkeurigheid.
  • End-to-End Extractie: Behaalde een F1-score van 0,465, beter dan GPT-4o (0,373) en Gemini-2.5-pro (0,404).
  • Vergelijking met Fijn-afgestemde Modellen: Domeinspecifieke modellen zoals OceanGPT presteerden slecht (F1: 0,009), wat benadrukt dat alleen fijn-afstemming de instructievolgende capaciteiten degradeert die essentieel zijn voor meerstapsintegratie.
• Ablatiestudies: Het verwijderen van de boomgestructureerde logica verlaagde de F1-score naar 0,402, en het verwijderen van kennisnodiën verlaagde deze naar 0,381. Het inschakelen van het geautomatiseerde validatie-terugdraaimechanisme verbeterde de F1-score verder naar 0,619.
• Implementatieschaal: Compass verwerkte 230.000 papers, identificeerde 110 relevante papers en extraherde 3.751 nieuwe records.
• Datakwaliteit:
  • Geautomatiseerde controles behaalden 100% slagingspercentages voor waardenbereik- en geografische grenscontroles, en 95% voor eenheidsconversie.
  • Expert handmatige validatie op een subset van 22 papers (946 datapunten) bevestigde 92% nauwkeurigheid (95% CI: ±1,7%).
  • De primaire bronnen van fouten waren semantische verwarring (bijvoorbeeld het verkeerd classificeren van regenwatermonsters als zeewater) en dataassociatiefouten.

Betekenis en Impact

De auteurs stellen dat dit werk de levensvatbaarheid van expert-gestuurde agenten aantoont voor het overbruggen van de kloof tussen algemeen doelgerichte LLM's en strenge wetenschappelijke domeinen.

• Data-expansie: De integratie voegt 16.455 nieuwe records toe aan de bestaande GEOTRACES-dataset (een toename van 86%), waardoor de dekking aanzienlijk wordt uitgebreid in onderbemonsterde regio's zoals de Oost-Chinese Zee, de Arabische Zee en de Zuidelijke Oceaan.
• Wetenschappelijke Bruikbaarheid: De verrijkte dataset ondersteunt wereldwijde Pb-inventarisatieschattingen, bronidentificatie via stabiele isotoopverhoudingen en het onderzoek naar oceanische reacties op de wereldwijde uitfasering van loodhoudende benzine.
• Efficiëntie: De pijplijn vereiste ongeveer 52 GPU-uren, wat een efficiëntieverbetering van meer dan vier ordes van grootte vertegenwoordigt ten opzichte van handmatige curatie.
• Open Wetenschap: De auteurs hebben een interactief visualisatieplatform (JingWei) en de codebasis vrijgegeven om open wetenschappelijke toegang en reproduceerbaarheid te faciliteren.

Het paper concludeert dat hoewel beperkingen bestaan met betrekking tot extractie van figuren en afhankelijkheden van upstream PDF-parsing, het modulaire ontwerp ruimte biedt voor toekomstige verbeteringen. Het werk vestigt een praktische, laagkostenalternatief voor domeinspecifieke modeltraining voor schaalbare dataontdekking in geowetenschappen.