Technische Samenvatting: HERMES – Een Multi-Agent Framework voor Gestructureerde Kennisextractie uit Ultra-Lange Geowetenschappelijke Documenten

1. Probleemstelling

Autoritatieve wetenschappelijke kennis in de geowetenschappen blijft grotendeels gevangen in legacy-monografieën en historische literatuur. Deze documenten vormen aanzienlijke barrières voor computationele toegang vanwege hun ongestructureerde tekst, complexe lay-outs en extreme lengte (vaak honderden of duizenden pagina's bespannend). Cruciale informatie—zoals fossiele taxonomische namen, monstercoördinaten, stratigrafische leeftijden en geochemische samenstellingen—is vaak verspreid over narratieve beschrijvingen, tabellen, figuuronderschriften en bijlagen.

Bestaande extractiesystemen falen vaak bij het aanpakken van drie kernuitdagingen die specifiek zijn voor dit domein:

1. Documentlengte en Sparsiteit: Relevante informatie is schaars verdeeld over ultra-lange documenten, wat leidt tot "lost-in-the-middle"-fenomenen waarbij modellen er niet in slagen de context effectief te benutten.
2. Bewijsvoering en Traceerbaarheid: Extractie van wetenschappelijke data vereist niet alleen de identificatie van waarden, maar ook het vermogen om deze terug te leiden naar precieze bewijslast (specifieke zinnen, tabelcellen of figuurregio's) voor verificatie.
3. Domeincomplexiteit: Geowetenschappelijke literatuur vereist het koppelen van entiteiten aan attributen over heterogene regio's, het normaliseren van domeinspecifieke eenheden/nomenclatuur en het behouden van onzekerheidsmarkeringen, zaken die standaard entiteit-relatie extractiemodellen vaak over het hoofd zien.

2. Methodologie: Het HERMES Framework

HERMES (Hybrid Entity-Relation Multi-agent Extraction System) is een schaalbaar, multi-agent framework ontworpen voor de extractie van gestructureerde data uit ultra-lange wetenschappelijke documenten. Het integreert natuurlijke taalverwerking, computer vision en human-in-the-loop validatie binnen een uniform, documentniveau extractieproces.

Architectuur

Het systeem volgt het ReAct (Reasoning + Acting) paradigma, aangestuurd door een centrale Orchestrator Agent (een geowetenschappelijk gespecialiseerd Large Language Model, GeoGPT-R1-Preview, gebaseerd op Qwen2.5-72B). De Orchestrator coördineert een reeks gespecialiseerde sub-agents, die elk verantwoordelijk zijn voor een afzonderlijke fase van de workflow:

1. Parser Agent: Digitaliseert inkomende PDF's (scans of manuscripten), waarbij ruwe tekst, figuren (met bijschriften) en tabelgegevens worden geëxtraheerd naar een gedeelde context.
2. Entity Recognizer Agent: Identificeert relevante entiteitsvermeldingen (bijv. fossiele genera, monster-ID's) en legt hun bronnen op zinsniveau vast. Het maakt gebruik van regelgebaseerde filtering (bijv. taxonomische naampatronen) en LLM-gebaseerde secundaire beoordeling om relevante passages te isoleren.
3. Annotator Agent: Voert attribuutextractie uit met behulp van een Retrieval-Augmented Generation (RAG) aanpak. Voor elk doelattribuut worden de meest relevante tekstfragmenten opgehaald om te waarborgen dat de extractie beperkt blijft tot de directe context, waardoor hallucinaties worden geminimaliseerd.
4. Validator Agent: Past domeinspecifieke deterministische regels toe (bijv. zoölogische nomenclatuur, chronostratigrafische conventies) om consistentie te controleren, formaten te standaardiseren en onzekerheidsmarkeringen af te handelen.
5. Tracer Agent: Legt de bronbewijslast vast voor elke geëxtraheerde entiteit en attribuut, inclus_ief paginaniveau bounding-box coördinaten binnen het originele document.

Operationele Workflow

Het proces begint met een gebruikersquery die de entiteiten en attributen van belang definieert. De Orchestrator stelt een gedeelde context op die alle sub-agents verbindt, waardoor geparseerde tekst, tussenliggende entiteiten, validatieresultaten en bewijslocaties gedurende het hele proces kunnen worden bijgewerkt en geïnspecteerd. Dit ontwerp ondersteunt modulariteit, parallellisatie en foutafhandeling. Zo kan het systeem bijvoorbeeld complexe tabelstructuren onafhankelijk verwerken of de orchestrator vervangen door een ander LLM voor andere disciplines.

Het systeem is ontworpen voor human-in-the-loop validatie, waarbij door experts beoordeelde data teruggeschreven kan worden naar de gedeelde context om het extractieproces te verfijnen en de daaropvolgende validatie te verbeteren.

3. Belangrijkste Bijdragen

• Uniform Extractieframework: HERMES biedt een inzetbaar framework dat layout-bewuste parsing, cross-table redeneren, domeinspecifieke validatie en bewijs-niveau provenance integreert voor ultra-lange geowetenschappelijke literatuur.
• Schaalbaarheid en Efficiëntie: Door extractie te deconstrueren in gecoördineerde sub-taken, bereikt het systeem een hoge prestatie terwijl de handmatige curatie aanzienlijk wordt verminderd vergeleken met volledig handmatige inspanning.
• Cross-domein Overdraagbaarheid: Het framework werd gevalideerd over drie verschillende geowetenschappelijke domeinen (Paleontologie, Paleomagnetisme en Geochemie) zonder aanvullende modeltraining, wat de adaptiviteit aan verschillende documentstructuren en datatypen aantoont.
• Bewijs-traceerbare Output: In tegen tegenstelling tot veel extractiesystemen, koppelt HERMES elk datapunt expliciet aan de bronlocatie in het originele document, wat auditbaarheid en vertrouwen faciliteert.

4. Resultaten en Prestaties

Casestudy 1: Paleontologie (Treatise on Invertebrate Paleontology)

HERMES werd toegepast op de 55 volumes van de Treatise on Invertebrate Paleontology (TIP), een fundamentele serie bestaande uit meer dan 50 volumes tekst en afbeeldingen.

• Output: Een gestructureerde database van 32.277 fossiele taxonomische entiteiten en 451.878 attributen.
• Efficiëntie: Het systeem reduceerde de doorlooptijd per volume met ongeveer zes keer vergeleken met een volledig handmatige baseline (7 dagen vs. 45 dagen per volume). De totale cumulatieve arbeid voor de 55 volumes bedroeg 53 man-dagen.
• Nauwkeurigheid: Evaluatie tegen een door experts beoordeelde referentiedataset toonde:
  • Entiteitsextractie: F1-score van 0,90 (Precisie: 0,90, Recall: 0,89).
  • Attribuutextractie: F1-score van 0,91 (Precisie: 0,95, Recall: 0,87).
  • De prestaties bleven stabiel over verschillende fossiele groepen, ondanks variaties in documentlengte en lay-out.

Casestudy 2: Paleomagnetisme

Toegepast op 567 paleomagnetische artikelen, met de focus op kwantitatieve metingen en tabelgestuurde structuren.

• Nauwkeurigheid: Op een subset van 13 volledig geannoteerde artikelen:
  • Entiteitsextractie: Precisie 0,93, Recall 0,96.
  • Attribuutextractie: Precisie 0,81, Recall 0,77.
• Observatie: Het systeem verwerkte numerieke attributen in complexe tabellen succesvol, hoewel het koppelen van waarden aan de juiste locaties/monsters een uitdaging bleef.

Casestudy 3: Geochemie

Toegepast op geochemische literatuur (specifiek Neogene tot Kwartaire intraplate vulkanische gesteenten) met hoogdimensionele attribuutorganisatie.

• Nauwkeurigheid:
  • Entiteitsextractie: F1-score van 0,81 (Precisie: 0,74, Recall: 0,89).
  • Attribuutextractie: F1-score van 0,51 (Precisie: 0,93, Recall: 0,35).
• Analyse: De lagere recall in attributen werd toegeschreven aan de moeilijkheid om geselecteerde waarden te lokaliseren en te koppelen binnen brede, hoogdimensionale tabellen waar eenheden en context vaak impliciet waren in headers of voetnoten. De hoge precisie (0,93) geeft echter aan dat het systeem prioriteit geeft aan correcte uitlijning boven het genereren van onzekere kandidaten.

5. Betekenis en Claims

Het artikel claimt dat HERMES een praktisch pad biedt om historische wetenschappelijke literatuur te transformeren naar FAIR-georiënteerde (Findable, Accessible, Interoperable, Reusable) gestructureerde data. De betekenis ligt in:

1. Infrastructuur voor Data-intensieve Wetenschap: Het biedt een duurzame infrastructuur voor disciplines die afhankelijk zijn van historische records, waardoor de organisatie en analyse van bestaande data op een schaal mogelijk wordt die voorheen onbereikbaar was door kosten- en arbeidsbeperkingen.
2. Het overbruggen van de kloof: Het adresseert de kloof tussen de overvloed aan legacy-literatuur en de behoefte aan computationele, bewijs-traceerbare kennisbronnen.
3. Modulariteit en Adaptiviteit: De multi-agent architectuur maakt de onafhankelijke ontwikkeling van specifieke componenten mogelijk (bijv. algoritmen voor tabelherkenning) en de adaptatie aan andere wetenschappelijke domeinen door het aanpassen van extractieschema's en validatieregels in plaats van het hertrainen van foundation models.
4. Reële Impact: De succesvolle digitalisering van de Treatise on Invertebrate Paleontology demonstreert dat grootschalige, seriebrede constructie van gestructureerde databases nu haalbaar is, waardoor voorheen verspreide paleontologische kennis toegankelijk en analyseerbaar wordt gemaakt.

De auteurs erkennen beperkingen, met name met betrekking tot foutpropagatie (waarbij gemiste entiteiten leiden tot gemiste attributen), uitdagingen met complexe tabelstructuren (tabellen over meerdere pagina's, samengevoegde cellen) en de afhankelijkheid van de OCR-kwaliteit voor oudere gescande documenten. Ze merken ook op dat de menselijke verificatiestap een bottleneck blijft voor de doorvoer, wat wijst op een afweging tussen datakwaliteit en schaalbaarheid in huidige human-in-the-loop systemen.