Using a Human-AI Teaming Approach to Create and Curate Scientific Datasets with the SCILIRE System

Probleemstelling

De snelle groei van wetenschappelijke literatuur maakt het handmatig extraheren van gestructureerde kennis onpraktisch en tijdrovend. Hoewel er tools bestaan (zoals Elicit en SciSpace) die onderzoekers helpen bij het navigeren door en extraheren van kennis uit deze literatuur, hebben deze systemen een fundamenteel tekort:

1. Single-pass benadering: Ze behandelen data-extractie als een eenmalig proces. Als de AI-resultaten onnauwkeurig zijn (bijvoorbeeld door hallucinaties), moet de gebruiker de data handmatig corrigeren buiten de tool om, wat bij grote datasets zeer arbeidsintensief is.
2. Gebrek aan iteratie: Bestaande tools gebruiken statische voorbeelden of geen voorbeelden (zero-shot), waardoor ze niet leren van de correcties die een gebruiker maakt tijdens het proces.
3. Betrouwbaarheid: LLM's (Large Language Models) kunnen onjuiste informatie genereren, wat in wetenschappelijke contexten kritiek is. Er is behoefte aan systemen die transparantie en verificatie mogelijk maken.

Methodologie: Het SCILIRE Systeem

SCILIRE is een systeem dat is ontworpen rondom Human-AI Teaming (HAT) principes, specifiek gericht op Human-AI Teaming voor Data Curation (HAT-DC). Het doel is om de menselijke expertise te combineren met AI-kracht voor een iteratieve werkstroom.

Kernarchitectuur en Componenten:
Het systeem bestaat uit drie modulaire onderdelen:

1. Document Preprocessing:

   • Verwerkt PDF's (zowel met machine-leesbare tekst als gescande beelden) via OCR.
   • Gebruikt pipelines zoals GROBID en Apache Tika voor tekstextractie.
   • Implementeert een aangepast module voor het detecteren en extraheren van tabellen en figuren (gebaseerd op Cascade R-CNN en UniTable), die vervolgens worden omgezet naar Markdown.
   • Deelt lange documenten in overlappende chunks op om binnen de contextvensters van LLM's te blijven.

2. Record Generatie Module:

   • Gebruikt een schema dat door de gebruiker wordt gedefinieerd om gestructureerde JSON-records te genereren.
   • Dynamische Sampling (Kerninnovatie): In plaats van statische voorbeelden te gebruiken, selecteert SCILIRE dynamisch de meest relevante voorbeelden uit de pool van eerder door de gebruiker gecorrigeerde en gevalideerde documenten. Deze worden gebruikt als In-Context Learning (ICL) voorbeelden voor de prompt.
   • Het systeem merge resultaten van verschillende parsing-pipelines en gebruikt het Hongaarse algoritme voor optimale matching.

3. Verificatie Ondersteuning Module:

   • Biedt provenance-checking: Een "hallucination checker" die gegenereerde inhoud vergelijkt met de brondocumenten (via fuzzy string matching) en de mate van overeenkomst visualiseert.
   • On-demand uitleg: Het systeem toont de originele alinea's en tabellen die als onderbouwing dienen voor een AI-antwoord.
   • Gebruikers kunnen AI-antwoorden direct corrigeren; deze correcties worden direct opgeslagen in de pool voor toekomstige dynamische sampling.

De Werkstroom (HAT-DC):

1. Upload & Schema: Gebruikers uploaden documenten en definiëren een schema (kolomheaders).
2. Pilot Fase: De gebruiker selecteert een kleine steekproef (bijv. ≤10 documenten), genereert data, en corrigeert handmatig fouten. Deze correcties vormen de basis voor dynamische sampling.
3. Batch Fase: Het systeem verwerkt de resterende documenten in schaal, gebruikmakend van de geleerde voorbeelden uit de pilot-fase. De gebruiker kan de data controleren of exporteren.

Belangrijkste Bijdragen

1. Evaluatie van een HAT-DC Werkstroom: Het paper presenteert een systematische evaluatie van een iteratieve workflow waarbij menselijke correcties direct worden gebruikt om de AI-prestaties te verbeteren via dynamische sampling.
2. Inzichten in Dynamische Sampling: Het toont aan dat het gebruik van een pool van door mensen gecorrigeerde voorbeelden (in plaats van statische voorbeelden) de extractie-accuratesse significant verbetert.
3. Vergelijking met Bestaande Tools: SCILIRE wordt vergeleken met marktleiders zoals Elicit, SciSpace en NotebookLM, en overtreft deze aanzienlijk in termen van data-kwaliteit en functionaliteit (zoals export en provenance).

Resultaten

De evaluatie omvatte intrinsieke benchmarks over 18 datasets uit vijf wetenschappelijke domeinen (o.a. machine learning, materiaalkunde, chemie, geneeskunde) en vier casestudies met echte onderzoekers.

• Prestatieverbetering door ICL:

  • Alle varianten met In-Context Learning (ICL) presteerden beter dan de zero-shot baseline.
  • De beste resultaten werden behaald met een pool van ongeveer 100 door mensen gecorrigeerde voorbeelden.
  • Op de PPE-dataset steeg de F1-score van 51,67 (zero-shot) naar 67,83 (met dynamische ICL).
  • De gemiddelde F1-score over alle datasets steeg van 16,28 (zero-shot) naar 28,42 (met dynamische ICL).

• Vergelijking met Concurrenten:

  • SCILIRE overtrof consistent zowel Elicit als SciSpace.
  • Terwijl Elicit en SciSpace in zero-shot setting vaak zeer lage scores behaalden (soms 0,0), bereikte SCILIRE aanzienlijk hogere scores dankzij de dynamische sampling. Bijvoorbeeld, op de TDMS-dataset behaalde SCILIRE een F1 van 11,76 tegenover 0,0 voor de concurrenten.

• Gebruikersonderzoek (Casestudies):

  • In casestudies (landbouw, milieu, biochemie, medische productie) zagen gebruikers een duidelijke daling in het aantal benodigde correcties en de tijd per document naarmate de iteraties vorderden.
  • De tijd om een document te valideren nam significant af (p < 0,025) naarmate de curation-interactie toenam.
  • Gebruikers rapporteerden dat het systeem hen in staat stelde datasets te creëren die handmatig onhaalbaar zouden zijn (bijv. duizenden artikelen verwerken) en de tijd voor systematische reviews reduceerde van maanden naar weken.

Betekenis en Conclusie

SCILIRE vertegenwoordigt een verschuiving van volledig geautomatiseerde, "black-box" data-extractie naar een mens-in-de-lus (Human-in-the-Loop) benadering. De belangrijkste betekenis ligt in:

• Schaalbaarheid: Het maakt het mogelijk om grote hoeveelheden wetenschappelijke literatuur om te zetten in gestructureerde datasets die trainbaar zijn voor AI-for-Science (AI4S) toepassingen.
• Betrouwbaarheid: Door de menselijke verificatie en de mogelijkheid om de bron te controleren, wordt de vertrouwbaarheid van gegenereerde data vergroot, wat essentieel is voor wetenschappelijk gebruik.
• Efficiëntie: Het systeem leert van elke interactie, waardoor de menselijke inspanning afneemt naarmate het proces vordert.

Het paper concludeert dat SCILIRE een nieuwe standaard biedt voor het creëren van hoogwaardige wetenschappelijke datasets, waarbij de kracht van LLM's wordt gebalanceerd met de noodzakelijke expertise en controle van menselijke onderzoekers.