💻 computer science

An Auditable Large Language Model Pipeline for Data Extraction in Systematic Literature Reviews

Deze studie toont aan dat een controleerbare large language model-pipeline effectief systematische literatuurstudies kan ondersteunen door een hoge overeenstemming met menselijke experts te bereiken bij screening en data-extractie, waarbij het met name uitblinkt in complexe vakgebieden terwijl het specifieke uitdagingen benadrukt bij binaire vragen over niet-gerapporteerde informatie.

Oorspronkelijke auteurs: Philipp André Macháček, Daniel Segelcke, Esther M. Pogatzki-Zahn, Bruno Pradier

Gepubliceerd 2026-10-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Philipp André Macháček, Daniel Segelcke, Esther M. Pogatzki-Zahn, Bruno Pradier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elke keer wanneer een arts een kritische beslissing moet nemen over een nieuwe behandeling, vertrouwt hij vaak op een systematisch literatuuronderzoek. Dit is een enorm arbeidsintensief proces waarbij onderzoekers alle relevante wetenschappelijke studies over een onderwerp verzamelen, deze zorgvuldig lezen en specifieke feiten extraheren om te zien wat het totale bewijs zegt. Stel je voor dat je probeert een paar specifieke speldjes te vinden in een hooiberg die elke dag groter wordt; dat is de realiteit van modern medisch onderzoek. Naarmate het volume van de gepubliceerde wetenschap explodeert, is het handmatige werk dat nodig is om door duizenden artikelen te zeven en punt voor punt gegevens te extraheren, een flessenhals geworden. Het vertraagt de vertaling van laboratoriumontdekkingen naar echte genezingen en introduceert het risico op menselijke fouten, omdat vermoeide beoordelaars details kunnen missen of ambigue tekst anders kunnen interpreteren. De vraag die de wetenschappelijke gemeenschap bezighoudt, is of kunstmatige intelligentie kan helpen deze last te dragen zonder de precisie te verliezen die menselijke experts bieden.

Een team van onderzoekers aan het University Hospital Münster en de University of Exeter besloot dit idee te testen, niet met een klein, gesimuleerd experiment, maar door een groot taalmodel door een volledige, real-world wetenschappelijke review te laten gaan. Ze namen een gepubliceerde studie die al honderden preklinische experimenten over pijn bij knaagdieren had geanalyseerd en vroegen een kunstmatig intelligentie-systeem om exact hetzelfde werk te doen. Het doel was om te zien of de machine als een betrouwbaar tweede paar ogen kon fung best even, om fouten te ontdekken of bevindingen te bevestigen, in plaats van simpelweg de menselijke onderzoeker te vervangen. De onderzoekers voerden de AI dezelfde duizenden artikelen en stelden dezelfde honderden specifieke vragen over diermodellen, behandelingen en uitkomsten als de oorspronkelijke menselijke ploeg jaren eerder had beantwoord.

De resultaten toonden een hoog niveau van samenwerking tussen de mens en de machine. Wanneer de AI en de menselijke beoordelaars naar de titels en abstracts van 6.474 records keken om te beslissen welke ze zouden behouden, stemden ze het overgrote deel van de beslissingen overeen. Toen ze overgingen op de moeilijkere taak van het lezen van de volledige tekst van 674 studies en het extraheren van 74.140 specifieke datapunten, stemden ze nog steeds in bijna 90 procent van de gevallen overeen. Echter, het verhaal van hun onenigheid is waar de werkelijke waarde van de studie ligt. In de gevallen waar de mens en de AI van mening verschilden, brachten de onderzoekers onafhankelijke experts binnen om als rechters op te treden, die de originele artikelen bekeken om te beslissen wie er gelijk had. Deze experts gaven de kunstmatige intelligentie vaker gelijk in meer dan 40 procent van de conflicten, wat bewees dat de machine fouten had opgemerkt die de menselijke beoordelaars hadden gemist. Omgekeerd hadden de menselijke experts vaker gelijk wanneer de AI worstelde met vragen die vereisten om te achterhalen wat niet in een tekst werd gerapporteerd, zoals het bepalen of een specifieke veiligheidsmaatregel ontbrak of dat een studie een noodzakelijk detail miste.

De studie toonde aan dat de prestaties van de AI sterk afhankelijk waren van het type vraag dat gesteld werd. De AI was uitzonderlijk goed in het vinden van feiten die duidelijk opgeschreven stonden, zoals de specifieke stam van het gebruikte dier of het exact toegediende medicijn, waarbij het een bijna perfecte nauwkeurigheid behaalde op deze vrije tekstvelden en meerkeuzevelden. Het blonk ook uit in het ophalen van getallen en lijsten met opties. De machine had de meeste moeite met ja/nee-vragen die vereisten dat het concludeerde dat informatie afwezig was of dat het de intentie van de auteur achter een vage beschrijving moest interpreteren. Dit is een cruciaal onderscheid, omdat het suggereert dat de AI geen toverstaf is die alles kan doen, maar een krachtig hulpmiddel dat het beste werkt wanneer de sterke punten ervan worden afgestemd op de juiste taken. De onderzoekers ontdekten dat de moeilijkheid van de taak meer werd bepaald door hoe de vraag werd gesteld dan door het medische onderwerp zelf.

Uiteindelijk laat dit werk zien dat een systeem van kunstmatige intelligentie kan dienen als een controleerbare tweede lezer in de rigoureuze wereld van evidentiesynthese. Het vervangt de menselijke expert niet, maar creëert een parallelle stroom van extractie die de aandacht vestigt op de punten waar zij van mening verschillen. Door deze specifieke conflictpunten te signaleren, stelt het systeem menselijke beoordelaars in staat om hun aandacht te richten op de moeilijkste delen van de data, zoals het beoordelen van ontbrekende informatie of het interpreteren van complexe onderzoeksontwerpen. De onderzoekers concludeerden dat dit partnerschap een praktisch pad biedt: het gebruik van de machine om het zware werk te verrichten van het vinden van expliciete feiten, terwijl het menselijk toezicht gericht blijft op de gebieden waar oordeelsvorming en interpretatie het meest kritisch zijn. Deze aanpak belooft het proces van het beoordelen van wetenschappelijke bewijsvoering sneller en betrouwbaarder te maken, waardoor de conclusies die uit enorme hoeveelheden data worden getrokken zo nauwkeurig mogelijk zijn.

Technische Samenvatting: Een controleerbare Large Language Model-pijplijn voor data-extractie in systematische literatuurstudies

Probleemstelling

Systematische literatuurstudies (SLR's) zijn fundamenteel voor evidence-based besluitvorming, maar kampen met aanzienlijke schaalbaarheidsuitdagingen vanwege het arbeidsintensieve karakter van handmatige data-extractie. Naarmate het volume aan wetenschappelijke literatuur groeit, vormt de vereiste dat menselijke reviewers studie-attributen veld voor veld coderen een doorvoergemiddelde en introduceert het problemen met de betrouwbaarheid tussen reviewers. Hoewel automatisering is voorgesteld om dit te mitigeren, richten bestaande oplossingen zich primair op titel-en-abstract screening (binaire classificatie) of vertrouwen ze op supervised tekstclassificatie voor het ophalen van specifieke tekstfragmenten. Ze missen de capaciteit om generatieve, veld-voor-veld extractie uit heterogene volledige artikelen uit te voeren. Bovendien zijn rigoureuze evaluaties van Large Language Models (LLM's) in deze context schaars; de meeste studies vertrouwen op gesimuleerde taken of benchmark-subsets in plaats van volledige, real-world systematische reviews. De kritieke kloof is niet het bestaan van generatieve pijplijnen, maar het gebrek aan een evaluatie op het bewijsstandaard die vereist is voor de praktijk in de echte wereld: een volledige vergelijking tegen gearchiveerde menselijke extracties waarbij elk meningsverschil is opgelost door geblindeerde expert-adjudicatie.

Methodologie

De auteurs evalueerden een end-to-end, controleerbare LLM-pijplijn tegen een gepubliceerde preklinische SLR over post-chirurgische pijnmodellen (6.474 records gescreend; 674 studies geëxtraheerd). De studie maakte gebruik van een "human-in-the-loop" verificatieproces waarbij de LLM fungeerde als een tweede lezer naast getrainde menselijke reviewers.

Pijplijn Architectuur:

Modellen: Twee verschillende modellen werden ingezet op basis van taaleisen:
- Screening: MiniMax-M2.5 (one-shot prompting).
- Full-text Extractie: MiniMax-Text-01 (few-shot, vraagspecifieke workflow binnen een persistente conversatie-thread om context te behouden).
Workflow:
1. Preprocessing: PDF's werden via PyMuPDF omgezet naar platte tekst, waarbij tabellen als tekst werden toegevoegd en afbeeldingen als placeholders werden gemarkeerd. Tekst werd gechunkt (max. 35.000 tekens) en in het model gevoed.
2. Extractie: De pijplijn verwerkte 47 vragen over 110 velden (totaal 74.140 datapunten). Vragen werden sequentieel ingediend binnen een enkele conversatie-thread, waarbij de volledige geaccumuleerde context van eerdere uitwisselingen werd meegenomen.
3. Parsing & Normalisatie: Ruwe modeloutputs werden geparsed naar gestructureerde velden die overeenkomen met de menselijke extractieformulieren. Free-text outputs werden waar nodig genormaliseerd naar gecontroleerde vocabulaires.
4. Adjudicatie: Alle meningsverschillen tussen de menselijke reviewer en de LLM werden doorgegeven aan geblindeerde domeinexperts (>15 jaar ervaring). Experts beoordeelden de bron-full text en selecteerden het juiste antwoord (Mens, LLM, of Geen van beide).
Evaluatiemetrieken:
- Overeenkomst (Agreement): Percentage overeenkomende datapunten.
- Geschatte Juistheid (Estimated Correctness): Berekend als $(M + D_{LLM}) / N$ , waarbij $M$ het aantal overeenkomende velden is, $D_{LLM}$ het aantal meningsverschillen dat in het voordeel van de LLM is opgelost, en $N$ het totaal aantal datapunten. Deze metriek erkent dat de gearchiveerde menselijke extractie geen foutvrije gouden standaard is.
- Stratificatie: Prestaties werden geanalyseerd per antwoordformaat (Ja/Nee, Single-select, Numeriek, Free-text, Multi-select) en topisch domein.

Belangrijkste Bijdragen

Uitgebreide Real-World Evaluatie: In tegenstelling tot eerder werk dat gebruikmaakte van benchmark-subsets, evalueerde deze studie een volledige, gepubliceerde SLR-corpus (674 studies, 74.140 datapunten) veld voor veld tegen gearchiveerde menselijke extracties.
Geblindeerde Expert-Adjudicatie: De studie loste 7.835 extractie-meningsverschillen op met behulp van geblindeerde experts, wat de mogelijkheid bood om de juistheid van de LLM te schatten, onafhankelijk van de aanname dat de initiële menselijke extractie altijd correct was.
Foutmodus-analyse: Het onderzoek identificeert dat prestaties meer worden gedreven door het type cognitieve operatie dat vereist is (bijv. het detecteren van afwezigheid versus het extraheren van expliciete feiten) dan door het biomedische onderwerp.
Controleerbare Workflow-ontwerp: Het artikel presenteert een transparante pijplijn waarbij prompts, parsing-regels en adjudicatiebeslissingen worden bewaard als audit-artefacten, wat de "RAISE"-principes voor verantwoorde AI in evidence synthesis ondersteunt.

Resultaten

Algemene Prestaties:

Screening: Mens-LLM overeenkomst was 94,2% (6.096/6.474 records). Na adjudicatie was de geschatte LLM-juistheid 96,29%, vergeleken met 97,87% voor de menselijke reviewer.
Extractie: Mens-LLM overeenkomst was 89,4% (66.305/74.140 datapunten). Na adjudicatie was de geschatte LLM-juistheid 93,92%, vergeleken met 95,14% voor de menselijke reviewer.
Conflictresolutie: Bij meningsverschillen in full-text extractie bevoordeelden experts de LLM in 42,4% van de gevallen, de mens in 54,0%, en geen van beiden in 3,6%.

Prestaties per Antwoordformaat:

Hoge Prestaties: Free-text en Multi-select velden behaalden de hoogste geschatte LLM-juistheid (99,0%). Het model blonk uit in het extraheren van expliciet gerapporteerde informatie.
Lage Prestaties: Ja/Nee velden vertoonden de laagste geschatte LLM-juistheid (76,9%). De primaire foutmodus was het interpreteren van negatief bewijs (vaststellen dat informatie afwezig, niet gerapporteerd of expliciet ontkend was).
- Wanneer het juiste antwoord "niet gerapporteerd" was, was de LLM-juistheid 58,4% versus 94,0% voor mensen.
- Wanneer het juiste antwoord een expliciete "nee" was, was de LLM-juistheid 74,2% versus 92,8% voor mensen.
Numerieke Velden: Het model presteerde beter dan mensen bij numerieke extractie (94,6% vs. 89,8%), waarbij het vaak waarden correct identificeerde waar mensen ze over het hoofd hadden gezien.

Operationele Bevindingen:

Tijd: LLM-verwerking duurde 16,9 uur (API-tijd) versus 85,7 uur voor handmatige extractie. De auteurs merken echter op dat dit de tijd voor promptontwikkeling, datacleaning en kwaliteitscontrole uitsluit, waardoor het geen netto arbeidswinst betekent in deze retrospectieve setting.
Fouttypen: De dominante foutmodus was niet onverwerkbare output (formaatfouten waren zeldzaam, <0,03% voor Ja/Nee), maar semantisch incorrecte, wel gevormde antwoorden.

Betekenis en Claims

Het artikel claimt dat LLM's levensvatbaar zijn als controleerbare tweede lezers in plaats van autonome vervangers voor menselijke reviewers. De betekenis van het werk ligt in:

Gerichte Toezicht: De resultaten laten zien dat betrouwbaarheid niet uniform is; het hangt sterk af van de vereiste bewijsoperatie. Menselijk toezicht kan strategisch worden gericht op hoog-risico velden (bijv. Ja/Nee vragen over afwezigheid of auteursintentie), terwijl laag-risico velden (expliciete feiten, multi-select) met een hoog vertrouwen door de LLM kunnen worden afgehandeld.
Foutdetectie: De LLM fungeert als een onafhankelijke stroom die menselijke omissies en foutieve codering kan detecteren. In multi-select velden identificeerde het model toepasbare opties vollediger dan getrainde menselijke reviewers (hogere sensitiviteit).
Methodologische Transparantie: De studie biedt een kader voor het evalueren van AI in evidence synthesis dat prioriteit geeft aan transparantie, controleerbaarheid en de resolutie van meningsverschillen boven eenvoudige geaggregeerde nauwkeurigheid.
Realistische Verwachtingen: De auteurs benadrukken dat huidige AI-tools niet klaar zijn voor volledig autonome inzet over alle methodologische taken. De voorgestelde workflow behoudt betekenisvolle menselijke verantwoordelijkheid, in lijn met de RAISE-principes, door de LLM te gebruiken om conflicten voor expert-review te signaleren in plaats van het reviewproces volledig te vervangen.

Het artikel concludeert dat hoewel een enkele geaggregeerde prestatie-indicator onvoldoende is, een gestructureerde pijplijn die generatieve extractie combineert met geblindeerde adjudicatie een praktisch pad biedt voor de integratie van LLM's in door mensen geleide evidence synthesis.