🤖 AI

Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models

Dit artikel toont aan dat het combineren van zelf-prompting en cross-model consensus met grote taalmodellen reproduceerbare, schaalbare data-extractie uit wetenschappelijke literatuur mogelijk maakt, terwijl deskundig toezicht behouden blijft door een praktische taakverdeling.

Oorspronkelijke auteurs: Valentin Romanov, Monique Bax, Steven Niederer

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Valentin Romanov, Monique Bax, Steven Niederer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De wetenschap steunt op een enorme bibliotheek van ontdekkingen uit het verleden, maar het vinden van de specifieke feiten die verborgen liggen in die oude artikelen is een traag, tijdrovend werk. Stel je voor dat een onderzoeker precies moet weten hoe een hartspereiwit zich onder bepaalde omstandigheden gedraagt. Ze moeten tientallen artikelen doorlezen, waarvan sommige decennia oud zijn, op zoek naar minuscule details zoals temperatuur, chemische concentraties en meetmethoden. Deze details zijn vaak begraven in dichte tekst of verspreid over tabellen, en het missen van zelfs maar één detail kan leiden tot fouten in nieuw onderzoek. Jarenlang hebben wetenschappers gehoopt dat computerprogramma's dit zware werk zouden kunnen doen, maar tot voor kort waren deze tools te onbetrouwbaar om met dergelijk delicaat werk te vertrouwen. Ze misten vaak de cruciale context of verzonnen feiten die nooit hadden bestaan.

Een nieuwe studie door onderzoekers van Imperial College London en de University of Cambridge test of de nieuwste generatie kunstmatige intelligentie eindelijk dit probleem kan oplossen. Het team vroeg een computer niet alleen om een artikel te lezen; ze behandelden de computer als een junior onderzoeksassistent die zorgvuldige training en supervisie nodig heeft. Ze zetten een reeks experimenten op om te zien hoe goed deze programma's specifieke gegevens uit wetenschappelijke artikelen kunnen extraheren, variërend van eenvoudige taken waarbij een mens een duidelijke set instructies gaf, tot complexe taken waarbij de computer de artikelen zelf moest vinden. Het doel was om precies in kaart te brengen waar deze machines succesvol zijn en waar ze nog steeds een menselijke hand nodig hebben om hen te begeleiden.

De onderzoekers begonnen met een rechtstreekse uitdaging: kon een computer nauwkeurige getallen extraheren over hoe calcium bindt aan harteiwitten uit achttien verschillende wetenschappelijke artikelen? Ze gaven zeven van de meest geavanceerde computerprogramma's een gedetailleerde, door experts geschreven set instructies en vroegen hen om zeven specifieke stukjes informatie voor elk experiment te vinden, zoals het type dier dat werd gebruikt, de temperatuur en de chemische waarden. De resultaten waren verrassend sterk. De beste programma's kregen de getallen in meer dan negentig vijf procent van de gevallen goed. Sterker nog, wanneer de computers werden gevraagd om alleen de ruwe getallen te vinden, waren ze bijna honderd procent correct. De machines hadden echter moeite wanneer ze werden gevraagd om het verhaal achter de getallen te begrijpen. Ze faalden vaak in het identificeren van precies welke versie van het eiwit werd getest of de specifieke omstandigheden waaronder de meting werd uitgevoerd. Dit toonde aan dat hoewel de computers uitstekend waren in het vinden van cijfers, ze nog steeds aan het leren waren om de wetenschappelijke context te begrijpen die die cijfers betekenis geeft.

Om te zien of de computers het beter konden zonder dat een mens de instructies schreef, lieten de onderzoekers de programma's hun eigen handleidingen schrijven. Ze vroegen elke computer om te zoeken naar de beste manieren om vragen te stellen en vervolgens een meesterinstructieblad voor de taak te maken. De computers slaagden er weliswaar in om nuttige gidsen te maken, maar de gegevens die ze extraheerden met deze zelfgeschreven instructies waren iets minder nauwkeurig dan wanneer ze het oorspronkelijke plan van de menselijke expert volgden. Het gat was klein voor de top-programma's, maar werd groter voor anderen. Dit suggereerde dat hoewel computers goed kunnen leren om goede vragen te stellen, een menselijke expert nog steeds het beste weet hoe de specifieke nuances van een wetenschappelijk probleem te kaderen.

Het team dreef de computers vervolgens verder, door hen te vragen te handelen als autonome onderzoekers. In dit scenario moesten de programma's zelf de relevante wetenschappelijke artikelen vinden, ze lezen en de gegevens extraheren zonder enige hulp van een mens om hen in de juiste richting te wijzen. Dit is waar de systemen tegen een muur aanliepen. Zelfs de meest geavanceerde programma's misten meer dan de helft van de juiste artikelen die ze hadden moeten vinden. Sommigen van hen verzonnen citaties voor artikelen die niet bestonden, een probleem dat bekend staat als hallucinatie, terwijl anderen simpelweg niet in staat waren de juiste bronnen te lokaliseren. De studie vond dat wanneer een computer zelf naar informatie moet zoeken, hij veel minder betrouwbaar wordt. Het is alsof je een student vraagt een verslag te schrijven maar hem geen bibliotheekpas geeft; hij raadt misschien de juiste boeken, maar hij is net zo goed geneigd om titels te verzinnen.

Het laatste deel van de studie keek naar hoe dit proces in de echte wereld werkbaar gemaakt kan worden. De onderzoekers testten een methode waarbij ze meerdere computers gebruikten om elkaars werk te controleren. Ze ontdekten dat als één computer een fout maakte, een andere dat vaak opmerkte. Door dezelfde taak vijf keer uit te voeren en het meest voorkomende antwoord te nemen, kon het team de nauwkeurigheid aanzienlijk verbeteren. Ze ontdekten ook dat het laten werken van verschillende computers aan hetzelfde probleem nog beter was dan het herhalen van de taak vijf keer door één computer. Deze aanpak creëerde een vangnet waarbij de computers moeilijke gevallen konden signaleren voor een menselijke beoordeling. De studie concludeerde dat de beste manier om deze tools te gebruiken niet is om menselijke wetenschappers te vervangen, maar om een partnerschap aan te gaan. In deze nieuwe workflow handelt de computer het repetitieve werk van het vinden en extraheren van gegevens af, terwijl de menselijke expert instapt om de lastige onderdelen te verifiëren en eventuele onenigheid tussen de machines op te lossen. Deze taakverdeling stelt wetenschappers in staat om enorme hoeveelheden literatuur snel te verwerken zonder het zorgvuldige oordeelsvermogen te verliezen dat alleen een mens kan bieden.

Technische Samenvatting: Zelf-prompting en Cross-Model Consensus voor Reproduceerbare Data-extractie

Probleemstelling

Het nauwkeurig extraheren van genuanceerde, gecontextualiseerde data uit ongestructureerde wetenschappelijke literatuur is een arbeidsintensief proces dat gevoelig is voor menselijke fouten, miscalculaties en misinterpretaties van wetenschappelijke nuances. Hoewel Large Language Models (LLM's) potentieel bieden voor automatisering, blijven universele principes voor hun effectieve inzet onderontwikkeld. Er bestaat een kritieke kloof in het begrip van hoe frontier LLM's via browser-gebaseerde interfaces (in tegenstelling tot geïsoleerde API-aanroepen) te gebruiken, die vaak verborgen instructies, retrieval-mechanismen en moderatie-instrumenten bevatten die het gedrag van het model veranderen. Bovendien schieten bestaande benchmarks er vaak in tekort om de reproduceerbaarheid van extractie over verschillende runs heen, de betrouwbaarheid van autonome literatuurontdekking en de specieke uitdagingen bij het toepassen van gedetailleerde rapportage-richtlijnen — waarbij zelfs menselijke experts het oneens kunnen zijn — aan te pakken.

Methodologie

De auteurs evalueerden vier escalerende workflows ontworpen om de autonomie en betrouwbaarheid van zeven frontier LLM's (GPT-5.5, Opus 4.7/4.8, Gemini 3.1 Pro, Qwen3.7, Kimi K2.6, GLM-5.1/5.2, en DeepSeek v4) in een browser-gebaseerde omgeving te testen. De studie maakte gebruik van twee primaire casestudies:

Cardiac Troponin C Affinity Extraction (Ground Truth Benchmark):
- Corpus: 18 primaire onderzoeksartikelen (daterend uit de jaren 1980) samengevat in Niederer et al. (2006), bevattende 39 experimentele condities.
- Taak: Extraheer zeven specifieke datapunten: soort, temperatuur, tropone-preparatie, meetmethode, magnesiumconcentratie en affiniteitsconstanten ( $K_d$ en $K$ ).
- Geteste Workflows:
  1. Expert-gecureerde Prompt: Modellen ontvingen een vaste, door mensen ontworpen prompt en de artikelen. De extractie werd vijf keer per model herhaald om consistentie te beoordelen.
  2. Zelf-geauteurde Prompts: Modellen kregen de instructie om onderzoek te doen naar prompt-engineering praktijken en domeinterminologie om drie kandidaat-prompts te genereren, die vervolgens werden samengevoegd tot één "master prompt". Deze master prompt werd getest tegen hetzelfde corpus.
  3. Autonoom Diep Onderzoek: Modellen kregen de taak om onafhankelijk de primaire literatuur te lokaliseren (tot 20 artikelen van vóór 2005) en data te extraheren zonder door mensen verstrekte bronnen.
  4. Cross-Domain Dataset Creatie: Gebruikmakend van richtlijnen van Sandoval et al. (2024) met betrekking tot organoïde-rapportage, genereerden modellen master prompts om rapportagecriteria te extraheren uit 10 hersen-organoïde artikelen. Deze outputs werden vergeleken met beoordelingen door twee menselijke reviewers op PhD-niveau.
Evaluatiemetrieken:
- Nauwkeurigheid (Accuracy): Vergelijking met een gecorrigeerde ground-truth dataset.
- Consistentie: Analyse van variantie over vijf onafhankelijke runs (het meten van "altijd correct", "systematische fout" en "willekeurige fout").
- Hallucinatie-detectie: Verificatie van de existentie en nauwkeurigheid van geciteerde referenties.
- Menselijke Overeenstemming: Meting van de afstemming tussen modeloutputs en menselijke expert-consensus.

Belangrijkste Resultaten

1. Expert-gecureerde Prompts en Modelprestaties

Hoge Nauwkeurigheid met Begeleiding: Wanneer ze werden voorzien van expert-prompts en vaste artikelen, behaalden frontier LLM's een hoge nauwkeurigheid. De top drie modellen (GPT-5.5, Opus 4.7, Gemini 3.1 Pro) behaalden gemiddeld 92,6% nauwkeurigheid over vijf runs. GPT-5.5 bereikte 95,7%.
Numeriek vs. Contextueel: Modellen waren zeer nauwkeurig in het extraheren van numerieke waarden ( $K$ en $K_d bereikten ~99% nauwkeurigheid), maar hadden moeite met contextuele velden die dieper redeneren vereisten, zoals het identificeren van de specifieke biologische preparatie (80,7% nauwkeurigheid).
Variabiliteit tussen Runs: Enkele runs waren onvoldoende om de capaciteit van een model te vertegenwoordigen. Slechts 76,4% van de parameters was correct in alle vijf de runs over alle modellen heen. De topmodellen behaalden 87,7% consistentie in alle vijf de runs, vergeleken met 67,9% voor anderen.
Foutdetectie: De consensus van meerdere LLM-runs identificeerde succesvol fouten in de oorspronkelijke ground-truth dataset, inclus�ief onjuiste conversiefactoren en temperatuurassociaties.

2. Zelf-geauteurde Prompts

Prompt Generatie: Modellen konden master prompts genereren die verbeteringen aanbrachten op hun individuele kandidaat-prompts. Echter, deze zelf-geauteurde prompts bereikten niet de prestaties van de door menselijke experts gecureerde prompt.
Prestatiedaling: Het gebruik van zelf-geauteurde master prompts resulteerde in een daling van de algemene nauwkeurigheid (bijv. GPT-5.5 daalde van 95,6% naar 90,3%). De daling was het meest significant bij het interpreteren van experimentele meetmethoden.
Zwakke Correlatie: De kwaliteit van een zelf-geauteurde prompt (gescoord tegen een rubric) was geen sterke voorspeller voor de extractienauwkeurigheid.

3. Autonoom Diep Onderzoek

Falen van Literatuurontdekking: Autonome agenten hadden moeite met het lokaliseren van de juiste primaire literatuur. Zelfs de best presterende agent (Opus 4.8) herstelde slechts 53,7% van de 19 ground-truth referenties.
Hallucinaties: Twee agenten (Qwen3.7-Plus en GLM-5.2) genereerden gehallucineerde citaties (45% en 29% van de unieke citaties, respectievelijk). Andere agenten produceerden geen hallucinaties, maar misten nog steeds significante delen van de doel-literatuur.
Kwaliteit van Extractie: Wanneer data werd geëxtraheerd uit deze autonome rapporten, was de algemene nauwkeurigheid ten opzichte van de ground truth laag (34–39%), hoewel de herstelde numerieke affiniteitswaarden vaak binnen een factor twee van de werkelijkheid lagen.

4. Cross-Model Consensus en Human-in-the-Loop

Menselijke Onenigheid: In de organoïde-rapportage benchmark waren menselijke reviewers het oneens over 20,9% van de beoordelingen, wat benadrukt dat "ground truth" niet altijd binair is.
Model Consensus als Filter:
- Wanneer modellen vijf keer draaien, komt een unanieme 5-0 overeenstemming in 93,2% van de gevallen overeen met de menselijke consensus.
- De overeenstemming daalde naar 65,0% bij een 4-1 verdeling en naar 55,2% bij een 3-2 verdeling.
- Cross-Model Stemmen: Het aggregeren van resultaten over verschillende modellen (majority voting) leverde een hogere overeenstemming op met menselijke reviewers (93,3% met vijf modellen) dan het herhalen van dezelfde model vijf keer (89,2%).
Reproduceerbaarheid: GPT-5.5 was het meest reproduceerbare model (92,6% consistentie), terwijl Gemini 3.1 Pro het minst reproduceerbaar was (81,7%), maar de meerderheidsstem van Gemini stemde nog steeds goed overeen met mensen.

Betekenis en Claims

Het artikel beweert een auditbare taakverdeling te definiëren voor wetenschappelijke data-curatie die automatisering balanceert met expert-toezicht. De auteurs stellen dat:

Reproduceerbaarheid Vereist Consensus: Een enkele LLM-run is onbetrouwbaar. Reproduceerbare extractie vereist het herhaaldelijk uitvoeren van prompts en het benutten van cross-model consensus om onzekere gevallen te signaleren.
Human-in-the-Loop is Essentieel voor Nuance: Hoewel LLM's vaste extractietaken met expert-prompts kunnen afhandelen, hebben ze moeite met autonome literatuurontdekking en het interpreteren van complexe wetenschappelijke context zonder menselijke begeleiding.
Praktisch Framework: De studie biedt een praktische workflow waarbij experts de bewijsvoering-standaard en bronnen definiëren, modellen herhaalde extracties uitvoeren om resultaten te controleren, en menselijke onderzoekers betwiste of laag-consensus gevallen oplossen.
Interface Maakt Verschil: De studie benadrukt dat browser-gebaseerde interacties aanzienlijk verschillen van API-aanroepen, en dat prestaties variëren met interface-updates en rekenkracht-allocatie, wat nauwkeurige benchmarking in de specifieke gebruiksomgeving noodzakelijk maakt.

De auteurs concluderen dat deze aanpak een praktische route biedt om wetenschappelijke data-curatie op te schalen zonder het expert-toezicht op te geven, waardoor de constructie van hoogwaardige datasets mogelijk wordt terwijl transparantie en controleerbaarheid behouden blijven.