💬 NLP

Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results

PLOS en DataSeer hebben een nieuwe op LLM gebaseerde indicator ontwikkeld die een hergebruikssnelheid van onderzoekgegevens van 43% in wetenschappelijke publicaties blootlegt, waarmee wordt aangetoond dat generatieve AI de impact van open wetenschap op grote schaal kan meten en dat de positieve effecten van het delen van gegevens momenteel worden onderschat.

Oorspronkelijke auteurs: Lauren Cadwallader, Iain Hrynaszkiewicz, parth sarin, Tim Vines

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lauren Cadwallader, Iain Hrynaszkiewicz, parth sarin, Tim Vines

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van wetenschappelijk onderzoek voor als een enorme, drukke keuken. Jarenlang hebben we geprobeerd uit te vinden hoe vaak chefs (wetenschappers) daadwerkelijk ingrediënten (data) gebruiken die op het aanrecht zijn achtergelaten door andere chefs, in plaats van volledig nieuwe groenten uit hun eigen tuin te hakken.

Dit artikel gaat over een nieuwe, high-tech "slimme camera" die PLOS (een wetenschappelijke uitgever) en DataSeer (een technologiebedrijf) hebben gebouwd om een momentopname van deze keuken te maken en precies te tellen hoeveel ingrediëntendeling er plaatsvindt.

Hier is de opsplitsing van hun project in eenvoudige bewoordingen:

Het Probleem: De "Stille" Hergebruik

Vroeger probeerden we te tellen hoe vaak wetenschappers data hergebruikten op twee hoofdmanieren:

Ze direct vragen: Enquêtes toonden aan dat ongeveer 50% van de wetenschappers zegt: "Ja, ik gebruik data van anderen."
Zoeken naar formele citaten: We zochten naar officiële "dankjewel"-notities (citaten) in artikelen. Maar deze methode was als proberen gasten op een feestje te tellen door alleen te kijken naar mensen met naamkaartjes. Het miste iedereen die gewoon in de hoek zat te kletsen. Deze methode suggereerde dat hergebruik zeer laag was (rond de 9–16%).

Er was een groot gat tussen wat wetenschappers zeiden dat ze deden en wat de "naamkaartjes"-methode kon zien.

De Oplossing: De AI "Superlezer"

Om dit op te lossen, bouwde het team een Generatieve AI (een soort slim computerbrein) die fungeert als een superaandachtige lezer. In plaats van alleen te zoeken naar formele citaten, leest deze AI de volledige tekst van een wetenschappelijk artikel om het verhaal te begrijpen.

Denk eraan als een detective die niet alleen zoekt naar een specifiek vingerafdruk, maar het hele dagboek leest om uit te zoeken of de persoon een boek uit de bibliotheek heeft geleend of een nieuwe heeft gekocht.

Hoe ze de AI trainden:

Ze toonden de AI duizenden wetenschappelijke artikelen en leerden haar drie dingen te herkennen:
1. Heeft de auteur nieuwe data gecreëerd (zoals nieuwe groenten laten groeien)?
2. Heeft de auteur bestaande data hergebruikt (zoals restanten van iemand anders gebruiken)?
3. Waarom deden ze het? (De "redenering").
Ze testten de AI tegen menselijke experts om zeker te zijn van de nauwkeurigheid. De AI werd hierin zeer goed en identificeerde hergebruik ongeveer 85% van de tijd correct.

De Bevindingen: De Keuken is Drukker dan We Dachten

De AI analyseerde 4.475 wetenschappelijke artikelen die in de eerste drie maanden van 2024 werden gepubliceerd. Hier is wat ze vond:

Het Grote Getal: 43% van de artikelen hergebruikte data.
De Vergelijking: Dit is veel hoger dan de oude "formele citaat"-methode (die slechts ongeveer 10% zag), maar het komt veel beter overeen met wat wetenschappers ons in enquêtes vertelden (wat ongeveer 50% zei).
De Conclusie: De oude methoden onderschatten waarschijnlijk hoe behulpzaam en collaboratief wetenschappers eigenlijk zijn. Het "hergebruik" vindt plaats, maar het gebeurt vaak in de tekst van het artikel zonder een formele "dankjewel"-notitie erbij.

Interessante Patronen

De AI merkte ook enkele verschillen op over de kaart en de onderwerpen heen:

Per Regio: Wetenschappers in Azië-Pacific waren het meest geneigd om data te hergebruiken (46%), terwijl die in Afrika het minst geneigd waren (31%). De auteurs suggereren dat dit gerelateerd kan zijn aan hoe data wereldwijd wordt gedeeld en zorgen over wie de data bezit.
Per Onderwerp:
- Fysische Wetenschappen en Sociale Wetenschappen waren het meest in balans, waarbij ze data bijna even vaak hergebruikten als dat ze nieuwe data creëerden.
- Levenswetenschappen (zoals biologie) waren het meest geneigd om hele nieuwe data te creëren (76%) en het minst geneigd om bestaande data te hergebruiken (37%).

Waarom Dit Belangrijk Is

De auteurs betogen dat als we alleen kijken naar formele citaten, we het volledige plaatje missen van hoe open wetenschap werkt. Door deze AI-"slimme camera" te gebruiken, kunnen we zien dat datadelen een grotere impact heeft dan we dachten.

Belangrijke Opmerking over Beperkingen:
De auteurs zijn voorzichtig om te zeggen dat dit een "werk in uitvoering" is. Ze erkennen dat:

Het lastig kan zijn om het verschil te zien tussen het gebruik van je eigen oude data versus die van iemand anders.
Ze alleen artikelen van één uitgever (PLOS) hebben bekeken, dus de resultaten kunnen er anders uitzien in andere tijdschriften.
De AI nog niet perfect is, maar het is een enorme stap vooruit vergeleken met de oude manieren van tellen.

Kortom, dit artikel introduceert een nieuw hulpmiddel dat ons helpt te zien dat wetenschappers elkaars werk veel vaker delen en hergebruiken dan we realiseerden, wat suggereert dat de "open wetenschap"-beweging beter werkt dan onze oude meetlatjes konden aantonen.

1. Probleemstelling

De wetenschappelijke gemeenschap worstelt al lang met het nauwkeurig meten van het hergebruik van onderzoeksdata op grote schaal.

Beperkingen van huidige methoden:
- Enquêtes: Hoewel zelfgerapporteerde enquêtes hoge hergebruikscijfers aangeven (52–54%), zijn deze subjectief en niet schaalbaar.
- Bibliometrie: Traditionele citatieanalyse vertrouwt op formele datasetcitaten (bijv. DOI's). Deze worden echter inconsistent toegepast, en veel hergebruikte datasets (bijv. genetische sequenties) missen persistente identificatoren. Bibliometrische benaderingen suggereren momenteel hergebruikscijfers van slechts 9–16%, wat een aanzienlijke kloof creëert tussen gerapporteerd gedrag en gedetecteerde metrics.
- Bestaande NLP: Eerdere geautomatiseerde pogingen (bijv. met SciBERT) hebben veelbelovend geleken, maar missen vaak de nuance om onderscheid te maken tussen data generatie, hergebruik en een simpele referentie, of ze slagen er niet in de context te vatten van hoe en waarom data werd hergebruikt.
De Kloof: Er is een kritieke behoefte aan een geautomatiseerde, schaalbare indicator die datahergebruik in tekst kan detecteren, specifieke datasets kan identificeren en de context van hergebruik kan begrijpen, waardoor een nauwkeuriger beeld wordt gegeven van de impact van Open Science-beleid.

2. Methodologie

De auteurs (PLOS en DataSeer) ontwikkelden een Generatieve AI (LLM) pipeline om wetenschappelijke artikelen te analyseren op datageneratie en -hergebruik.

A. Definitie van de Indicator

Door middel van een literatuurstudie en overleg met belanghebbenden (financiers, instellingen, onderzoekers) definieerden zij drie kernvereisten voor de indicator:

Identificeren of een artikel onderzoeksdata hergebruikt.
Identificeren welke specifieke datasets werden hergebruikt.
Identificeren hoe of waarom de data werd hergebruikt (contextuele redenering).

B. Modelontwikkeling en Architectuur

Basismodel: Het team fine-tuned Qwen3-32B (een groot taalmodel).
Trainingsdata: Een gecureerde dataset van 1.732 PLOS-artikelen die door menselijke experts waren geannoteerd. De annotaties omvatten booleaanse labels voor datageneratie/hergebruik en extractie van citaten, toegangsnummers, URL's en DOI's.
Trainingsstrategie:
- Techniek: Low-Rank Adaptation (LoRA) toegepast op alle lineaire lagen (behalve de uiteindelijke head).
- Optimalisatie: Een tweestaps trainingsproces:
  1. Zelfdistillatie: Fine-tuning op hoogbeloonde voltooiingen (≥0,9) uit een verificatierun.
  2. Versterkend Leren (RL): Gebruik van Group Relative Policy Optimization (GRPO) om het model te verfijnen.
Beloningsfunctie: Een multiplicatieve beloningsfunctie $r(p, c, y) = f(c) \times e(p, c) \times v(c, y)$ $r (p, c, y) = f (c) \times e (p, c) \times v (c, y)$ werd ontworpen om het volgende af te dwingen:
1. Formaat ( $f$ ): Geldige JSON-structuur.
2. Gronding ( $e$ ): Geen hallucinaties; outputs moeten worden ondersteund door de brontekst.
3. Nauwkeurigheid ( $v$ ): Overeenstemming met menselijke annotaties.
Inferentiepipeline:
- Artikelen werden omgezet naar Markdown (met markitdown en Docling).
- Lange artikelen (>25k tokens) werden afgekapt waarbij abstracts en referenties behouden bleven.
- Pass@3-strategie: Voor elk artikel genereerde het model drie voltooiingen. Een verifiëermodel (basis Qwen3-32B) rangschikte deze, en de hoogst gerangschikte voltooiing werd geselecteerd.

C. Evaluatie

Het model werd geëvalueerd op een vastgehouden testset van 296 artikelen.

Prestaties: Het model behaalde hoge nauwkeurigheid op booleaanse velden (89,8% pass@1 voor nieuwe datageneratie; 79,4% voor hergebruik) en sterke F1-scores voor het extraheren van specifieke identificatoren (bijv. 0,997 F1 voor citaten van nieuwe data).
Vergelijking: Het presteerde beter dan andere geteste open modellen (GLM-5, gpt-oss-120b, Deepseek-R1).

3. Belangrijkste Resultaten

Het model analyseerde 4.475 PLOS-artikelen die in Q1 2024 werden gepubliceerd.

Algemeen hergebruik: 43% van de artikelen bleek bestaande data te hergebruiken. Dit is aanzienlijk hoger dan bibliometrische schattingen (9–16%) en ligt dichter bij zelfgerapporteerde enquêtegegevens (>50%).
Datageneratie: 59% van de artikelen genereerde nieuwe data.
Overlap: 11% van de artikelen genereerde zowel nieuwe data als hergebruikte bestaande data.
Niet-data-artikelen: 10% van de artikelen genereerde noch hergebruikte data (een hoger percentage dan eerdere PLOS-indicatoren, vanwege strengere definities die pure simulaties of systematische reviews uitsluiten).

Regionale en Disciplinaire Opdelingen

Regio:
- Azië-Stille Oceaan: Hoogste hergebruikscijfer (46%).
- Afrika: Laagste hergebruikscijfer (31%), met hogere rates van nieuwe datageneratie (66%). De auteurs suggereren dat dit kan samenhangen met kwesties rond data-soevereiniteit of "helicopter science".
- Noord-Amerika, Latijns-Amerika, Europa: Hergebruikscijfers geclusterd rond 39–42%.
Discipline:
- Sociale Wetenschappen: Hoogste hergebruikscijfer (50%).
- Natuurwetenschappen: Hoog hergebruik (47%), maar ook het hoogste percentage artikelen zonder datageneratie of -hergebruik (18%).
- Levenswetenschappen: Hoogste nieuwe datageneratie (76%), maar laagste hergebruik (37%).

4. Belangrijkste Bijdragen

Nieuwe Indicator: Ontwikkeling van de eerste op LLM gebaseerde indicator die in staat is datahergebruik op grote schaal te meten, en die verder gaat dan eenvoudig citatie tellen naar semantische analyse van tekst.
Contextueel Begrip: In tegenstelling tot eerdere methoden, extraheert deze aanpak de redenatie achter hergebruik (hoe/waarom), waardoor rijkere metadata voor impactbeoordeling wordt geboden.
Prestatievalidatie: Aangetoond dat gefinetuned LLM's hoge nauwkeurigheid kunnen bereiken bij het detecteren van complexe onderzoekspraktijken, en dat ze beter presteren dan traditionele bibliometrie en eerdere NLP-modellen.
Verfijnde Definities: Verduidelijking van het onderscheid tussen "datageneratie" (het overbrengen van informatie uit de fysieke wereld naar digitaal) en "hergebruik", waardoor overschattingen in eerdere PLOS Open Science-indicatoren worden gecorrigeerd (die generatierates van 98% rapporteerden).

5. Betekenis en Implicaties

Herwaardering van de Impact van Open Science: De bevindingen suggereren dat de positieve effecten van datadeling en Open Science-beleid momenteel onderschat worden door traditionele metrics. Het hergebruikscijfer van 43% wijst op een levendig ecosysteem van datahergebruik dat bibliometrie niet kan vangen.
Beleid en Financiering: Dit instrument biedt financiers (bijv. Michael J. Fox Foundation) en beleidsmakers een schaalbaar mechanisme om de downstream-effecten van mandaten voor datadeling te monitoren, en verschuift van het meten van naleving (delen) naar het meten van impact (hergebruik).
Citatiesgewoonten: De studie benadrukt dat onderzoekers datagebruik vaak beschrijven op manieren die niet voldoen aan formele citatiestandaarden, wat de noodzaak onderstreept van door AI gedreven contentanalyse in plaats van uitsluitend te vertrouwen op gestructureerde metadata.
Toekomstige Richtingen: De auteurs wijzen op beperkingen met betrekking tot het onderscheid tussen het hergebruiken van eigen data versus data van anderen, en de noodzaak van bredere validatie over verschillende tijdschriften en disciplines.

Concluderend stelt dit artikel vast dat Generatieve AI een levensvatbaar en superieur instrument is voor het monitoren van de ware prevalentie en aard van hergebruik van onderzoeksdata, en dat het een nauwkeurigere basis biedt voor het evalueren van het succes van Open Science-initiatieven.