Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

Technische Samenvatting: "Pogingen tot het reproduceren van gezondheidswetenschappelijk onderzoek zijn ongebruikelijk en kunnen in de loop van de tijd afnemen"

Probleemstelling
Ondanks wijdverbreide zorgen over niet-reproduceerbaar onderzoek in de gezondheidswetenschappen—geciteerd als een drijfveer voor verspilling van middelen, schade aan patiënten en erosie van het publieke vertrouwen—is er een gebrek aan systematische kwantificering met betrekking tot hoe vaak de wetenschappelijke gemeenschap eerder werk probeert te reproduceren. Hoewel wordt geschat dat een aanzienlijk deel van de methoden en resultaten in de gezondheidswetenschappen niet reproduceerbaar is, blijft het onduidelijk hoe vaak er specifieke reproduceerbaarheidsonderzoeken worden uitgevoerd om dit probleem te monitoren. Bovendien zijn de temporele trends van deze inspanningen in reactie op groeiende zorgen over reproduceerbaarheid niet goed gekarakteriseerd. Deze studie adresseert het kennishiaat met betrekking tot de prevalentie van reproduceerbaarheidspogingen, de gebruikte methoden om deze te identificeren en hun evolutie in de loop van de tijd.

Methodologie
Deze systematische review en meta-analyse volgde de PRISMA-richtlijnen en de Cochrane Handbook, met een vooraf geregistreerd protocol op PROSPERO.

• Databronnen: De auteurs doorzochten MEDLINE, Embase, Web of Science, de Cochrane Controlled Trials Registry, de Cochrane Database of Systematic Reviews en grijze literatuur van 1 januari 2000 tot 31 mei 2023.
• Inclusiecriteria: Engelstalige studies gepubliceerd na 1999 die de proportie van gepubliceerde wetenschappelijke artikelen schatten die gewijd zijn aan het reproduceren van eerder of gelijktijdig onderzoek binnen de gezondheidswetenschappen.
• Classificatie van Reproduceerbaarheid: Pogingen werden gecategoriseerd in drie typen:
  1. Methodologisch: Het exact herhalen van de methoden van een andere studie.
  2. Resultaten: Het vergelijken van resultaten met behulp van dezelfde of vergelijkbare methoden (verder geclassificeerd als benaderend, hertest of ongespecificeerd).
  3. Inferentieel: Het vergelijken van conclusies, inclusief heranalyses van de originele data.
• Identificatiemethoden: De review analyseerde hoe studies reproduceerbaarheidspogingen identificeerden: (1) inferentie op basis van de taal van de studie, (2) inferentie op basis van de vergelijkbaarheid van ontwerpelementen tussen studies, of (3) expliciete rapportage dat een studie een reproduceerbaarheidspoging is.
• Statistische Analyse: Prevalentieschattingen werden meta-geanalyseerd met behulp van random-effects modellen (mixed-effects logistische regressie) gewogen naar steekproefomvang. Heterogeniteit werd beoordeeld met de Q van Cochrane. Meta-regressie met tijdvariërende covariaten werd toegepast om temporele trends te evalueren, met een statistische significantiedrempel van p < 0,01. Gevoeligheidsanalyses werden uitgevoerd met behulp van de vroegste, mediane en meest recente publicatiedatums van de onderliggende data om rekening te houden met meerjarige datasets.

Belangrijkste Resultaten

• Studie selectie: Vanuit 5、『5218 gescreende artikelen werden 41 studies opgenomen, die 30 verschillende Clarivate-onderzoeksgebieden vertegenwoordigen binnen biomedisch/preklinisch (n=10), klinisch (n=26), populatiegezondheid (n=2) en meerdere domeinen (n=3).
• Algehele Prevalentie: De samengevoegde geschatte prevalentie van reproduceerbaarheidspogingen in de gezondheidswetenschappelijke literatuur tussen 2000 en 2023 was 1,6% (95% BI: 0,6–4,2%).
• Variabiliteit: De prevalentie varieerde significant per onderzoeksdomein, onderzoeksgebied en de methode die werd gebruikt om pogingen te identificeren.
  • Per Domein: Populatiegezondheid vertoonde de hoogste prevalentie (3,5%), gevolgd door biomedisch/preklinisch (3,0%), klinisch (1,3%) en meerdere domeinen (0,1%).
  • Per Identificatiemethode: Studies die via taal (12,6%) of vergelijkbaarheid van ontwerp (11,9%) werden geïnferred, vertoonden een veel hogere prevalentie dan die expliciet als reproduceerbaarheidspoging werden gerapporteerd (0,3%).
  • Per Onderzoeksgebied: Schattingen varieerden van 0,0% tot 77,8%, hoewel 22 van de 30 onderzoeksgebieden gebaseerd waren op enkele studies.
• Temporele Trends: Meta-regressie identificeerde een niet-significante toename in de odds van reproduceerbaarheidspogingen per jaar tussen 2000 en 2015 (49,8% toename, p=0,03). Dit werd echter gevolgd door een significante afname tussen 2016 en 2023, met een afname van de odds per jaar van 50,2% (p < 0,001).
• Gevoeligheid: De bevinding van een daling na 2016 was gevoelig voor analytische aannames. Wanneer gevoeligheidsanalyses verschillende publicatiejaren (vroegste, mediane, meest recente) toewezen aan meerjarige data, werden de geobserveerde dalingen niet-significant, wat suggereert dat de trend met voorzichtigheid moet worden geïnterpreteerd.

Betekenis en Claims
De auteurs concluderen dat pogingen tot het reproduceren van gezondheidswetenschappelijk onderzoek een klein deel van de literatuur vormen en mogelijk afnemen. De studie benadrukt verschillende kritische implicaties:

1. Noodzaak voor Verhoogde Inspanning: Ondanks het erkende belang van reproduceerbaarheid is het aandeel van de literatuur dat eraan gewijd is laag en lijkt sinds 2016 af te nemen. De auteurs pleiten voor grotere investeringen in reproduceerbaarheidspogingen om niet-reproduceerbare wetenschap te identificeren en robuuste bewijslast te bouwen.
2. Standaardisatie van Classificatie: De significante variatie in prevalentieschattingen op basis van hoe pogingen worden geïdentificeerd (expliciet versus geïnferred) onderstreept de noodzaak van gestandaardiseerde methoden om reproduceerbaarheidspogingen te classificeren en te rapporteren. Het onderscheid tussen bewuste en incidentele reproduceerbaarheidspogingen is noodzakelijk voor een nauwkeurige meta-wetenschap.
3. Monitoring van Specifieke Domeinen: De auteurs merken een gebrek aan schattingen voor specifiek methodologische en inferentiële reproduceerbaarheid op. Zij suggereren dat het monitoren van deze typen cruciaal is, met name gezien bestaande interventies (bijv. protocolregisters, rapportage richtlijnen) die gericht zijn op het verbeteren van methodologische strengheid.
4. Toekomstige Onderzoeksrichtingen: Het artikel roept op tot primaire studies om de prevalentie van verschillende typen reproduceerbaarheid te kwantificeren en om de relatie tussen de prevalentie van reproductiepogingen en andere metrieken van wetenschappelijke robuustheid (bijv. risico op bias, retractieratio's) te onderzoeken.

De studie benadrukt dat onderzoek reproduceerbaarheid niet routinematig en consistent wordt gemonitord. Daarom is er een dringende behoefte om het volume van reproduceerbaarheidspogingen te vergroten en om hun classificatie en rapportage te standaardiseren om de betrouwbaarheid van wetenschappelijke bevindingen beter te kunnen evalueren.