Challenges in the Computational Reproducibility of Linear Regression Analyses: An Empirical Study

Een empirische studie van 95 gezondheidsstudies uit PLOS ONE toont aan dat meer dan de helft van de analyses met lineaire regressie niet computationeel reproduceerbaar is, voornamelijk door gebrek aan transparantie bij variabele mapping en methodologische beschrijvingen, wat de noodzaak onderstreept voor het gebruik van een Data Dictionary en een nieuw Model Location and Specification Table (MLast) om de reproduceerbaarheid te verbeteren.

De kern

Stel je voor dat wetenschap een gigantisch kookprogramma is. In dit programma delen onderzoekers hun recepten (hun studies) en hun ingrediënten (hun data) met de wereld, zodat iedereen hetzelfde gerecht kan maken. Het idee is prachtig: als jij het recept volgt, zou je precies dezelfde smaak moeten krijgen als de chef-kok.

Maar wat als je in de keuken staat, met de ingrediënten voor je, en je merkt dat het gerecht er totaal anders uitziet dan in het boekje? Of erger nog: je kunt het niet eens proberen omdat je niet weet welke kruiden bij welk potje horen?

Dit is precies wat er gebeurt in de medische wereld, zoals beschreven in dit onderzoek. Hier is de uitleg in simpele taal:

Het Grote Misverstand

Onderzoekers publiceren vaak artikelen over gezondheid en zeggen: "Kijk, we hebben dit bewezen!" Ze zeggen ook: "Hier is de data, jullie kunnen het zelf narekenen." Maar dit onderzoek, dat 95 van deze artikelen onder de loep nam, ontdekte een groot probleem: de data is er vaak wel, maar het is onbruikbaar.

Het is alsof iemand je een doos met losse Lego-blokjes geeft en zegt: "Hiermee heb ik een kasteel gebouwd." Maar als je de doos opent, zijn er geen instructies, de blokken zijn gemengd met stukjes van andere sets, en er ontbreken belangrijke onderdelen. Je kunt het kasteel niet namaken, zelfs niet als je slim bent.

Wat hebben ze ontdekt?

De onderzoekers probeerden 20 van deze "recepten" (studies) zelf na te maken. Het resultaat was schokkend:

• Slechts 8 van de 20 konden daadwerkelijk worden nagebouwd.
• Bij meer dan de helft (60%) lukte het niet.

Waarom mislukte het?

1. De "Vertaalprobleem": In het artikel staat geschreven: "We keken naar 'gewicht'." Maar in de datafile heet het variabele var_123 of kg_raw. Zonder een duidelijke lijst (een woordenboek) die uitlegt wat wat is, is het raden geblazen.
2. Verborgen stappen: Soms zeggen onderzoekers: "We hebben deze mensen uit de studie gehaald," maar ze vertellen niet waarom of hoe. Het is alsof een kok zegt: "Ik heb de groenten gesneden," maar niet vertelt dat hij eerst de rotte stukjes heeft weggegooid.
3. Verloren instructies: De exacte berekeningen en de software-instellingen ontbreken vaak.

De Oplossing: Een Nieuw "Receptboek"

De auteurs van het onderzoek zeggen: "We moeten beter gaan doen." Ze stellen twee simpele, maar krachtige oplossingen voor:

1. Het Woordenboek (Data Dictionary): Als je je data deelt, moet je een duidelijke lijst maken die uitlegt: "Variabele A in de file is hetzelfde als 'Leeftijd' in het artikel." Geen raadsels meer.
2. Het "Model Locatie en Specificatie Tabel" (MLast): Dit is een nieuw idee. Stel je voor dat dit een GPS is voor je onderzoek. In plaats van alleen te zeggen "we hebben een analyse gedaan", geeft deze tabel exact aan:
   • Waar in het bestand de data zit.
   • Wat er precies met die data is gedaan.
   • Hoe het resultaat is berekend.

Waarom is dit belangrijk?

Als we dit niet fixen, vertrouwen we op medische adviezen die misschien op verkeerde berekeningen zijn gebaseerd. Het is alsof je een brug bouwt op basis van een tekening die niet klopt; het kan zijn dat de brug wel staat, maar dat we niet weten of hij veilig is.

Kortom: Om wetenschap echt betrouwbaar te maken, moeten onderzoekers niet alleen hun "ingrediënten" delen, maar ook een perfect duidelijk recept geven, inclusief een woordenboek en een stap-voor-stap handleiding. Dan kan iedereen in de wereld het gerecht (de conclusie) veilig en correct namaken.

Technische samenvatting

Probleemstelling

De studie adresseert de toenemende bezorgdheid over de reproduceerbaarheid van gezondheidsresearch. Hoewel er initiatieven zijn om data te delen om de toegankelijkheid te vergroten, blijft de daadwerkelijke bruikbaarheid van deze gedeelde data voor het computergestuurde reproduceren van onderzoeksresultaten onderbelicht. Het kernprobleem is dat gepubliceerde resultaten vaak niet kunnen worden gereproduceerd door derden, zelfs niet wanneer de data beschikbaar is. Dit komt door gebrek aan transparante rapportage over statistische tests, modelspecificaties en softwaregebruik. Zonder volledige reproduceerbaarheid wordt de geloofwaardigheid van bewijsgebaseerd beleid en praktijk ondermijnd.

Methodologie

De auteurs voerden een empirische studie uit met de volgende opzet:

• Steekproef: Een willekeurige steekproef van 95 gezondheidsresearchartikelen gepubliceerd in PLOS ONE in 2019, waarin lineaire regressieanalyses werden gerapporteerd.
• Data-toegankelijkheid: Van de 95 artikelen gaven er 68 aan data beschikbaar te hebben. Echter, voor slechts 43 artikelen was de data daadwerkelijk toegankelijk.
• Selectie voor analyse: Uit de groep met toegankelijke data werden de eerste 20 artikelen geselecteerd voor een diepgaande reproduceerbaarheidstest.
• Re-analyse: Voor elk van deze 20 artikelen werden drie regressiemodellen opnieuw geanalyseerd om te controleren of de originele resultaten exact konden worden gerepliceerd.

Belangrijkste Resultaten

De bevindingen tonen aanzienlijke tekortkomingen in de huidige praktijk:

• Data-beschikbaarheid vs. bruikbaarheid: Hoewel 68% van de artikelen aangaf data te delen, ontbrak bij 25 van deze artikelen de specifieke data die nodig was om de lineaire regressiemodellen te reproduceren.
• Reproduceerbaarheid: Slechts 8 van de 20 geanalyseerde artikelen (40%) waren computergestuurde reproduceerbaar. Dit betekent dat meer dan de helft (60%) van de onderzochte studies niet reproduceerbaar was.
• Primaire barrières:
  • Variabelenmatching: De grootste hindernis was het extreem moeilijk vinden van de juiste variabelen in de datasets die overeenkwamen met de beschrijvingen in het artikel.
  • Onvolledige methodologie: Veel studies slaagden niet in reproduceerbaarheid omdat methoden onvoldoende werden beschreven, waaronder specifieke variabele-aanpassingen en uitsluitingscriteria voor data.

Key Contributions & Oplossingen

De studie stelt concrete technische oplossingen en richtlijnen voor om de reproduceerbaarheid te verbeteren:

1. Data-dictionary: Wanneer data wordt gedeeld, moeten auteurs een bijbehorende data-dictionary leveren met variabeletitels die exact overeenkomen met de terminologie in het artikel.
2. Open code en specificaties: Analysecode, modelspecificaties en ondersteunend materiaal die de stappen voor reproduceerbaarheid detaileren, moeten worden opgeslagen in publiek toegankelijke repositories of als supplementaire bestanden worden meegestuurd.
3. Introductie van de "MLast": De auteurs stellen een nieuw instrument voor: de Model Location and Specification Table (MLast).
   • Functie: Deze tabel traceert waar en welke analyses zijn uitgevoerd.
   • Waarde: In combinatie met een data-dictionary maakt de MLast het mogelijk om analyses direct te koppelen aan de onderliggende data, wat de computergestuurde reproduceerbaarheid aanzienlijk vergemakkelijkt.

Significantie

De studie benadrukt dat het simpelweg "data delen" onvoldoende is voor open science. Zonder gestructureerde rapportage van modelspecificaties en variabele mapping blijven gedeelde data vaak nutteloos voor replicatie. De bevindingen onderstrepen de noodzaak van strengere rapportagestandaarden in de gezondheidsresearch. Door de implementatie van tools zoals de MLast en data-dictionaries, kan de wetenschappelijke gemeenschap de geloofwaardigheid van statistische resultaten vergroten en de basis leggen voor robuustere, bewijsgebaseerde beleidsvorming.