An Empirical Assessment of Inferential Reproducibility of Linear Regression in Health and Biomedical Research Papers

Deze studie toont aan dat schendingen van de aannames van lineaire regressie in gezondheidsresearch vaak onopgemerkt blijven en leiden tot gebrek aan inferentiële reproduceerbaarheid, wat de noodzaak benadrukt van betere statistische voorlichting, transparantie en samenwerking met statistici.

De kern

Stel je voor dat je een recept hebt voor de perfecte taart. Twee bakkers gebruiken exact dezelfde ingrediënten (de data) en hetzelfde recept (de lineaire regressie), maar ze komen toch met twee heel verschillende taarten. De ene is perfect, de andere zakt in elkaar. Waarom? Omdat de ene bakker een belangrijke regel over het vergeten heeft: de oven moet op de juiste temperatuur staan, of het deeg moet goed gemengd zijn.

Dit is precies wat dit onderzoek over medische studies heeft ontdekt. Hier is de uitleg in simpele taal:

Het Probleem: De "Valse" Voorspelling
In de gezondheidszorg gebruiken onderzoekers vaak wiskundige modellen om te voorspellen of een medicijn werkt of wat de oorzaak van een ziekte is. Dit noemen ze "lineaire regressie". Het is als het tekenen van een rechte lijn door een wolk van punten om een trend te zien.

Maar, om die lijn betrouwbaar te maken, moeten er strenge regels worden gevolgd. Het is alsof je een brug bouwt: als je de fundering (de aannames) niet goed controleert, kan de brug instorten, zelfs als hij er mooi uitziet. Twee van die cruciale regels zijn:

1. De ruis moet normaal zijn: De foutjes in je metingen moeten willekeurig zijn, niet in een patroon.
2. Onafhankelijkheid: Elke meting moet los staan van de andere. Je kunt niet twee keer dezelfde persoon tellen alsof het twee verschillende mensen zijn.

Het Experiment: De Keukentest
De onderzoekers hebben 95 medische artikelen uit 2019 bekeken. Ze probeerden de berekeningen van 14 van die artikelen zelf na te doen met de originele data. Het was alsof ze de taart van de originele bakker probeerden te maken om te zien of ze hetzelfde resultaat kregen.

Wat vonden ze?

• Slechte nieuws: Van de 14 artikelen die ze konden nabouwen, was maar 3 echt betrouwbaar. De andere 11 gaven een ander resultaat dan de originele auteurs beweerden.
• De boosdoeners: De meeste fouten zaten in het negeren van de regels over "normaal verdeelde fouten" en "onafhankelijkheid". Het negeren van onafhankelijkheid was het gevaarlijkst; het leidde bijna altijd tot een verkeerde conclusie.
• De illusie: Interessant genoeg zeiden de meeste studies nog steeds: "Ja, het werkt!" of "Nee, het werkt niet!" (dezelfde ja/nee conclusie). Maar als je keek naar de marge van fouten (het vertrouwensinterval), bleek dat de originele studies veel te zeker waren. Het was alsof ze zeiden: "De brug is 100% veilig," terwijl de nieuwe berekening zei: "De brug is misschien veilig, maar we zijn er niet helemaal zeker van."

Waarom is dit belangrijk?
Als artsen beslissingen nemen op basis van deze onzekere cijfers, kunnen ze verkeerde behandelingen voorschrijven. Het is alsof je een medicijn voorschrijft omdat je denkt dat het 100% werkt, terwijl het in werkelijkheid maar 50% kans heeft.

De Oplossing: Meer Samenwerking
De auteurs zeggen dat we niet te star moeten zijn met regels. Soms testen onderzoekers de verkeerde dingen (bijvoorbeeld controleren of de uitkomst normaal is, terwijl je de fouten moet controleren).

In plaats van blindelings regels te volgen, moeten onderzoekers:

1. Vroegtijdig samenwerken met statistici (de "brugbouwers").
2. Als de regels worden overtreden, andere, sterkere methoden gebruiken (zoals bootstrapping of geavanceerde modellen) in plaats van te doen alsof er niets aan de hand is.

Kortom:
Veel medische studies lijken betrouwbaar, maar als je de "ondergrond" van hun berekeningen goed bekijkt, blijken ze vaak op wankel fundament te staan. Om echte, veilige medische beslissingen te nemen, moeten we stoppen met het blindelings volgen van recepten en beginnen met het bouwen van stevige bruggen, samen met experts.

Technische samenvatting

Probleemstelling

De kern van het onderzoek ligt in het fenomeen van inferentiële reproduceerbaarheid binnen de gezondheids- en biomedische research. Variatie in modelleringkeuzes kan leiden tot uiteenlopende conclusies, zelfs wanneer dezelfde dataset wordt geanalyseerd. Een specifiek aandachtspunt is de lineaire regressie, een veelgebruikte methode waarbij de geldigheid van de conclusies afhankelijk is van de naleving van fundamentele aannames, zoals de normaliteit van de residuen en lineariteit. Het artikel stelt dat het incorrect hanteren van deze aannames de reproduceerbaarheid van inferenties ondermijnt, wat potentieel schadelijke gevolgen kan hebben voor klinische besluitvorming.

Methodologie

De auteurs voerden een empirische studie uit met de volgende stappen:

• Steekproef: Er werd een willekeurige steekproef getrokken van 95 gezondheidsgerelateerde papers gepubliceerd in PLOS ONE in 2019, waarin lineaire regressie als analyse-methode werd vermeld.
• Data-beschikbaarheid: Data was beschikbaar voor 43 papers. Hiervan werden 20 papers geselecteerd voor een beoordeling van de computationele reproduceerbaarheid (d.w.z. of de auteurs de data en code beschikbaar stelden).
• Analyse-eenheden: Voor elk van deze papers werden drie modellen geëvalueerd. Uiteindelijk werden 14 papers geanalyseerd die ten minste één model computatieel reproduceerbaar maakten.
• Evaluatiecriteria: De reproduceerbaarheid werd getoetst door de oorspronkelijke resultaten te vergelijken met de gereproduceerde analyses. Er werd gekeken naar:
  • Schattingen van de coëfficiënten.
  • 95% betrouwbaarheidsintervallen (CI).
  • Modelfit.
  • De aanwezigheid van schendingen van modelaannames (vooral normaliteit en onafhankelijkheid).

Belangrijkste Resultaten

De bevindingen tonen een zorgwekkend gebrek aan reproduceerbaarheid:

• Inferentiële reproduceerbaarheid: Van de 14 geanalyseerde papers was slechts 3 papers (ongeveer 21%) inferentieel reproduceerbaar. Dit betekent dat in de overgrote meerderheid van de gevallen de gereproduceerde analyse tot andere conclusies leidde dan de originele studie.
• Schending van aannames: De meest voorkomende schendingen waren normaliteit en onafhankelijkheid, elk aanwezig in 8 van de 14 papers.
• Impact van schendingen: Schendingen van de onafhankelijkheid van observaties bleken bijzonder consequentievol en waren sterk geassocieerd met falen in de inferentiële reproduceerbaarheid.
• Statistische significantie vs. Onzekerheid: Hoewel de gereproduceerde analyses vaak dezelfde classificatie van statistische significantie (binaire "significant/niet-significant") behielden als de originele studies, waren de betrouwbaarheidsintervallen in de gereproduceerde analyses vaak breder. Dit duidt op een grotere onzekerheid en een verminderde precisie die in de originele studies niet correct werd weergegeven.

Belangrijkste Bijdragen en Conclusies

Het onderzoek levert een kritische bijdrage aan het begrip van de kwaliteit van statistische analyse in de biomedische wetenschap:

1. Onopgemerkte fouten: Substantiële schendingen van modelaannames bleven vaak onopgemerkt door zowel auteurs als peer reviewers.
2. Klinische relevantie: De ondergeschatte onzekerheid (smalle CI's in originele studies versus brede CI's in gereproduceerde studies) kan leiden tot verkeerde interpretaties van resultaten, wat direct van invloed kan zijn op behandelbeslissingen en klinische praktijken.
3. Noodzaak voor onderwijs en transparantie: Er is een dringende behoefte aan sterkere statistische educatie en meer transparantie in modelleringkeuzes.

Aanbevelingen voor de Praktijk

De auteurs pleiten voor een verschuiving in de aanpak van statistische modellering:

• Contextgebonden modellering: Onderzoekers moeten modellering frameworks kiezen die gebaseerd zijn op de onderzoeksvraag en het studieontwerp, in plaats van starre of misleidende regels te volgen (zoals het onterecht testen op normaliteit van de outcome-variabele in plaats van de residuen).
• Alternatieve methoden: Bij schendingen van aannames moeten geschikte alternatieven worden toegepast, zoals:
  • Robuste methoden.
  • Bootstrapping.
  • Generalized Linear Models (GLM).
  • Mixed-effects models.
• Vroege samenwerking: Gezien de veelvoorkomende fouten zelfs in relatief simpele regressiemodellen, is vroege en aanhoudende samenwerking met statistici essentieel om robuuste, verdedigbare en klinisch zinvolle conclusies te trekken.