Time-to-retraction and likelihood of evidence contamination (VITALITY Extension I): a retrospective cohort analysis

Deze retrospectieve cohortstudie concludeert dat het intrekken van problematische gerandomiseerde klinische trials de verontreiniging van medisch bewijs significant vermindert, waarbij snellere intrekking geassocieerd is met een lagere kans op dergelijke verontreiniging.

De kern

🍎 Het Verrotte Appeltje in de Salade

Stel je voor dat wetenschap een enorme, gezonde salade is. De Randomized Controlled Trials (RCT's) zijn de verse, knapperige ingrediënten (zoals tomaatjes en komkommers) die de basis vormen van onze kennis over medicijnen en behandelingen.

Soms, helaas, komt er een verrotte appel (een slecht of nep-onderzoek) in die salade. Omdat wetenschappers vaak niet weten dat de appel rot is, gebruiken ze hem in hun recepten. Deze recepten heten systematische reviews: grote samenvattingen van alle beschikbare bewijzen. Als je een rotte appel in je salade doet, bederft de hele smaak. Dit noemen de auteurs "evidence contamination" (vervuiling van het bewijs).

🚨 De "Terugtrekking" (Retractie) als Reddingsboei

Wanneer een onderzoek fout blijkt te zijn (bijvoorbeeld door bedrog of slechte cijfers), moet het worden teruggetrokken (retractie). Dit is als het eruit vissen van de rotte appel uit de salade.

De vraag die deze studie beantwoordt, is: Hoe snel moet je die rotte appel eruit halen voordat hij de hele salade ongenietbaar maakt?

🔍 Wat hebben ze onderzocht?

De onderzoekers keken naar 1.330 teruggetrokken onderzoeken en zochten in 847 grote samenvattingen (reviews) om te zien hoe vaak die rotte appels nog steeds in de salade zaten, zowel voor als na het moment dat ze officieel werden verwijderd.

De belangrijkste bevindingen:

1. Het probleem is groot: Van de 1.330 slechte onderzoeken, zorgden er 426 ervoor dat de "salade" (de reviews) verontreinigd raakte. Er waren in totaal 1.106 keer een rotte appel in een recept gevonden.
2. De tijd is cruciaal: Het duurde gemiddeld 3,3 jaar voordat een slecht onderzoek voor het eerst in een grote samenvatting terechtkwam.
3. Snelheid is alles:
   • Als een onderzoek binnen 1 jaar wordt teruggetrokken, is de kans dat het de salade bederft veel kleiner.
   • Als het 7,5 jaar of langer duurt voordat het wordt teruggetrokken, is de schade al enorm groot. De rotte appel heeft dan al lang genoeg in de salade gezeten om de smaak te verpesten.
4. Na de terugtrekking is het niet direct voorbij: Zelfs na het terugtrekken van een slecht onderzoek, zagen ze nog steeds nieuwe "rotte appels" in de salade. Dit komt vaak omdat de schrijvers van de nieuwe recepten niet weten dat de appel al "verrot" is verklaard (misschien staat er geen groot rood stempel op).

💡 De Grote Les voor de Wereld

De boodschap van dit onderzoek is als volgt:

• Terugtrekken is noodzakelijk, maar niet genoeg: Het is goed dat we slechte onderzoeken verwijderen, maar als we te lang wachten, is de schade al aangericht.
• Versnellen is de sleutel: Wetenschappelijke tijdschriften moeten veel sneller ingrijpen. Als ze binnen een jaar een slecht onderzoek terugtrekken, kunnen ze 90% van de schade voorkomen.
• Wees alert: Zelfs als een onderzoek teruggetrokken is, moet er een groot waarschuwingssignaal zijn, zodat niemand per ongeluk weer een "rotte appel" in een nieuw recept doet.

🏁 Conclusie in één zin

Om de gezondheid van de medische wereld te beschermen, moeten we slechte onderzoeken niet alleen verwijderen, maar dit zo snel mogelijk doen, voordat de "rotte appels" de hele "salade" van onze kennis onbruikbaar maken.

Technische samenvatting

Titel: Tijd tot intrekking en de waarschijnlijkheid van verontreiniging van bewijs (VITALITY Extension I): een retrospectieve cohortanalyse

1. Het Probleem

In de klinische epidemiologie vormen gerandomiseerde gecontroleerde onderzoeken (RCT's) de gouden standaard voor het vaststellen van causale relaties. Echter, een toenemend aantal RCT's wordt geïntrokken vanwege twijfelachtige data, fraude of methodologische tekortkomingen. Hoewel bekend is dat intrekkingen leiden tot een daling in citaties, is de impact op de integriteit van het bewijslandschap minder duidelijk.

Specifiek is er een risico op evidence contamination (verontreiniging van bewijs): wanneer geïntrokken studies worden opgenomen in systematische reviews en meta-analyses, kunnen deze de conclusies van hoogwaardig bewijs vervalsen. Het is onduidelijk of en hoe snel de intrekking van een problematische studie deze verontreiniging kan beperken, en wat de rol is van de tijd die verstrijkt tussen publicatie en intrekking (time-to-retraction).

2. Methodologie

De auteurs voerden een retrospectieve cohortstudie uit, gebaseerd op de VITALITY Study I-database.

• Data-sets:
  • Cohort: 1.330 geïntrokken RCT's (uit de Retraction Watch database, tot november 2024).
  • Outcome-cohort: 847 systematische reviews die kwantitatief (meta-analyse) deze geïntrokken studies hadden opgenomen.
• Data-verzameling:
  • Voor RCT's: Publicatiedatum, intrekkingdatum, initiator van de intrekking, financiering, registratiestatus.
  • Voor systematische reviews: Publicatiedatum, datum van indienen (submission), datum van literatuurzoekopdracht, en het aantal geïntrokken studies per review.
• Definities:
  • Evidence contamination: Het opnemen van een geïntrokken trial in een systematische review.
  • Tijd tot eerste verontreiniging: Het interval tussen publicatie van de trial en de publicatie van de eerste vervuilde review.
  • Voor/Na-intrekking: Verontreiniging werd geclassificeerd als "voor" de intrekking als de startdatum van de review (gecorrigeerd voor publicatiedelay) vóór de intrekkingdatum lag, en "na" andersom.
• Statistische Analyse:
  • Vergelijking van het mediane aantal vervuilde reviews voor en na intrekking (Mann-Whitney U-test).
  • Analyse van de associatie tussen time-to-retraction en de kans op verontreiniging via een generalized linear model met cluster-robuste standaardfouten (om auteursclustering te corrigeren).
  • De time-to-retraction werd gestratificeerd in vier categorieën (gebaseerd op percentielen: <1,0 jaar; 1,0–1,8 jaar; 1,8–7,5 jaar; >7,5 jaar).
  • Er werden covariaten aangepast voor: tijdsranking van het tijdschrift, initiator van de intrekking, financieringsbron en registratiestatus.

3. Belangrijkste Resultaten

• Omvang van verontreiniging: Van de 1.330 geïntrokken trials leidden 426 (32,0%) tot verontreiniging, resulterend in 1.106 verontreinigingsgebeurtenissen in 847 systematische reviews.
• Tijdsverloop:
  • Het mediane tijdsinterval tussen publicatie van de trial en de eerste verontreiniging was 3,3 jaar (IQR: 3,0 tot 3,9).
  • 90% van de verontreiniging vond plaats binnen 0,9 jaar na publicatie van de trial.
• Effect van intrekking:
  • Het mediane aantal vervuilde reviews na intrekking was significant lager dan voor intrekking (0 [IQR: 0-1] vs. 1 [IQR: 1-2]; P < 0,01).
  • Dit betekent dat intrekking effectief is in het stoppen van nieuwe verontreiniging, maar niet alle reeds bestaande verontreiniging ongedaan maakt.
• Invloed van snelheid (Time-to-retraction):
  • Trials die binnen 1,0 jaar na publicatie werden ingetrokken, hadden een significant lagere kans op verontreiniging (OR = 0,69; 95% BI: 0,60–0,80) vergeleken met trials die >7,5 jaar later werden ingetrokken.
  • Trials ingetrokken tussen 1,0 en 1,8 jaar hadden eveneens een lagere kans (OR = 0,70; 95% BI: 0,60–0,80).
  • Trials ingetrokken tussen 1,8 en 7,5 jaar toonden een marginale reductie (OR = 0,87; p = 0,05).
• Post-hoc analyse: Ongeveer 22% van de vervuilde trials veroorzaakte verontreiniging alleen na hun intrekking. Dit suggereert dat auteurs van reviews de intrekkingstatus mogelijk niet kenden (bijv. door ontbrekende elektronische markeringen), zelfs als de intrekking snel plaatsvond.

4. Bijdragen en Significatie

• Eerste bewijs: Dit is de eerste studie die kwantificeert hoe de snelheid van intrekking de mate van verontreiniging in systematische reviews beïnvloedt.
• Beleidimplicaties:
  • Versnelling is cruciaal: Een snelle intrekking (binnen 1 jaar) kan de verontreiniging van het bewijslandschap met ongeveer 30% reduceren ten opzichte van trage intrekkingen.
  • Niet voldoende alleen: Intrekking alleen is niet voldoende; er is een blijvende verontreiniging (zelfs na intrekking) vanwege het ontbreken van duidelijke markeringen in databases en het niet updaten van reviews.
• Aanbevelingen:
  • Tijdschriften moeten onderzoeksmisdragingen sneller onderzoeken en intrekken om de "ripple effect" (golfbeweging) van foutief bewijs te minimaliseren.
  • Er zijn bredere strategieën nodig, zoals het verbeteren van de elektronische markering van geïntrokken studies en het updaten van richtlijnen voor systematische reviews om geïntrokken studies actief te verwijderen.

5. Beperkingen

• De studie beperkte zich tot systematische reviews met kwantitatieve synthese (meta-analyses) en nam geen kwalitatieve reviews, umbrella reviews of observationele studies mee, wat de totale omvang van verontreiniging waarschijnlijk onderschat.
• De data is gebaseerd op de Retraction Watch database, hoewel deze zeer compleet is.

Conclusie: Het intrekken van problematische RCT's is een noodzakelijke stap om de integriteit van het medische bewijs te waarborgen, maar de effectiviteit is sterk afhankelijk van de snelheid. Snellere intrekking leidt direct tot minder verontreiniging van het wetenschappelijk bewijs.