Information loss in evidence synthesis: a meta-research study of exercise intervention reporting in randomized controlled trials and systematic reviews
Deze meta-onderzoekende studie toont aan dat systematische reviews van interventies met lichaamsbeweging lijden onder aanzienlijk informatieverlies in vergelijking met hun bron-gerandomiseerde gecontroleerde studies, primair als gevolg van incomplete oorspronkelijke rapportage en verdere uitval tijdens het syntheseproces, met name met betrekking tot apparatuur, therapietrouw, kenmerken van de uitvoerder en afstemmingsmethoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een geheim recept hebt voor de meest geweldige chocoladecake ter wereld. Je schrijft het op in een enorm, gedetailleerd schrift (de Randomized Controlled Trial, of RCT). Er staat precies in hoeveel suiker, wat voor soort bloem, de temperatuur van de oven en zelfs het specifieke merk mixer dat je hebt gebruikt.
Stel je nu voor dat een voedingscriticus (de Systematic Review, of SR) de beste taartrecepten van 130 verschillende bakkers wil samenvatten om de wereld te vertellen: "Hé, chocoladecake is geweldig!" De criticus leest jouw schrift en schrijft een korte samenvatting.
Hier is het probleem dat dit onderzoek heeft gevonden: De criticus heeft bijna al het goede spul weggegooid.
Het Grote Receptenlek
De onderzoekers bekeken 130 sport "recepten" (interventies) uit originele trial-schriften en vergeleken deze met de samenvattingen in systematische reviews. Ze gebruikten drie verschillende checklists om te zien hoeveel detail er de reis van het schrift naar de samenvatting overleefde.
De resultaten waren een beetje een schok:
- De Originele Schriften: De oorspronkelijke auteurs van de trials deden het eigenlijk best goed. Gemiddeld namen ze ongeveer 66,7% van de details op die nodig zijn om de oefening te begrijpen (met behulp van de TIDieR-checklist) en 53,2% met de oefening-specifieke checklist (CERT).
- De Samenvattingen: Wanneer de reviews deze trials samenvatten, verdwijnen de details. De reviews behielden slechts 16,7% van de details van beide checklists.
Denk er zo over na: als het originele recept zei: "Gebruik 2 koppen King Arthur bloem, twee keer gezeefd, bij 175°C gedurende 25 minuten," dan zei de samenvatting alleen: "Gebruik bloem en bakken."
Wat Ging Er Verloren in de Chaos?
Het papier mat precies wat er verdween. Het was niet zomaar willekeurig; specifieke, cruciale details waren de eersten die verdwenen.
- Apparatuur: In 98,9% van de gevallen waarin de originele trial vermeldde welke apparatuur werd gebruikt (zoals een specifieke loopband of een gewichtsapparaat), liet de review dit volledig achterwege.
- Wie het deed: In 94,9% van de gevallen vergat de review te vermelden wie de oefening aanbadde (een PhD-trainer? een verpleegkundige? een vrijwilliger?).
- Trouw aan het plan: 97,2% van de tijd werd er niet vermeld of mensen zich daadwerkelijk aan het plan hielden (adherence) of of de docenten de regels volgden (fidelity).
- Veiligheid: 87,5% van de keren werd elke vermelding van bijwerkingen (adverse events) geschrapt.
In de basis vertelden de reviews ons dat een oefening werkte, maar ze stripte de "hoe", "wie", "waar" en "wat als het pijn doet"-delen weg.
Hielpen de "Nieuwe Regels" Echt?
Je zou kunnen denken: "Wacht even, zijn er niet nieuwe regelboeken uitgebracht (TIDieR in 2014 en CERT later) om auteurs te vertellen beter te schrijven?"
Het onderzoek controleerde dit. Ze keken naar trials gepubliceerd vóór en na de komst van deze regelboeken.
- Het Resultaat: Het onderzoek vond geen duidelijke verbetering. De hoeveelheid detail in de originele schriften bleef ongeveer hetzelfde (rond de 53,1% tot 53,3% volledigheid), ongeacht of de regelboeken bestonden of niet.
- Het Samenvattingsprobleem: De gegevens toonden een hoger mediaan informatieverlies in reviews die gepubliceerd werden na de komst van de regelboeken vergeleken met die daarvoor. De auteurs waarschuwen echter dat dit een beschrijvende bevinding is uit een kleine steekproef en beïnvloed kan zijn door andere factoren zoals het type oefening of klinisch gebied, in plaats van te bewijzen dat de regelboeken de boel slechter maakten.
In de basis is de conclusie dat alleen een regelboek in de kast hebben niet genoeg is. De auteurs volgen het niet, en de reviewers kijken er niet naar.
De Mythe van de "Hoge Kwaliteit"
De onderzoekers controleerden ook of de "beste" reviews (Cochrane reviews, die meestal de gouden standaard zijn) het beter deden.
- De Bevinding: Zelfs de hoogwaardige Cochrane reviews verloren een enorme hoeveelheid informatie. Hoewel ze iets minder details verloren dan de andere soorten reviews, lieten ze nog steeds ongeveer 22,6% van de beschikbare details vallen.
- De Les: Een "hoogwaardige" review zijn betekent niet dat je goed bent in het behouden van de receptdetails. Je kunt een perfecte wetenschapper zijn en de receptuur nog steeds samenvatten als "eet cake."
Het Eindoordeel
Het artikel concludeert dat we informatie verliezen op twee plaatsen:
- Bij de bron: De oorspronkelijke auteurs van de trials schrijven niet gedetailleerd genoeg vanaf het begin.
- Tijdens de samenvatting: Zelfs als de details wel aanwezig zijn, gooien de reviewers ze weg.
De auteurs suggereren dat als we willen weten of een sportprogramma gekopieerd kan worden in een echte sportschool of een ziekenhuis, we zowel de originele auteurs nodig hebben die betere recepten schrijven, áls de reviewers die moeten stoppen met het samenvatten ervan in vage labels zoals "aerobe training". Zonder beide stappen weten we wel dat de cake lekker smaakt, maar hebben we geen idee hoe we hem zelf moeten bakken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.