Information loss in evidence synthesis: a meta-research study of exercise intervention reporting in randomized controlled trials and systematic reviews
Diese Metaforschungsstudie zeigt, dass systematische Übersichtsarbeiten zu Trainingsinterventionen im Vergleich zu ihren zugrunde liegenden randomisierten kontrollierten Studien einen signifikanten Informationsverlust erleiden, was primlich auf eine unvollständige ursprüngliche Berichterstattung und einen weiteren Schwund während des Syntheseprozesses zurückzuführen ist, insbesondere in Bezug auf Ausrüstung, Adhärenz, Anbietercharakteristika und Anpassungsmethoden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein geheimes Rezept für den besten Schokoladenkuchen der Welt. Sie schreiben es in ein riesiges, detailliertes Notizbuch (die randomisierte kontrollierte Studie, oder RCT). Darin steht genau, wie viel Zucker, welche Art von Mehl, die Temperatur des Ofens und sogar die spezifische Marke des Mixers, den Sie verwendet haben.
Stellen Sie sich nun vor, ein Food-Kritiker (die systematische Übersichtsarbeit, oder SR) möchte die besten Kuchenrezepte von 130 verschiedenen Bäckern zusammenfassen, um der Welt zu sagen: „Hey, Schokoladenkuchen ist großartig!“ Der Kritiker liest Ihr Notizbuch und schreibt eine kurze Zusammenfassung.
Hier liegt das Problem, das diese Arbeit gefunden hat: Der Kritiker hat fast all das Gute weggeworfen.
Das große Rezept-Leck
Die Forscher untersuchten 130 Trainings-„Rezepte“ (Interventionen) aus den ursprünglichen Studien-Notizbüchern und verglichen sie mit den Zusammenfassungen in den systematischen Übersichtsarbeiten. Sie verwendeten drei verschiedene Checklisten, um zu sehen, wie viele Details den Weg vom Notizbuch zur Zusammenfassung überlebten.
Die Ergebnisse waren ein wenig schockierend:
- Die ursprünglichen Notizbücher: Die Autoren der ursprünglichen Studien machten eigentlich einen ordentlichen Job. Im Durchschnitt enthielten sie etwa 66,7 % der Details, die nötig sind, um das Training zu verstehen (unter Verwendung der TIDieR-Checkliste) und 53,2 % mit der trainingsspezifischen Checkliste (CERT).
- Die Zusammenfassungen: Als die Übersichtsarbeiten diese Studien zusammenfassten, verschwanden die Details. Die Zusammenfassungen behielten nur 16,7 % der Details aus beiden Checklisten.
Stellen Sie es sich so vor: Wenn das Originalrezept sagte: „Verwenden Sie 2 Tassen King Arthur Mehl, zweimal gesiebt, bei 175 °C für 25 Minuten“, sagte die Zusammenfassung nur: „Mehl verwenden und backen.“
Was ging im Chaos verloren?
Die Arbeit maß genau, was verschwand. Es war nicht einfach zufällig; entscheidende, spezifische Details waren die Ersten, die gingen.
- Ausrüstung: In 98,9 % der Fälle, in denen die ursprüngliche Studie erwähnte, welche Ausrüstung verwendet wurde (wie ein bestimmtes Laufband oder eine Gewichtsmaschine), ließ die Übersichtsarbeit dies völlig weg.
- Wer es tat: In 94,9 % der Fälle vergaßen die Übersichtsarbeiten zu erwähnen, wer das Training anleitete (ein PhD-Trainer? eine Pflegekraft? ein Freiwilliger?).
- Bindung (Adhärenz): In 97,2 % der Fälle erwähnten die Übersichtsarbeiten nicht, ob die Teilnehmer tatsächlich am Plan festhielten (Adhärenz) oder ob die Lehrer die Regeln befolgten (Fidelity).
- Sicherheit: In 87,5 % der Fälle wurde jede Erwähnung von Nebenwirkungen (unerwünschte Ereignisse) gestrichen.
Im Grunde sagten uns die Übersichtsarbeiten, dass ein Training funktionierte, aber sie entfernten das „Wie“, das „Wer“, das „Wo“ und das „Was, wenn es wehtut“.
Halfen die „neuen Regeln“?
Man könnte denken: „Warte mal, haben Wissenschaftler nicht neue Regelbücher veröffentlicht (TIDieR 2014 und CERT später), um Autoren anzuweisen, besser zu schreiben?“
Die Arbeit prüfte dies. Sie untersuchte Studien, die vor und nach der Veröffentlichung dieser Regelbücher veröffentlicht wurden.
- Das Ergebnis: Die Arbeit fand keine klare Verbesserung. Die Menge an Details in den ursprünglichen Notizbüchern blieb etwa gleich (ca. 53,1 % bis 53,3 % Vollständigkeit), unabhängig davon, ob die Regelbücher existierten oder nicht.
- Das Problem der Zusammenfassung: Die Daten zeigten einen höheren Median des Informationsverlusts in Übersichtsarbeiten, die nach den Regelbüchern veröffentlicht wurden, im Vergleich zu denen vor den Regelbüchern. Die Autoren mahnen jedoch, dass dies ein deskriptiver Befund aus einer kleinen Stichprobe ist und durch andere Faktoren wie die Art des Trainings oder das klinische Fachgebiet beeinflusst sein kann, anstatt zu beweisen, dass die Regelbücher die Sache verschlechtert haben.
Die Arbeit argumentt daher, dass es nicht ausreicht, ein Regelbuch nur im Regal stehen zu haben. Die Autoren befolgen es nicht, und die Reviewer schauen nicht danach.
Der „Hochqualitäts“-Mythos
Die Forscher prüften auch, ob die „besten“ Übersichtsarbeiten (Cochrane-Reviews, die meist als Goldstandard gelten) einen besseren Job machten.
- Der Befund: Selbst die hochwertigen Cochrane-Reviews verloren eine massive Menge an Informationen. Obwohl sie etwas weniger Details als andere Arten von Übersichtsarbeiten verloren, warfen sie dennoch etwa 22,6 % der verfügbaren Details weg.
- Die Erkenntnis: Eine „hochwertige“ Übersichtsarbeit zu sein, bedeutet nicht zwangsläufig, dass man gut darin ist, die Rezeptdetails beizubehalten. Man kann ein perfekter Wissenschaftler sein und das Rezept trotzdem als „Iss Kuchen“ zusammenfassen.
Das Urteil
Die Arbeit kommt zu dem Schluss, dass wir Informationen an zwei Stellen verlieren:
- An der Quelle: Die Autoren der ursprünglichen Studien schreiben von vornherein nicht genug Details auf.
- Während der Zusammenfassung: Selbst wenn die Details vorhanden sind, werfen die Reviewer sie weg.
Die Autoren schlagen vor, dass wir, wenn wir wissen wollen, ob ein Trainingsprogramm in einem echten Fitnessstudio oder einem Krankenhaus repliziert werden kann, sowohl brauchen, dass die ursprünglichen Autoren bessere Rezepte schreiben, als auch, dass die Reviewer aufhören, sie in vage Etiketten wie „aerobes Training“ zusammenzufassen. Ohne beide Schritte wissen wir zwar, dass der Kuchen schmeckt, aber wir haben keine Ahnung, wie wir ihn selbst backen sollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.