Information loss in evidence synthesis: a meta-research study of exercise intervention reporting in randomized controlled trials and systematic reviews
Cette méta-recherche démontre que les revues systématiques d'interventions d'exercice souffrent d'une perte d'information significative par rapport à leurs essais contrôlés randomisés sources, principalement en raison d'un signalement initial incomplet et d'une attrition supplémentaire lors du processus de synthèse, particulièrement concernant l'équipement, l'observance, les caractéristiques des prestataires et les méthodes d'adaptation.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez la recette secrète du gâteau au chocolat le plus incroyable du monde. Vous l'écrivez dans un grand carnet détaillé (l'essai contrôlé randomisé, ou ECR). Il liste exactement la quantité de sucre, le type de farine, la température du four et même la marque spécifique du batteur que vous avez utilisé.
Maintenant, imaginez qu'un critique gastronomique (la revue systématique, ou RS) veuille résumer les meilleures recettes de gâteaux de 130 boulangers différents pour dire au monde : « Hé, le gâteau au chocolat, c'est génial ! » Le critique lit votre carnet et rédige un court résumé.
Voici le problème que cette étude a découvert : le critique a jeté presque tout ce qui était bon.
La grande fuite de la recette
Les chercheurs ont examiné 130 « recettes » d'exercices (interventions) provenant de carnets d'essais originaux et les ont comparées aux résumés écrits dans des revues systématiques. Ils ont utilisé trois listes de contrôle différentes pour voir quelle quantité de détails avait survécu au voyage du carnet jusqu'au résumé.
Les résultats ont été un peu choquants :
- Les carnets originaux : Les auteurs des essais originaux s'en sortaient plutôt bien. En moyenne, ils incluaient environ 66,7 % des détails nécessaires pour comprendre l'exercice (en utilisant la liste de contrôle TIDieR) et 53,2 % en utilisant la liste de contrôle spécifique à l'exercice (CERT).
- Les résumés : Lorsque les revues résumaient ces essais, les détails s'évaporaient. Les résumés ne conservaient que 16,7 % des détails des deux listes de contrôle.
Voyez cela comme ceci : si la recette originale disait : « Utilisez 2 tasses de farine King Arthur, tamisée deux fois, à 175 °C pendant 25 minutes », le résumé disait simplement : « Utilisez de la farine et faites cuire ».
Qu'est-ce qui s'est perdu en chemin ?
L'étude a mesuré précisément ce qui avait disparu. Ce n'était pas seulement aléatoire ; des détails spécifiques et cruciaux furent les premiers à disparaître.
- Équipement : Dans 98,9 % des cas où l'essai original mentionnait l'équipement utilisé (comme un tapis roulant ou une machine de musculation spécifique), la revue l'a totalement omis.
- Qui l'a fait : 94,9 % du temps, les revues ont oublié de préciser qui enseignait l'exercice (un entraîneur titulaire d'un doctorat ? une infirmière ? un bénévole ?).
- Adhésion : 97,2 % du temps, les revues ne mentionnaient pas si les gens respectaient réellement le plan (adhérence) ou si les enseignants suivaient les règles (fidélité).
- Sécurité : 87,5 % du temps, toute mention de mauvais effets secondaires (événements indésirables) était abandonnée.
En gros, les revues nous disaient que l'exercice fonctionnait, mais elles supprimaient le « comment », le « qui », le « où » et le « et si ça fait mal ».
Les « nouvelles règles » ont-elles aidé ?
Vous pourriez penser : « Attendez, les scientifiques n'ont-ils pas publié de nouveaux manuels de règles (TIDieR en 2014 et CERT plus tard) pour dire aux auteurs d'écrire mieux ? »
L'étude a vérifié cela. Ils ont comparé les essais publiés avant et après la sortie de ces manuels de règles.
- Le résultat : L'étude a constaté qu'il n'y avait aucune amélioration claire. La quantité de détails dans les essais originaux est restée sensiblement la même (environ 53,1 % à 53,3 % de complétude) que les manuels de règles existent ou non.
- Le problème du résumé : Les données ont montré une perte d'information médiane plus élevée dans les revues publiées après les manuels de règles par rapport à celles publiées avant. Cependant, les auteurs précisent qu'il s'agit d'une observation descriptive issue d'un petit échantillon et que cela peut être influencé par d'autres facteurs, comme le type d'exercice ou le domaine clinique, plutôt que de prouver que les manuels de règles ont empiré les choses.
Ainsi, l'article soutient que le simple fait d'avoir un manuel de règles sur une étagère ne suffit pas. Les auteurs ne le suivent pas, et les réviseurs ne le cherchent pas.
Le mythe de la « haute qualité »
Les chercheurs ont également vérifié si les « meilleures » revues (les revues Cochrane, qui sont généralement la référence) faisaient un meilleur travail.
- La conclusion : Même les revues Cochrane de haute qualité perdaient une quantité massive d'informations. Bien qu'elles perdent légèrement moins que les autres types de revues, elles abandonnent tout de même environ 22,6 % des détails disponibles.
- La leçon : Être une revue de « haute qualité » ne signifie pas que vous êtes doué pour conserver les détails de la recette. Vous pouvez être un scientifique parfait et pourtant résumer la recette par « mangez du gâteau ».
Le verdict
L'article conclut que nous perdons des informations à deux endroits :
- À la source : Les auteurs des essais originaux ne notent pas assez de détails dès le départ.
- Pendant le résumé : Même quand les détails sont là, les réviseurs les jettent.
Les auteurs suggèrent que si nous voulons savoir si un programme d'exercice peut être reproduit dans une vraie salle de sport ou un hôpital, nous avons besoin à la fois que les auteurs originaux écrivent de meilleures recettes et que les réviseurs cessent de les résumer en étiquettes vagues comme « exercice aérobique ». Sans ces deux étapes, nous savons que le gâteau est bon, mais nous n'avons aucune idée de la façon de le cuisiner nous-mêmes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.