Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

Résumé technique : « Les tentatives de reproduction de la recherche en sciences de la santé sont peu fréquentes et pourraient être en déclin au fil du temps »

Énoncé du problème
Malgré les préoccupations généralisées concernant l'irreproductibilité de la recherche en sciences de la santé — citée comme un facteur de gaspillage des ressources, de préjudice pour les patients et d'érosion de la confiance du public — il existe un manque de quantification systématique de la fréquence à laquelle la communauté scientifique tente de reproduire des travaux antérieurs. Bien qu'il soit estimé qu'une partie importante des méthodes et des résultats des sciences de la santé ne peut être reproduite, il reste difficile de savoir à quelle fréquence des études de reproduction dédiées sont menées pour surveiller ce problème. De plus, les tendances temporelles de ces efforts en réponse aux préoccupations croissantes sur la reproductibilité ne sont pas bien caractérisées. Cette étude aborde le déficit de connaissances concernant la prévalence des tentatives de reproduction, les méthodes utilisées pour les identifier et leur évolution au fil du temps.

Méthodologie
Cette revue systématique et méta-analyse a respecté les directives PRISMA et le manuel Cochrane, avec un protocole enregistré a priori sur PROSPERO.

• Sources de données : Les auteurs ont effectué une recherche dans MEDLINE, Embase, Web of Science, le registre Cochrane Controlled Trials, la base de données Cochrane de revues systématiques et la littérature grise du 1er janvier 2000 au 31 mai 2023.
• Critères d'inclusion : Études en langue anglaise publiées après 1999 qui estimaient la proportion d'articles de recherche publiés dédiés à la reproduction de recherches antérieures ou concomitantes dans les sciences de la santé.
• Classification de la reproductibilité : Les tentatives ont été classées en trois types :
  1. Méthodologique : Répéter exactement les méthodes d'une autre étude.
  2. Résultats : Comparer les résultats en utilisant les mêmes méthodes ou des méthodes similaires (classés plus précisément comme approximatifs, de re-test ou non spécifiés).
  3. Inférentielle : Comparer les conclusions, y compris les ré-analyses des données originales.
• Méthodes d'identification : La revue a analysé comment les études identifiaient les tentatives de reproduction : (1) par inférence basée sur le langage de l'étude, (2) par inférence basée sur la comparabilité des éléments de conception entre les études, ou (3) par signalement explicite qu'une étude était une tentative de reproduction.
• Analyse statistique : Les estimations de prévalence ont été soumises à une méta-analyse à l'aide de modèles à effets aléatoires (régression logistique à effets mixtes) pondérés par la taille de l'échantillon. L'hétérogénéité a été évaluée à l'aide du Q de Cochrane. Une méta-régression avec des covariables variant dans le temps a été employée pour évaluer les tendances temporelles, avec un seuil de signification statistique de p < 0,01. Des analyses de sensibilité ont été réalisées en utilisant les dates de publication les plus anciennes, médianes et les plus récentes des données sous-jacentes pour tenir compte des ensembles de données pluriannuels.

Résultats clés

• Sélection des études : Sur 55 218 articles présélectionnés, 41 études ont été incluses, représentant 30 domaines de recherche distincts de Clarivate à travers le biomédical/préclinique (n=10), le clinique (n=26), la santé de la population (n=2) et des domaines multiples (n=3).
• Prévalence globale : La prévalence globale estimée des tentatives de reproduction dans la littérature des sciences de la santé entre 2000 et 2023 était de 1,6 % (IC à 95 % : 0,6–4,2 %).
• Variabilité : La prévalence variait considérablement selon le domaine de recherche, le domaine de recherche et la méthode utilisée pour identifier les tentatives.
  • Par domaine : La santé de la population présentait la prévalence la plus élevée (3,5 %), suivie du biomédical/préclinique (3,0 %), du clinique (1,3 %) et des domaines multiples (0,1 %).
  • Par méthode d'identification : Les études inférées par le langage (12,6 %) ou la comparabilité de la conception (11,9 %) présentaient une prévalence beaucoup plus élevée que celles explicitement rapportées comme tentatives de reproduction (0,3 %).
  • Par domaine de recherche : Les estimations allaient de 0,0 % à 77,8 %, bien que 22 des 30 domaines de recherche soient basés sur des études uniques.
• Tendances temporelles : La méta-régression a identifié une augmentation non significative des chances de tentatives de reproduction par an entre 2000 et 2015 (augmentation de 49,8 %, p=0,03). Cependant, cela a été suivi d'une diminution significative entre 2016 et 2023, avec une baisse de 50,2 % des chances par an (p < 0,001).
• Sensibilité : La conclusion d'un déclin post-2016 était sensible aux hypothèses analytiques. Lorsque les analyses de sensibilité attribuaient différentes années de publication (plus ancienne, médiane, plus récente) aux données pluriannuelles, les déclins observés devenaient non significatifs, suggérant que la tendance doit être interprétée avec prudence.

Signification et affirmations
Les auteurs concluent que les tentatives de reproduction de la recherche en sciences de la santé constituent une faible proportion de la littérature et pourraient être en déclin. L'étude souligne plusieurs implications critiques :

1. Besoin d'un effort accru : Malgré l'importance reconnue de la reproductibilité, la proportion de la littérature qui lui est dédiée est faible et semble avoir diminué depuis 2016. Les auteurs plaident pour un investissement accru dans les tentatives de reproduction afin d'identifier la science irreproductible et de construire des bases de preuves robustes.
2. Standardisation de la classification : La variation significative des estimations de prévalence selon la manière dont les tentatives sont identifiées (explicite vs inférée) souligne la nécessité de méthodes standardisées pour classer et rapporter les tentatives de reproduction. Distinguer les tentatives de reproduction délibérées des tentatives accidentelles est nécessaire pour une méta-science précise.
3. Surveillance de domaines spécifiques : Les auteurs notent un manque d'estimations pour la reproductibilité méthodologique et inférentielle spécifiquement. Ils suggèrent que la surveillance de ces types est cruciale, particulièrement compte tenu des interventions existantes (ex : registres de protocoles, directives de déclaration) visant à améliorer la rigueur méthodologique.
4. Directions de recherche futures : L'article appelle à des études primaires pour quantifier la prévalence des différents types de reproduction et pour étudier la relation entre la prévalence des tentatives de reproduction et d'autres mesures de la robustesse scientifique (ex : risque de biais, taux de rétractation).

L'étude souligne que la reproductibilité de la recherche n'est pas surveillée de manière routinière ou cohérente. Par conséquent, il est urgent d'augmenter le volume des tentatives de reproduction et de standardiser leur classification et leur signalement afin de mieux évaluer la fiabilité des découvertes scientifiques.