Citation language changes little after findings fail to replicate: a longitudinal analysis
Une analyse longitudinale de plus de 15 000 phrases citées révèle que les articles ultérieurs ajustent rarement leur langage pour refléter les échecs de réplication ou mentionnent les preuves contradictoires, offrant ainsi aux lecteurs peu d'indications sur la question de savoir si les résultats originaux ont été répliqués avec succès.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
La science est souvent imaginée comme une machine autocorrectrice, où de nouvelles preuves mettent automatiquement à jour notre compréhension du monde. Lorsqu'une étude est répétée et ne parvient pas à produire le même résultat, l'attente est que la communauté scientifique le remarque, marque une pause et ajuste la manière dont elle parle de ce résultat initial. Ce processus repose sur le langage que les chercheurs utilisent lorsqu'ils citent des travaux antérieurs. Si une affirmation s'est avérée fragile, les phrases décrivant celle-ci dans de nouveaux articles devraient idéalement devenir plus prudentes, ou du moins mentionner que le résultat original n'a pas pu être confirmé. C'est ainsi que la connaissance est censée évoluer : non pas en effaçant le passé, mais en affinant la description de ce que nous savons et de ce que nous ne savons pas.
Une équipe de chercheurs s'est donné pour mission de tester si cette autocorrection se produit réellement de la manière dont nous l'imaginons. Ils se sont concentrés sur une question spécifique : lorsque la tentative majeure et planifiée de répéter une étude célèbre échoue, les auteurs des articles ultérieurs changent-ils les mots qu'ils utilisent pour décrire ce résultat original ? Pour trouver la réponse, ils ont examiné une vaste collection d'affirmations scientifiques issues de la psychologie, de l'économie et des sciences sociales. Ils ont identifié 110 études originales qui faisaient partie de trois grands projets de réplication. Pour chacune de ces études, ils ont recueilli des milliers de phrases provenant d'articles ultérieurs citant le travail original. Ils ont ensuite utilisé des modèles informatiques avancés pour lire ces phrases et les évaluer sur une échelle de certitude, mesurant le degré de détermination avec lequel les auteurs énonçaient l'affirmation originale. Ils ont comparé le langage utilisé pour les résultats ayant échoué à la réplication par rapport au langage utilisé pour les résultats ayant été répétés avec succès.
Les résultats ont révélé un manque de changement frappant. Les chercheurs ont constaté que la formulation utilisée pour décrire les résultats échoués restait presque identique à la formulation utilisée pour les réussites. Même des années après qu'une tentative de réplication a montré qu'un résultat original ne pouvait être reproduit, les articles ultérieurs continuaient d'énoncer ces résultats avec le même niveau de confiance. Les modèles informatiques n'ont détecté aucun changement significatif vers un langage plus prudent. En fait, la différence de certitude entre les deux groupes était si faible qu'elle était statistiquement indiscernable de zéro. L'étude a également cherché des mentions explicites de l'échec. Ils ont découvert que, dans la grande majorité des cas, les auteurs ne mentionnaient pas du tout l'échec de la réplication. Seule une infime fraction des phrases, environ trois à cinq sur cent, reconnaissait que la découverte originale avait été contestée ou contredite.
Ce schéma s'est maintenu dans le temps. Les chercheurs ont suivi l'évolution du langage au cours des huit à onze années suivant la publication des résultats de la réplication. Ils ont constaté qu'il n'y avait aucune dérive progressive vers la prudence. Les phrases décrivant les affirmations ayant échoué ne sont pas devenues plus nuancées ou plus qualifiées avec le temps. Les auteurs de l'étude suggèrent que cela pourrait être dû au fait que les chercheurs réutilisent souvent des expressions établies sans relire la preuve originale ou vérifier de nouvelles données contradictoires. La description originale d'une découverte peut devenir une partie fixe du registre scientifique, transmise de papier en papier comme une référence standard, peu importe si les preuves sous-jacentes ont été ébranlées.
L'étude ne prétend pas que les scientifiques ignorent les preuves intentionnellement, mais plutôt que le système de communication des résultats possède une sorte d'inertie. Même lorsqu'une découverte s'avère peu fiable, la manière dont elle est décrite dans les nouvelles recherches reste souvent inchangée. Cela a des implications sur la façon dont nous lisons la science et sur la manière dont nous pourrions construire des outils pour nous aider à la comprendre. Si le langage de la science ne reflète pas automatiquement le moment où une découverte a échoué, les lecteurs, les éditeurs et même les systèmes d'intelligence artificielle pourraient être induits en erreur en pensant qu'une affirmation est plus solide qu'elle ne l'est réellement. Les chercheurs concluent que pour que la science s'autocorrige véritablement, nous pourrions avoir besoin de meilleurs moyens de lier directement les études originales à leurs résultats de réplication, garantissant que l'histoire d'une découverte inclue ses échecs, et pas seulement son succès initial.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.