Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models
En analysant 72 644 paires de prépublications et de publications biomédicales à l'aide de modèles de langage de grande taille, cette étude démontre que les affirmations centrales de la plupart des résumés restent largement intactes après l'examen par les pairs, soutenant ainsi la fiabilité des prépublications en tant que source de recherche biomédicale.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez le monde de la recherche biomédicale comme une immense cuisine où les scientifiques préparent constamment de nouvelles recettes (leurs études). Pendant longtemps, ces recettes n'étaient servies au public qu'après une stricte « séance de dégustation » par un panel de critiques experts (l'examen par les pairs). Mais récemment, des chefs ont commencé à afficher leurs recettes brutes et non testées sur un tableau d'affichage public appelé prépublication (comme bioRxiv) afin que tout le monde puisse les voir immédiatement.
Certaines personnes s'inquiètent du fait que, puisque ces recettes n'ont pas encore été testées, elles pourraient être truffées d'erreurs ou d'exagérations. Cette étude a décidé de dissiper cette inquiétude en examinant 72 644 paires de recettes : la version originale affichée sur le tableau d'affichage et la version finale approuvée, servie au restaurant après que les critiques lui ont donné leur sceau d'approbation.
Voici ce que les chercheurs ont découvert, en utilisant un assistant IA super intelligent (comme un éditeur très méticuleux) pour comparer les deux versions :
1. Le message central reste le même
Considérez l'affirmation principale d'une étude comme le titre d'un article de presse. Les chercheurs ont constaté que pour près de 90 % des études, le titre ne changeait pas beaucoup.
- 40 % du temps, le titre était exactement le même.
- 50 % du temps, le titre recevait un petit polissage ou une légère retouche, comme passer de « Nous avons trouvé un remède » à « Nous avons trouvé un traitement prometteur ».
- Seulement 10 % du temps, le titre subissait une refonte complète.
En d'autres termes, l'« âme » de la recherche survit généralement intacte au voyage entre le tableau d'affichage et la publication finale.
2. Les scientifiques deviennent plus prudents, pas plus confiants
Lorsque les scientifiques publient une prépublication, ils sont souvent enthousiastes et confiants. Après que les critiques ont examiné leur travail, ils ont tendance à tempérer légèrement l'enthousiasme.
- Imaginez un scientifique disant : « Ce médicament est un miracle ! » dans la prépublication.
- Dans l'article final, il pourrait dire : « Ce médicament montre des résultats prometteurs. »
- L'étude a révélé que les scientifiques étaient deux fois plus susceptibles de devenir plus prudents et réservés après l'examen que de devenir plus confiants. Ils ont rarement rendu leurs affirmations plus dramatiques après que les critiques les ont examinées.
3. Le temps joue un rôle, mais les tendances s'améliorent
- Le jeu de l'attente : Si une étude est restée dans la file d'attente de l'examen pendant très longtemps (la « voie lente »), elle était plus susceptible de subir une réécriture majeure (14 % de chances) par rapport à celles qui ont été examinées rapidement (7 % de chances). Il semble que plus les critiques mâchent la recette longtemps, plus ils sont susceptibles de demander un changement complet de la recette.
- Une amélioration progressive : Au fil des années (de 2019 à 2024), le besoin de réécritures majeures a considérablement diminué. C'est comme si les chefs devenaient meilleurs pour écrire leurs recettes avant même de les envoyer aux critiques.
4. Le « filet de sécurité des prépublications »
L'étude a également remarqué quelque chose d'intéressant concernant les articles qui n'ont jamais fait l'objet d'une prépublication. Ces articles ont été rétractés (retirés des registres parce qu'ils étaient erronés) à un taux deux fois plus élevé que les articles qui ont commencé par une prépublication. C'est comme si le fait de publier une recette tôt et de laisser le public la voir en premier agissait comme un contrôle de sécurité, capturant les erreurs avant qu'elles ne deviennent permanentes.
L'essentiel
La conclusion principale est simple : Les prépublications sont une source de vérité fiable.
Ce n'est pas parce qu'une étude scientifique n'a pas encore été « officiellement » publiée que ses conclusions principales sont des suppositions sauvages. Le passage du tableau d'affichage des prépublications à la publication finale implique généralement juste un peu de polissage, et non une réécriture complète. Les affirmations centrales de la majeure partie de la recherche biomédicale sont solides, même avant que les critiques finaux ne donnent leur approbation.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.