Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It

La science repose sur une promesse simple et ancienne : avant qu'une nouvelle découverte ne soit publiée, des experts indépendants lisent le travail pour s'assurer que les expériences ont été réalisées correctement, que les calculs sont exacts et que les conclusions découlent des preuves. Ce processus, connu sous le nom de révision par les pairs, est le gardien de la vérité en médecine et en biologie. Pendant des décennies, ce système a suffisamment bien fonctionné pour construire notre compréhension moderne du vivant. Mais le volume des articles scientifiques a explosé. Depuis 1991, le nombre d'articles biomédicaux publiés chaque année a été multiplié par plus de onze, dépassant de loin le nombre d'experts humains disponibles pour les lire. Lorsque le déluge de nouvelles recherches excède la capacité des réviseurs humains, la qualité de ce qui est publié peut décliner. Des erreurs de statistiques, des contrôles manquants ou une logique défaillante peuvent passer entre les mailles du filet, et parce que ces erreurs sont souvent subtiles, elles peuvent passer inaperçues pendant des années, entraînant d'autres scientifiques sur de fausses pistes.

Pour répondre à cette crise croissante, une équipe de chercheurs a construit un nouveau genre de arbitre : un système d'intelligence artificielle conçu pour lire des articles scientifiques sans savoir qui les a écrits ni où ils ont été publiés. Ils appellent ce système BARS, le Blinded AI Review System (Système de Révision par IA en Aveugle). L'idée est de supprimer tout ce qui pourrait biaiser un lecteur — les noms célèbres des auteurs, le prestige de la revue et la date de publication — afin que l'article puisse être jugé uniquement sur la qualité de sa science. Les chercheurs ont entraîné ce système à rechercher quatre éléments spécifiques : si les méthodes et les statistiques sont solides, si les données soutiennent réellement les affirmations faites, si les idées biologiques sont réalistes et si les données et le code sont partagés ouvertement. Ils ont attribué à chaque article une note de zéro à dix, toute note inférieure à cinq indiquant une faille fondamentale qui compromet l'étude.

L'équipe a d'abord testé si son système pouvait faire la différence entre une bonne science et une mauvaise science sans être distrait par la réputation. Ils ont soumis à l'IA un ensemble d'articles qui avaient déjà été prouvés faux et rétractés, ainsi qu'un ensemble d'études vérifiées et de haute qualité. Lorsque l'IA pouvait voir les noms des auteurs et les titres des revues, elle donnait aux articles célèbres des scores légèrement plus élevés, montrant que même une machine peut être influencée par le prestige. Mais lorsque le système était aveugle à toutes ces informations, il devenait un juge aiguisé et objectif. Il identifiait correctement presque tous les articles défectueux et donnait des scores parfaits aux études rigoureuses, avec zéro fausse alerte. Il s'est également avéré bien plus cohérent que les réviseurs humains ; lorsque le même article était examiné plusieurs fois par l'IA, les scores étaient presque identiques, alors que les réviseurs humains sont souvent en désaccord entre eux.

Lorsque les chercheurs ont appliqué ce système aveugle à 320 articles récents dans huit domaines différents de la biologie, les résultats ont été sonnants et tristes. Plus de la moitié de ces articles ont échoué au test, obtenant un score inférieur au seuil de la rigueur scientifique de base. Le taux d'échec n'était pas le même partout. Les domaines qui reposent sur des modèles mathématiques stricts, comme l'évolution moléculaire, avaient tendance à obtenir des scores plus élevés. Les domaines qui dépendent de l'extraction de données complexes ou de tests sujets à la contamination, tels que la génétique de cellule unique et les études sur le microbiome, ont obtenu des scores beaucoup plus bas. Le type de revue importait aussi profondément. Les articles publiés dans des revues hautement sélectives et traditionnelles obtenaient des scores nettement plus élevés que ceux des énormes revues en libre accès qui facturent des frais pour publier mais prétendent juger uniquement la validité technique. En fait, l'article moyen d'une revue de société de premier plan était d'un point complet supérieur en qualité à celui d'une méga-revue commerciale, un écart qui suggère que le processus de révision lui-même fait une différence.

Les chercheurs ont également examiné à quel point la révision par les pairs améliore réellement un article. Ils ont comparé la première version d'un article, postée en ligne avant toute révision, avec la version finale publiée dans une revue. Pour les articles acceptés par des revues sélectives et rigoureuses, la version finale était nettement meilleure, avec des méthodes plus claires et des preuves plus solides. Mais pour les articles publiés dans des méga-revues commerciales, la version finale était à peine différente du brouillon, et dans certains cas, le processus de révision a en fait rendu l'article pire en introduisant de nouvelles erreurs. L'étude a révélé que le système d'IA aveugle pouvait détecter presque toutes les critiques que les réviseurs humains avaient manquées, y compris les erreurs mathématiques et les affirmations biologiques impossibles, tout en repérant des failles que les réviseurs humains avaient totalement négligées.

En jetant un regard en arrière sur trente-cinq années de littérature scientifique, l'équipe a constaté une tendance claire à la baisse de la qualité. Le score moyen des articles a chuté régulièrement depuis les années 1990. Ce déclin n'était pas dû au fait que les revues établies aient abaissé leurs standards, mais parce que le mélange de la recherche publiée a changé. Le domaine s'est détourné des expériences primaires réalisées en laboratoire humide (wet labs) vers des études qui se contentent de réanalyser des données existantes issues de bases de données publiques, utilisant souvent des modèles formulaires qui ne correspondent pas à la question spécifique. Bien que ces études de bases de données soient moins coûteuses et plus rapides à produire, elles sont beaucoup plus susceptibles de contenir des erreurs fondamentales. L'étude a montré que les équipes de recherche bien financées ne produisent pas automatiquement une meilleure science ; une fois qu'un certain niveau de financement est atteint, ajouter plus d'argent n'améliore pas la qualité de l'article. De même, les revues les plus chères ne publient pas nécessairement la science la plus rigoureuse.

Le plus frappant de l'étude fut peut-être que les chercheurs ont utilisé leur propre système pour auditer leur propre carrière. Ils ont soumis 238 de leurs propres articles publiés au système aveugle. L'IA a trouvé de réelles erreurs dans leur travail, notamment des erreurs de copier-coller dans les tableaux, des unités mal étiquetées et des failles statistiques qui avaient échappé tant aux auteurs qu'aux réviseurs humains originaux. Le système a même détecté cinq erreurs dans le brouillon de cette présente étude avant sa publication. Cet auto-audit a démontré qu'aucun scientifique n'est immunisé contre les erreurs et qu'un contrôle automatisé et objectif peut attraper les erreurs que la fatigue ou le biais humain pourraient manquer.

Les chercheurs concluent que le système actuel de publication scientifique est sous tension, mais ils proposent une voie pratique. Ils suggèrent qu'un contrôle automatisé simple pourrait être effectué sur chaque article avant qu'il ne soit envoyé aux réviseurs humains. Ce contrôle ne coûterait que quelques centimes par article, une fraction infime du coût de la main-d'œuvre humaine, mais il pourrait détecter des milliers d'erreurs qui passeraient autrement inaperçues. En éliminant l'influence de la célébrité et du prestige, et en se concentrant strictement sur la logique et les preuves au sein du texte, un tel système pourrait aider à restaurer la fiabilité de la littérature scientifique. L'objectif n'est pas de remplacer les experts humains, mais de leur donner une meilleure base de travail, afin de garantir que la science que nous lisons est aussi solide qu'elle le prétend.