Attitudes and Perceptions Toward the Use of Artificial Intelligence Chatbots for Peer Review in Medical Journals: A Large-Scale, International Cross-Sectional Survey

Cette étude internationale révèle que, bien que la majorité des réviseurs de revues médicales soient familiers avec les chatbots d'IA, leur utilisation dans l'examen par les pairs reste limitée en raison de préoccupations éthiques et de fiabilité, tout en soulignant un fort besoin de formation et de directives claires.

L'essentiel

Imaginez que les journaux médicaux sont comme de grands restaurants très sérieux, où chaque plat (l'article scientifique) doit être goûté et approuvé par des critiques gastronomiques (les pairs réviseurs) avant d'être servi au public.

Voici ce que cette étude raconte, en utilisant des images simples :

1. Le Nouveau "Sous-Chef" Robotique

Récemment, une nouvelle technologie est arrivée dans la cuisine : les chatbots d'intelligence artificielle (comme ChatGPT). On pourrait les voir comme des sous-chefs robots ultra-rapides. Ils peuvent aider à vérifier les listes d'ingrédients (les références), repérer les erreurs de recette (les problèmes de méthode) ou même polir le texte pour qu'il soit plus clair.

L'étude se demande : « Les critiques gastronomiques (les médecins et chercheurs) sont-ils prêts à laisser ce robot les aider à goûter les plats ? »

2. La Grande Enquête dans la Cuisine

Les chercheurs ont envoyé une invitation à 72 851 chefs (les auteurs d'articles médicaux) pour leur demander s'ils accepteraient d'utiliser ce robot. C'est comme si on avait appelé presque tous les grands chefs du monde pour un sondage.

Au final, 1 260 critiques ont répondu. C'est un gros groupe, assez pour avoir une idée claire de ce qui se passe dans les cuisines du monde entier.

3. Ce que les Critiques Ont Répondu

• Ils connaissent le robot, mais ne l'utilisent pas encore :
  La grande majorité (86 %) connaît bien ce sous-chef robot. Ils l'ont déjà utilisé pour écrire des listes de courses ou des emails personnels. Mais quand il s'agit de goûter les plats sérieux (la révision par les pairs), 70 % d'entre eux disent : « Non, je ne l'ai pas encore fait. » C'est comme avoir un robot dans sa cuisine, mais refuser de lui laisser couper les légumes pour un dîner important.

• Ils sont perdus sans mode d'emploi :
  Presque 70 % des critiques disent que leur institution ne leur a jamais donné de cours de cuisine sur comment utiliser ce robot. Pourtant, 60 % disent qu'ils aimeraient beaucoup apprendre ! C'est comme si on leur donnait un avion de chasse sans jamais leur avoir appris à piloter.

• Les Peurs et les Espoirs :
  Les critiques voient le potentiel (le robot peut être rapide), mais ils ont de grosses inquiétudes :

  • Le Biais du Robot : Ils ont peur que le robot ait des "préjugés" cachés, comme un critique qui n'aimerait que les plats italiens et déteste tout le reste.
  • La Confiance : Ils ne savent pas si le robot dit la vérité. Est-ce qu'il invente des ingrédients ? Est-ce qu'il est honnête ?

4. La Conclusion du Chef

En résumé, les médecins qui relisent les articles sont curieux et familiers avec l'intelligence artificielle, mais ils sont prudents.

Ils disent essentiellement : « On veut bien essayer ce robot pour nous aider, mais avant de le laisser entrer dans la cuisine, il faut qu'on lui apprenne les règles, qu'on s'assure qu'il ne triche pas, et qu'on résolve les problèmes de confidentialité. »

Pour l'instant, le robot reste sur le comptoir, attendant qu'on lui donne un manuel d'instructions clair et qu'on lui fasse confiance avant de pouvoir vraiment aider à préparer les futurs plats de la science médicale.

Résumé technique

1. Problématique

L'intégration des chatbots d'intelligence artificielle (IA), en tant que forme d'IA générative, dans le processus d'évaluation par les pairs (peer review) des revues médicales suscite un intérêt croissant. Ces outils sont envisagés pour assister les évaluateurs dans des tâches spécifiques telles que l'identification des problèmes méthodologiques, la vérification des références et l'amélioration de la clarté linguistique. Cependant, malgré ces avantages potentiels, des préoccupations majeures persistent concernant leur fiabilité, leurs implications éthiques et leur transparence. À ce jour, les données empiriques sur la manière dont les évaluateurs de revues médicales perçoivent le rôle et l'impact de ces chatbots (AIC) restent limitées. Cette étude vise donc à combler ce vide en explorant la familiarité des évaluateurs avec les AIC, leurs perceptions des avantages et des défis, leurs inquiétudes éthiques et leur vision du rôle futur de ces outils.

2. Méthodologie

L'étude a adopté une approche quantitative sous la forme d'une enquête transversale en ligne à grande échelle, menée à l'échelle internationale.

• Population cible et recrutement : Les participants étaient des évaluateurs de revues médicales. L'identification des candidats s'est faite en extrayant les informations des auteurs correspondants d'articles indexés dans MEDLINE (ajoutés à PubMed) sur une période de deux mois, en utilisant une approche basée sur le langage de programmation R.
• Échantillonnage : Un total de 72 851 auteurs ont été invités par e-mail. Seuls ceux qui s'auto-identifiaient comme évaluateurs de pairs étaient éligibles pour répondre au questionnaire.
• Instrument de collecte : Un questionnaire de 29 items a été administré via la plateforme SurveyMonkey. Il évaluait la familiarité avec les AIC, ainsi que les perceptions des avantages, des limites et des enjeux éthiques liés à leur utilisation dans l'évaluation par les pairs.
• Période de collecte : L'enquête s'est déroulée du 28 avril au 16 juin 2025, avec l'envoi de deux e-mails de rappel pour maximiser le taux de réponse.

3. Contributions Clés

Cette étude apporte plusieurs contributions significatives au domaine de la publication scientifique et de l'éthique de la recherche :

• Première grande enquête internationale : Elle fournit l'une des premières vues d'ensemble à grande échelle sur les attitudes des évaluateurs médicaux face à l'IA générative.
• Cartographie de l'écart formation/pratique : Elle met en lumière le décalage entre la familiarité élevée avec les outils d'IA et l'absence de formation institutionnelle spécifique à leur usage dans le contexte de l'évaluation par les pairs.
• Identification des freins éthiques : L'étude quantifie précisément les préoccupations dominantes (biais algorithmique, confiance, intégrité de la recherche) qui entravent l'adoption généralisée de ces technologies.

4. Résultats Principaux

Sur les 1 260 répondants complets, les résultats révèlent un paysage contrasté :

• Familiarité et Usage : La majorité des participants sont familiers avec les chatbots d'IA (86,2 %) et ont déjà utilisé des outils comme ChatGPT à des fins générales (87,7 %). Cependant, l'usage de ces outils spécifiquement pour l'évaluation par les pairs reste marginal, avec 70,3 % des répondants n'ayant jamais utilisé d'AIC pour cette tâche.
• Formation : Un constat alarmant ressort concernant la préparation des évaluateurs : 69,5 % déclarent que leurs institutions ne fournissent aucune formation sur l'utilisation des AIC dans le cadre de l'évaluation par les pairs. Néanmoins, 60,7 % des répondants expriment un vif intérêt pour recevoir une telle formation.
• Perceptions et Préoccupations :
  • Les perceptions des avantages sont mitigées.
  • Les préoccupations éthiques sont largement partagées. Le biais algorithmique est la préoccupation majeure (80,3 %), suivi de près par les questions de confiance et d'acceptation par les utilisateurs (73,3 %).
  • D'autres inquiétudes concernent la confidentialité des données et l'intégrité de la recherche.

5. Signification et Conclusion

Bien que la familiarité avec les chatbots d'IA soit élevée parmi les évaluateurs de revues médicales, leur intégration effective dans le processus d'évaluation par les pairs reste limitée. L'étude conclut qu'il existe une demande claire pour des directives et une formation structurée. Cependant, avant de pouvoir envisager une mise en œuvre plus large, il est impératif de résoudre les défis fondamentaux liés à l'éthique, à la protection des données et à l'intégrité de la recherche. Sans ces garde-fous, la confiance nécessaire à l'adoption de l'IA générative dans le système d'évaluation scientifique ne pourra être établie.