Validation asymmetry in generative AI–generated clinical educational content: a scoping review

Imaginez une salle de classe où l'enseignant est une intelligence artificielle capable de rédiger des études de cas médicaux, de dessiner des diagrammes anatomiques et de simuler des conversations avec des patients en quelques secondes. Cette technologie, connue sous le nom d'intelligence artificielle générative, pénètre rapidement les écoles de médecine et les programmes de formation pour les infirmiers, les médecins et d'autres professionnels de la santé. Elle promet de créer des supports pédagogiques infinis, fluides, plausibles et adaptés à chaque étudiant. Mais à mesure que ces outils se généralisent, une question cruciale émerge : ce n'est pas parce que l'IA peut produire un récit convaincant ou une image réaliste que le contenu est réellement sûr et équitable pour l'enseignement, n'est-ce pas ? Le problème de fond n'est pas de savoir si la machine peut parler ou dessiner, mais si l'information qu'elle génère est exacte, si elle traite tous les types de personnes de manière équitable et si les méthodes utilisées pour la créer sont assez transparentes pour inspirer confiance.

Une récente revue exhaustive de la recherche publiée entre 2020 et 2026 s'est donné pour mission de répondre précisément à cette question. Les chercheurs ont examiné 161 études qui analysaient comment l'IA générative est utilisée pour créer du contenu éducatif destiné aux professions de santé. Ils ne s'intéressaient pas à savoir si les étudiants appréciaient l'IA ou à quelle vitesse elle fonctionnait. Ils se sont plutôt concentrés sur trois domaines spécifiques de validation : si les faits médicaux étaient corrects, si les personnes et les groupes représentés dans le contenu étaient dépeints de manière équitable sans stéréotypes préjudiciables, et si les stratégies utilisées pour corriger les erreurs étaient réellement efficaces. L'équipe a constaté un déséquilibre frappant dans la manière dont ces différents aspects ont été vérifiés. Alors que presque toutes les études vérifiaient si les faits médicaux étaient exacts, très peu ont vérifié si le contenu était équitable envers les différents groupes de personnes, et encore moins ont testé si les correctifs proposés résolvaient réellement les problèmes.

Les chercheurs ont découvert que sur les 161 études examinées, 156 d'entre elles, soit près de 97 %, se concentraient sur la vérification de la fidélité représentationnelle. En termes simples, cela signifie qu'elles vérifiaient si le résultat de l'IA était médicalement exact, s'il contenait des faits réels et s'il évitait d'inventer des informations ou de « halluciner » des détails. Il s'agit d'un contrôle vital, car un étudiant en médecine apprenant à partir d'un faux diagnostic pourrait être en danger. Cependant, lorsque les chercheurs ont cherché des études qui vérifiaient le biais démographique — par exemple, si l'IA représentait systématiquement certaines races, genres ou âges de manière stéréotypée ou si elle les omettait totalement — ils n'en ont trouvé que 21. Cela ne représente que 13 % du total. Parmi ces quelques études qui ont examiné le biais, 18 d'entre elles ont constaté que l'IA reproduisait effectivement des stéréotypes ou créait des représentations déséquilibrées. Par exemple, certaines images générées montraient des infirmiers ou des médecins appartenant à un seul genre ou à une seule race, et certains cas cliniques liaient des maladies spécifiques à certains groupes ethniques d'une manière qui ne correspondait pas à la réalité.

Ce fossé dans l'attention est ce que les auteurs appellent une asymétrie de validation. Cela suggère que le domaine est actuellement très doué pour demander : « Est-ce factuellement correct ? », mais qu'il ne demande pas encore : « Est-ce équitable pour tout le monde ? ». La revue a également souligné que le contenu testé était principalement textuel, avec un nombre plus restreint d'études portant sur les images ou les conversations. De manière surprenante, aucune des études qui testaient l'IA conversationnelle, comme les patients virtuels qui discutent avec les étudiants, n'a explicitement vérifié ces biais démographiques. Cela ne signifie pas que le biais est absent de ces conversations ; cela signifie simplement que personne n'a encore cherché à le trouver. Les chercheurs ont également noté que si de nombreuses études proposaient des moyens de corriger ces erreurs — comme modifier les instructions données à l'IA ou faire réviser le résultat par des experts humains — seule une petite fraction testait réellement si ces correctifs fonctionnaient. Dans les rares cas où ces correctifs ont été testés, les résultats ont été mitigés, de nombreuses stratégies ne résolvant que partiellement le problème plutôt que de l'éliminer.

Une autre conclusion importante concernait la transparence. Pour qu'une étude soit utile, les autres scientifiques doivent savoir exactement comment l'IA a été utilisée afin de pouvoir reproduire l'expérience. Pourtant, dans 122 des 161 études, les auteurs n'ont pas rapporté les paramètres ou les réglages spécifiques utilisés pour générer le contenu. Sans connaître ces détails, il est impossible de savoir si les résultats seraient les mêmes si l'expérience était répétée aujourd'hui, d'autant plus que ces systèmes d'IA changent et se mettent à jour fréquemment. La revue a également révélé que la plupart des études ne mentionnaient pas qui finançait la recherche ou si les chercheurs présentaient des conflits d'intérêts, des détails pourtant essentiels pour accorder sa confiance aux conclusions scientifiques.

La conclusion de cette revue n'est pas que l'IA générative est défaillante, mais que la manière dont nous vérifions son travail est incomplète. Les auteurs soutiennent que pour que le contenu généré par l'IA puisse être utilisé en toute sécurité dans l'enseignement, il doit être validé en tant que ressource multidimensionnelle. Cela signifie qu'avant qu'une école de médecine n'utilise une étude de cas écrite par une IA, elle doit vérifier non seulement que le diagnostic est correct, mais aussi que le patient décrit dans l'histoire représente une diversité réaliste de personnes, et que toute mesure prise pour garantir l'équité a été réellement prouvée. L'accent actuel mis uniquement sur l'exactitude factuelle est insuffisant. À mesure que ces outils deviendront une partie standard de la formation médicale, les normes de leur validation devront s'élargir pour inclure l'équité et la transparence, garantissant ainsi que l'avenir de l'éducation médicale repose sur un contenu qui est non seulement intelligent, mais aussi juste et fiable.