Do AI-generated surgical cases improve clinical reasoning? A quasi-experimental comparison in surgical clerkship

La chirurgie est autant une discipline mentale qu'une discipline physique. Avant même de saisir un scalpel, un chirurgien doit apprendre à penser comme un détective, en rassemblant des indices à partir de l'historique et des symptômes d'un patient, en pesant différentes possibilités et en s'engageant dans une voie d'action même lorsque le tableau est incomplet. Ce processus mental, connu sous le nom de raisonnement clinique, est le moteur d'une pratique médicale sûre. Lorsqu'il fonctionne, les patients reçoivent les soins appropriés ; lorsqu'il échoue, des erreurs surviennent. Traditionnellement, les étudiants en médecine apprennent cette compétence en travaillant sur des récits écrits de patients réels, appelés cas cliniques, sous la direction d'enseignants. Cependant, la création de ces récits est un travail lent et coûteux pour des médecins occupés, et la collection de cas qui en résulte semble souvent répétitive, ne montrant aux étudiants que les versions les plus typiques des maladies plutôt que la réalité désordonnée et confuse à laquelle ils seront confrontés à l'hôpital.

L'intelligence artificielle a récemment offert une solution potentielle à ce goulot d'étranglement. Les grands modèles de langage, qui sont des programmes informatiques entraînés sur de vastes quantités de texte, peuvent désormais écrire ces récits de patients instantanément. Mais une question critique restait sans réponse : lire un récit écrit par une machine aide-t-il réellement un étudiant à mieux réfléchir que la lecture d'un récit écrit par un humain ? Une équipe de chercheurs à Shanghai s'est donné pour mission de trouver la réponse en testant si des cas générés par un système d'intelligence artificielle pouvaient améliorer les capacités de raisonnement des étudiants en chirurgie plus efficacement que les cas traditionnels écrits par des humains.

L'étude s'est déroulée sur deux périodes distinctes de six mois dans un grand hôpital universitaire en Chine. Les chercheurs ont travaillé avec deux groupes d'étudiants en médecine de cinquième année, chaque groupe étant composé de trente étudiants effectuant leur stage de chirurgie. Le premier groupe, servant de groupe témoin, a travaillé sur vingt-quatre cas de patients qui avaient été écrits par des membres expérimentés du corps professoral au cours des trois dernières années. Il s'agissait des récits standards, rédigés par des experts, que le département utilisait toujours. Le second groupe, le groupe expérimental, a travaillé sur un autre ensemble de vingt-quatre cas. Ceux-ci n'ont pas été écrits par des humains, mais générés par un modèle d'intelligence artificielle spécifique appelé DeepSeek. Les chercheurs ont soigneusement apparié les deux ensembles de cas afin qu'ils couvrent exactement les mêmes types de maladies, telles que l'appendicite, l'inflammation de la vésicule biliaire et les occlusions intestinales, garantissant ainsi que la seule différence majeure soit l'auteur des récits.

Pour mesurer la progression des étudiants, les chercheurs ne se sont pas contentés de leur demander de restituer des faits ou de choisir la bonne réponse dans une liste. Au lieu de cela, ils ont utilisé une plateforme numérique sophistiquée qui cartographiait les processus de pensée des étudiants. À mesure que les étudiants travaillaient sur de nouveaux scénarios de patients inédits, le système suivait chaque décision qu'ils prenaient : les questions qu'ils posaient, les tests qu'ils ordonnaient et la manière dont ils interprétaient les résultats. Cela a permis aux chercheurs de voir non seulement si l'étudiant parvenait au bon diagnostic, mais aussi comment il y parvenait. Ils ont observé si les étudiants manquaient des étapes importantes, s'ils tiraient des conclusions trop rapidement ou s'ils suivaient un chemin logique qu'un expert reconnaîtrait. Ils ont également demandé aux étudiants de rendre compte de la charge mentale ressentie et de leur niveau de confiance en leurs propres capacités.

Les résultats ont montré un avantage clair pour les étudiants formés avec les cas issus de l'intelligence artificielle. Lors de l'évaluation finale, le groupe ayant utilisé les récits générés par l'IA a obtenu des scores nettement plus élevés en matière de performance de raisonnement global que le groupe utilisant les récits écrits par des humains. La différence était suffisamment importante pour être considérée comme une amélioration majeure. Lorsque les chercheurs ont analysé les scores, ils ont constaté que le groupe IA était meilleur sur deux points précis : ils étaient plus précis dans leurs diagnostics finaux et ils étaient bien meilleurs pour suivre un chemin d'enquête complet et logique, sans sauter d'étapes ni se fixer prématurément sur une réponse. Plus important encore, les étudiants du groupe IA commettaient moins d'erreurs de jugement, comme ignorer des preuves contradictoires ou laisser leurs intuitions initiales obscurcir leur réflexion.

L'étude a également permis de comprendre pourquoi cela aurait pu se produire. Les étudiants utilisant les cas générés par l'IA ont déclaré ressentir moins de tension mentale liée à la présentation du matériel, et ils se sentaient plus capables de construire une compréhension profonde du sujet. Cela concorde avec une théorie de l'apprentissage suggérant que lorsque les étudiants sont confrontés à une variété de scénarios différents, leur cerveau est contraint de travailler davantage pour trouver les schémas sous-jacents, plutôt que de simplement mémoriser une histoire unique et prévisible. L'intelligence artificielle était capable de générer ces scénarios variés sans effort. Pour chaque maladie, l'IA créait trois versions différentes : une version typique, une avec des symptômes inhabituels et une compliquée par d'autres problèmes de santé. Cette variété a forcé les étudiants à réfléchir de manière plus flexible. En revanche, les cas écrits par des humains, bien qu'exacts, avaient tendance à suivre un schéma plus standard, ce qui pouvait permettre aux étudiants de s'appuyer sur des raccourcis de pensée.

L'efficacité était un autre résultat majeur. Les chercheurs ont constaté que la génération de ces cas à l'aide de l'intelligence artificielle était considérablement plus rapide que l'écriture manuelle. Alors qu'un expert humain pourrait passer quatre à huit heures à élaborer un seul cas détaillé, l'IA peut produire un brouillon en quelques instants. Le corps professoral humain jouait toujours un rôle crucial, passant environ douze minutes à réviser chaque récit généré par l'IA pour s'assurer qu'il était médicalement sain et exempt d'erreurs dangereuses. Un cas a même été rejeté car l'IA suggérait un médicament inapproprié pour le patient décrit. Ce processus de révision a permis au département d'économiser environ cent soixante heures de temps de travail des professeurs sur une année, un temps qui pourrait être réorienté vers l'enseignement et le mentorat.

Les chercheurs ont pris soin de noter que ce succès dépendait de la présence d'experts humains dans le processus. L'intelligence artificielle est un outil puissant pour générer du volume et de la variété, mais elle n'est pas parfaite. Elle peut commettre des erreurs, comme suggérer le mauvais médicament, c'est pourquoi un humain doit toujours vérifier le travail avant qu'il n'atteigne l'étudiant. L'étude a également reconnu que les étudiants utilisant les cas d'IA auraient pu être motivés simplement parce que le matériel était nouveau et novateur, un facteur qui aurait pu booster leur performance. De plus, l'étude a été menée dans un seul hôpital avec un groupe spécifique d'étudiants, les résultats pourraient donc différer dans d'autres contextes ou avec d'autres groupes d'apprenants.

Malgré ces limites, l'étude apporte des preuves solides que l'intelligence artificielle peut être utilisée pour améliorer l'enseignement médical de manière significative. Elle suggère qu'en utilisant l'IA pour créer une bibliothèque de récits de patients plus large et plus diversifiée, les éducateurs peuvent aider les étudiants à développer le type de pensée flexible et robuste requis pour la chirurgie. La technologie ne remplace pas l'enseignant ; elle le libère plutôt de la corvée de rédaction de fichiers de cas interminables afin qu'il puisse se concentrer sur la guidance de l'esprit des étudiants. L'objectif ultime n'est pas que les étudiants mémorisent les histoires écrites par l'ordinateur, mais qu'ils apprennent à raisonner face à l'incertitude de la vie réelle, où chaque patient est un puzzle unique qui ne peut être résolu par une simple formule.