GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

Résumé technique : GPT-5 versus résidents seniors en anesthésie-réanimation sur des cas cliniques séquentiels

Énoncé du problème
Bien que les modèles de langage de grande taille (LLM) aient démontré une grande précision lors des examens de licence médicale, les mesures de performance sur les tests à choix multiples n'élucident pas de manière explicite comment une réponse documente le processus de raisonnement clinique sous-jacent. Le raisonnement clinique est une activité cognitive dépendante du contexte impliquant la représentation du problème, la génération d'hypothèses et l'interprétation des preuves. La littérature existante manque souvent de conceptions empiriques rigoureuses comparant les LLM aux apprenants sur ces compétences spécifiques de documentation du raisonnement. De plus, il existe une rareté de preuves concernant la performance des LLM dans les environnements de formation postgraduée en langue française, particulièrement dans les contextes médicaux d'Afrique du Nord. Cette étude aborde l'écart entre les « bonnes réponses » et le « raisonnement documenté » en comparant la qualité des productions écrites de raisonnement clinique entre un LLM de pointe (GPT-5) et des résidents médecins.

Méthodologie
L'étude était une étude pilote comparative transversale monocentrique menée au Centre Hospitalier Universitaire Ibn Rochd de Casablanca, Maroc.

• Participants : L'étude a utilisé un recensement exhaustif de 14 résidents de quatrième année en anesthésie-réanimation (participation à 100 %).
• Stimuli : Vingt cas cliniques réels, entièrement anonymisés (2020–2024) ont été sélectionnés et standardisés. Les cas ont été divisés en deux parties séquentielles : Partie 1 (antécédents, contexte, examen physique) et Partie 2 (résultats de laboratoire et d'imagerie).
• Allocation des tâches : Chaque résident a complété quatre cas distincts (56 réponses de résidents au total). GPT-5 a complété les 20 cas une seule fois. Le design était une structure en blocs incomplets où chaque résident était apparié à GPT-5 sur les mêmes quatre cas pour l'analyse primaire.
• Ingénierie de prompt (Prompt Engineering) : GPT-5 a été accédé via l'API OpenAI (alias du modèle gpt-5, température 0,3, effort de raisonnement « medium »). Le prompt a assigné au modèle le rôle d'un anesthésiste-réanimateur et a explicitement demandé une sortie structurée reflétant les composantes de la version révisée de l'IDEA (R-IDEA) : une liste de contrôle conceptuelle, une représentation concise du problème, des investigations prioritaires, et un diagnostic différentiel avec des preuves explicites pour et contre chaque hypothèse. Le modèle n'a pas reçu le diagnostic de référence ni la grille de notation.
• Évaluation : Deux membres de la faculté ont développé des grilles de référence spécifiques aux cas basées sur l'instrument R-IDEA. Un évaluateur en aveugle a noté toutes les réponses (résidents et GPT-5) par rapport à ces grilles. Le score R-IDEA (0–10) évalue quatre domaines : le résumé interprétatif, le diagnostic différentiel, l'explication du diagnostic principal et l'explication des diagnostics alternatifs.
• Analyse statistique : L'analyse primaire a utilisé un test t de Student apparié comparant la moyenne des scores R-IDEA de chaque résident (à travers ses quatre cas) par rapport au score moyen de GPT-5 sur ces mêmes quatre cas. La précision diagnostique a été rapportée de manière descriptive.

Résultats clés

• Résultat primaire : GPT-5 a obtenu un score R-IDEA total moyen significativement plus élevé (9,5, DT 0,9) que les résidents (7,0, DT 2,4). La différence moyenne appariée était de 2,5 points en faveur de GPT-5 (IC 95 % 1,4–3,6 ; p < 0,001). La taille de l'effet était importante (différence appariée d_z = 1,39).
• Performance par domaine : GPT-5 a surpassé les résidents dans les quatre domaines du R-IDEA. La plus grande différence absolue s'est produite dans le domaine « Résumé interprétatif » (différence de 1,0 point). Les scores de GPT-5 étaient concentrés près du maximum de l'échelle, suggérant un potentiel effet de plafond, tandis que les scores des résidents présentaient une plus grande variabilité (coefficient de variation : 34 % pour les résidents contre 9 % pour GPT-5).
• Précision diagnostique : GPT-5 a identifié le diagnostic de référence de la faculté dans 75 % des cas (15/20), tandis que la précision diagnostique moyenne des résidents était de 68 %. Le design de l'étude a empêché la comparaison statistique inférentielle de ces pourcentages en raison d'observations non indépendantes et de la réplication inégale des cas.

Contributions clés

• Réplication conceptuelle dans un nouveau contexte : Cette étude étend les conclusions précédentes (ex. Cabral et al.) concernant l'IA générative et le raisonnement clinique à un contexte francophone, un centre académique marocain et une cohorte de résidents seniors en anesthésie.
• Différenciation entre Documentation et Compétence : L'étude distingue explicitement la qualité du raisonnement documenté (dans lequel GPT-5 a excellé sous ce prompt spécifique) et la compétence clinique réelle ou la performance au chevet du patient.
• Cadre méthodologique : Elle démontre un protocole de comparaison des sorties de LLM par rapport au travail écrit des apprenants en utilisant des grilles structurées (R-IDEA) et un masquage de la source, soulignant l'importance de l'alignement du prompt avec les critères d'évaluation.

Signification et affirmations
Les auteurs concluent que, sous un prompt aligné sur les composantes R-IDEA, GPT-5 produit une documentation de raisonnement clinique qui obtient des scores supérieurs à ceux des résidents seniors. Cependant, l'article maintient une position modeste sur les implications de ce résultat :

• Aucune affirmation de compétence supérieure : Les auteurs déclarent explicitement que des scores de documentation plus élevés n'établissent pas une compétence clinique, une équivalence diagnostique ou une efficacité éducative supérieures.
• Hypothèse éducative : La principale signification réside dans le potentiel de GPT-5 à servir d'« échafaudage de documentation du raisonnement ». Les auteurs proposent que les productions de GPT-5, validées et supervisées par la faculté, puissent être utilisées comme exemples résolus pour aider les résidents à comparer leurs propres représentations de problèmes à un modèle structuré, rendant ainsi le raisonnement plus visible.
• Limites et directions futures : L'étude reconnaît des limites, notamment le design monocentrique, l'utilisation d'un seul évaluateur, l'absence d'un second passage du modèle pour évaluer la variabilité stochastique, et l'alignement spécifique du prompt avec la grille qui pourrait avoir favorisé le modèle. Les auteurs suggèrent que les recherches futures devraient impliquer des essais éducatifs prospectifs à plusieurs évaluateurs pour tester si l'utilisation d'exemples résolus générés par le modèle améliore réellement les résultats des apprenants sans induire de biais d'automatisation.