Résumé technique : Déploiement prospectif d'une évaluation par IA multimodale pour les ECOS des étudiants en médecine

Énoncé du problème

L'Examen Clinique Objectif Structuré (ECOS) est la référence pour évaluer la compétence clinique dans l'enseignement de la médecine, évaluant l'anamnèse, l'examen physique, la communication et le raisonnement. Cependant, l'administration traditionnelle des ECOS est gourmande en ressources, nécessitant des évaluateurs formés, une notation manuelle à l'aide de grilles et un temps humain substantiel. À l'institution des auteurs (UT Southwestern), la notation manuelle de la documentation post-rencontre à elle seule nécessitait environ 1 120 heures et 56 000 $ par an. Ces contraintes limitent la fréquence des évaluations, retardent le retour d'information aux apprenants (souvent de plusieurs mois) et entravent l'expansion de l'évaluation formative. Bien que les modèles de langage étendus (LLM) aient montré des promesses dans la notation des réponses écrites, une évaluation complète des ECOS nécessite l'évaluation simultanée du texte, de l'audio et de la vidéo. Les modèles multimodaux existants disponibles sur le marché ont montré des limites dans l'évaluation clinique nuancée, et les preuves issues de déploiements éducatifs prospectifs à grande échelle restent rares.

Méthodologie

Les auteurs rapportent le premier déploiement prospectif de MAPLES (Multimodal Assessment Pipeline for Learning Encounter Scoring), un système d'IA piloté par des rubriques et basé sur le zero-shot, lors de l'administration des ECOS de l'automne 2025 à l'UT Southwestern Medical Center.

Architecture et flux de travail du système

• Ingestion de données : Le système a ingéré trois flux de données synchronisés provenant de 222 étudiants de deuxième année de médecine répartis sur cinq stations : notes cliniques écrites, audio de la rencontre, et vidéo synchronisée à trois caméras (orientée patient, orientée médecin, et vue de dessus).
• Logique de notation : MAPLES a utilisé une approche zero-shot. Des rubriques rédigées par les professeurs (fichiers Excel structurés) ont été téléchargées, et le système a construit dynamiquement les prompts pour chaque item. Aucun ajustement (fine-tuning) spécifique à la tâche ou exemple de few-shot n'a été fourni.
  • Texte : Les notes ont été traitées sous forme de texte brut.
  • Audio : L'audio a été traité directement sans transcription intermédiaire afin d'évaluer le contenu verbal, le ton et le rapport.
  • Vidéo : Une étape de prétraitement automatisée (utilisant la segmentation zero-shot) a isolé les segments d'examen physique avant la notation.
• Configuration du modèle : Le système a employé Gemini 2.5 Pro (Google DeepMind) pour l'inférence avec une température de 0 et un top-p de 1, utilisant des contraintes de sortie structurée pour garantir que les scores respectent le schéma de la rubrique. Gemini 2.5 Flash a été utilisé pour la segmentation vidéo.
• Flux de travail avec intervention humaine (Human-in-the-Loop) :
  1. Première passe de notation par l'IA : L'IA a noté l'ensemble des 72 907 scores par item conservés.
  2. Routage : Les apprenants se situant dans les 5 % inférieurs (notes) ou les 10 % inférieurs (audio/vidéo) ont été redirigés pour une révision humaine indépendante.
  3. Révision par les SPE en aveugle : Les évaluateurs de patients standardisés (SPE) ont rescoré de manière indépendante les items routés, sans connaître les scores de l'IA.
  4. Arbitrage : Les items où les scores de l'IA et des SPE différaient au-delà d'une tolérance prédéfinie (correspondance exacte pour le binaire ; différence de $\le$1 catégorie pour l'ordinal) ont été transmis à des experts médecins pour arbitrage final. Les médecins ont examiné à la fois les scores et les preuves sources.

Conception de l'étude

• Cohorte : 222 étudiants, 10 formulaires de station, 330–333 items d'évaluation par étudiant.
• Ensemble de révision : 28 apprenants uniques ont été routés pour révision (12 pour les notes, 23 pour l'audio/vidéo, 7 pour les deux).
• Ensemble d'arbitrage : 616 désaccords réels (excluant les erreurs de données/rubriques) ont été examinés par des médecins.
• Gouvernance : Un comité de supervision multidisciplinaire a supervisé la sélection des modèles, les seuils et les cycles de déploiement, assurant un raffinement itératif.

Résultats clés

Accord et arbitrage

• Accord IA–SPE : Dans l'ensemble de révision des scores faibles routés, l'accord tolérant (autorisant une différence d'une catégorie pour les items ordinaux) était élevé : 85,7 % pour les notes, 89,2 % pour l'audio et 92,4 % pour la vidéo. L'accord exact était plus faible (72,0 % au total), dû à la complexité de la notation audio/vidéo.
• Arbitrage médical : Parmi les 616 désaccords transmis, les experts médecins ont concordé avec le score de l'IA 76,0 % du temps, le score du SPE 19,0 % du temps, et aucun des deux 5,0 % du temps. Cette préférence pour l'IA s'est maintenue pour toutes les modalités, bien qu'elle fût plus élevée pour les notes (81,6 %) et plus faible pour la vidéo (51,5 %).
• Direction du désaccord : Les médecins étaient plus enclins à donner raison à l'IA, que l'IA ait noté plus haut ou plus bas que le SPE, suggérant que l'IA ne se contentait pas d'inflater les scores.

Analyse des erreurs

• Erreurs des SPE : Les principaux facteurs d'erreurs des SPE étaient l'« oubli de preuve » (35,1 %) et la « connaissance clinique » (24,4 %), échouant souvent à reconnaître l'équivalence sémantique de la terminologie.
• Erreurs de l'IA : Les principaux facteurs d'erreurs de l'IA étaient la « notation trop permissive » (37,8 %) et le « mauvais placement de la documentation » (25,2 %), où l'IA créditait des réponses correctes écrites dans la mauvaise section de la note. Une petite fraction (9,4 %) impliquait des « preuves fabriquées » (hallucinations).
• Qualité des rubriques : Le « manque de spécificité des rubriques » a été un contributeur fréquent aux erreurs tant pour les humains que pour l'IA, soulignant la nécessité d'une conception de rubrique précise.

Efficacité opérationnelle

• Réduction de la charge de travail : Le flux de travail assisté par l'IA a nécessité 5 616 passages de notation humaine contre 72 907 dans un flux de travail manuel à passage unique contrefactuel. Cela représente une réduction de 92,3 % de l'effort de notation humaine.
• Délai d'exécution : Le temps entre l'examen et l'édition des rapports de notes a été réduit de plusieurs mois à moins de deux semaines.
• Coût : Le coût marginal d'inférence a été estimé à 1,73 $ par rencontre (0,12 $ notes, 0,28 $ audio, 1,31 $ vidéo), hors coûts fixes de développement.

Signification et affirmations

L'article affirme présenter le premier déploiement prospectif d'un système d'IA multimodal intégré pour la notation des ECOS dans l'enseignement médical de premier cycle. Les auteurs soulignent que la contribution principale n'est pas la suppression du jugement humain, mais la réallocation de l'effort humain.

• Faisabilité opérationnelle : L'étude démontre que l'IA multimodale peut être intégrée dans les opérations de routine des ECOS, gérant la première passe de notation pour toute la cohorte tout en concentrant la révision humaine sur la « queue des scores bas » où la remédiation est la plus critique.
• Alignement des experts : La conclusion selon laquelle les médecins préféraient les scores de l'IA aux scores des SPE lors des arbitrages de désaccords suggère que le système d'IA capture des nuances d'évaluation qui s'alignent étroitement avec le jugement clinique expert, surpassant potentiellement la cohérence de l'évaluation traditionnelle par les SPE.
• Amélioration systémique : Le déploiement a exposé des problèmes systémiques, notamment la fiabilité des évaluateurs humains, la qualité des rubriques et les inefficacités des processus. Les auteurs soutiennent que l'IA libère les éducateurs pour qu'ils se concentrent sur « ce qu'il faut évaluer » (rubrique et conception de cas) plutôt que sur « comment noter ».
• Évolutivité : La conception zero-shot pilotée par rubriques permet de transférer les compétences de notation à de nouvelles stations ou révisions de rubriques sans réentraîner les modèles, soutenant ainsi l'expansion de la fréquence et de l'étendue des évaluations.

Les auteurs maintiennent un ton modeste concernant la généralisabilité, notant que les résultats sont spécifiques à l'infrastructure et aux rubriques d'une seule institution. Ils reconnaissent des limites, notamment l'absence d'arbitrage en aveugle pour l'ensemble de la cohorte, la concentration de l'analyse dans la queue des scores bas, et la nécessité de validations supplémentaires concernant l'équité démographique et les taux d'hallucination. Le travail est présenté comme une étape fondamentale vers des systèmes d'évaluation augmentés par l'IA et gérés par les éducateurs.