Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

Dans les facultés de médecine, apprendre à parler aux patients est tout aussi crucial qu'apprendre à les examiner. Pour s'assurer que les étudiants sont prêts pour le monde réel, les éducateurs utilisent une méthode d'évaluation appelée l'Examen Clinique Objectif Structuré (ECOS). Dans ce cadre, un étudiant s'assoit face à un acteur formé jouant le rôle d'un patient. L'étudiant doit poser les bonnes questions pour recueillir une anamnèse médicale, et l'acteur évalue l'étudiant selon une liste de contrôle stricte de ce qui a été demandé et de la qualité de l'exécution. Ce processus est la référence absolue pour l'enseignement des compétences cliniques, mais il est également extrêmement laborieux. Il nécessite des heures de formation pour les acteurs, qui doivent rester cohérents tout en évaluant la performance de l'étudiant, et exige que les membres du corps professoral passent d'innombrables heures à examiner ces interactions pour garantir l'équité. À mesure que l'intelligence artificielle devient plus capable d'écouter les conversations et de comprendre le langage, les éducateurs commencent à se demander si un ordinateur pourrait prendre le relais de la notation. L'espoir est qu'une machine puisse écouter l'enregistrement, cocher les questions requises et noter l'étudiant en une fraction du temps nécessaire à un humain, libérant ainsi des ressources pour davantage d'enseignement.

Une équipe de chercheurs de l'Université du Texas Medical Branch à Galveston s'est lancée dans le test de cette idée avec un objectif précis : voir si l'intelligence artificielle pouvait noter avec précision les parties objectives d'un entretien médical. Ils se sont concentrés sur un examen de première année de médecine impliquant 234 étudiants. Lors de cet examen, les étudiants ont été enregistrés pendant qu'ils interrogeaient un patient standardisé, et des acteurs humains avaient déjà évalué leurs performances sur douze points spécifiques d'une liste de contrôle, tels que la demande de la localisation de la douleur, la sévérité des symptômes ou les antécédents familiaux du patient. Les chercheurs ont pris les enregistrements vidéo de ces rencontres et les ont transformés en transcriptions textuelles. Ils ont ensuite injecté ces transcriptions dans une plateforme logicielle équipée d'intelligence artificielle, en la programmant avec des instructions conçues pour rechercher ces mêmes douze éléments de la liste de contrôle. L'ordinateur a reçu l'instruction d'agir comme un correcteur, attribuant un point pour chaque élément détecté dans le texte. L'équipe a ensuite comparé les scores générés par l'ordinateur à ceux donnés par les acteurs humains, cherchant les différences et tentant de comprendre pourquoi elles se produisaient.

Les résultats ont montré que l'intelligence artificielle était une assistante capable, bien que non parfaite. Lorsque les chercheurs ont comparé les notes de l'ordinateur à celles des humains, ils ont constaté un niveau de concordance modéré. Le score total moyen donné par l'ordinateur était presque identique à la moyenne donnée par les humains, l'ordinateur attribuant une moyenne de 11,51 points sur un total possible de 12, tandis que les humains accordaient 11,60. En termes de temps, la différence était flagrante. Le processus de notation humaine, qui incluait la formation des acteurs et la révision des examens, a pris environ 56 heures pour ce groupe d'étudiants. L'ordinateur, une fois le système configuré, a analysé les 234 entretiens et a généré les scores en moins de trois heures. Cela suggère que pour la tâche spécifique consistant à cocher des questions factuelles lors d'un entretien médical, la machine peut effectuer le gros du travail avec une rapidité remarquable et un haut degré de cohérence.

Cependant, l'étude a également révélé précisément là où la machine a trébuché. Sur près de 2 800 décisions de notation individuelles, il y a eu 83 cas où l'ordinateur et l'acteur humain étaient en désaccord. En examinant de près ces erreurs, les chercheurs ont identifié quatre raisons principales de ce décalage. Premièrement, l'ordinateur dépend entièrement de la qualité du texte qu'il lit. Si l'enregistrement audio était faible, si deux personnes parlaient en même temps, ou si un bruit de fond interrompait la conversation, le logiciel de transcription pourrait manquer un mot ou mal l'entendre. Par exemple, si un étudiant demandait si la douleur « irradiait » vers une autre partie du corps mais que l'ordinateur transcrivait « résonnait », l'IA ne reconnaîtrait pas le terme médical correct et marquerait la question comme manquante.

Deuxièmement, l'ordinateur peine avec la façon dont les humains parlent réellement. Les étudiants formulent souvent leurs questions de manière unique ou indirecte, ce qu'un acteur humain peut comprendre immédiatement, mais qu'un ordinateur pourrait manquer s'il recherche un ensemble de mots spécifiques. Si un étudiant demandait : « Est-ce que la douleur reste en un seul endroit ? » au lieu de l'attendu « Est-ce que la douleur irradie ? », un humain pourrait accorder le crédit pour la compréhension du concept, mais l'ordinateur, suivant des règles rigides, pourrait ne pas le faire. Troisièmement, l'ordinateur ne peut ni voir ni entendre les indices non verbaux. Dans un entretien réel, un patient peut hocher la tête ou pointer son estomac pour répondre à une question, et un acteur humain accorderait alors le crédit à l'étudiant pour cette interaction. Comme l'ordinateur ne lit que la transcription textuelle, il ne peut pas voir le hochement de tête ou le geste de pointer, et marque donc la question comme non répondue. Enfin, il y avait des différences de jugement. Parfois, l'acteur humain accordait le crédit pour un sens implicite que l'étudiant avait voulu exprimer, tandis que l'ordinateur exigeait que l'étudiant prononce les mots exacts inscrits sur la liste de contrôle.

Les chercheurs ont conclu que, bien que l'intelligence artificielle soit un outil puissant pour accélérer la notation de listes de contrôle structurées et objectives, elle n'est pas prête à remplacer entièrement le jugement humain. L'ordinateur est excellent pour trouver des mots spécifiques dans une transcription, mais il manque de capacité à comprendre le contexte, le ton ou l'intention subtile derrière la question d'un étudiant. L'étude suggère que la meilleure utilisation de cette technologie est celle d'un outil de soutien. Elle peut gérer la première passe de notation, économisant ainsi des dizaines d'heures aux éducateurs, mais un humain doit toujours réviser les résultats pour corriger les erreurs découlant d'un mauvais audio, d'une formulation atypique ou d'une communication non verbale. Jusqu'à ce que la technologie puisse interpréter de manière fiable toute la nuance d'une conversation humaine, y compris ce qui est laissé de côté, le dernier mot dans l'évaluation des compétences cliniques d'un étudiant doit rester l'apanage d'une personne. L'avenir de l'évaluation en éducation médicale pourrait impliquer un partenariat où la machine gère le volume et l'humain gère le jugement, garantissant que les étudiants soient évalués de manière équitable et efficace.