Applying a Cognitive Diagnostic Model to Assess Clinical Reasoning: Q- Matrix Development and Known-Groups Validity Evidence from a Nationwide Medical Examination

Dans le monde de haut vol de la formation médicale, la capacité à penser comme un médecin est tout aussi cruciale que la connaissance des faits. Cette compétence, appelée raisonnement clinique, consiste à prendre un ensemble désordonné de détails sur un patient — symptômes, antécédents, résultats de laboratoire — et à les tisser pour former un diagnostic et un plan de traitement clairs. Depuis des décennies, les facultés de médecine s'appuient sur des examens à choix multiples pour tester cette capacité. Cependant, ces tests ne proposent généralement qu'un score unique, un chiffre qui indique à un étudiant combien de questions il a réussies, mais qui ne révèle rien sur la manière dont il a réfléchi. C'est comme savoir qu'un coureur a terminé une course en dix minutes sans savoir s'il a sprinté durant la première moitié et a trotté durant la seconde, ou s'il a trébuché à chaque tournant. Pour véritablement améliorer l'enseignement médical, les éducateurs ont besoin de voir les étapes mentales spécifiques qu'emprunte un étudiant, en identifiant précisément quelles parties de son raisonnement sont solides et lesquelles doivent être travaillées.

Un chercheur de l'Université de médecine de Gachon a entrepris de résoudre ce problème en appliquant une méthode sophistiquée appelée modèle de diagnostic cognitif à un examen médical national massif en Corée du Sud. Au lieu de simplement compter les bonnes réponses, l'étude visait à cartographier les compétences mentales spécifiques requises pour répondre correctement à chaque question. L'équipe a analysé les réponses de près de 5 600 étudiants en médecine de troisième et quatrième années. Ils ont commencé par lister neuf compétences de pensée différentes que les experts considéraient comme essentielles au raisonnement clinique, telles que l'interprétation des résultats de laboratoire ou la décision d'un traitement. À travers un processus minutieux de révision des questions d'examen et de consultation auprès d'un panel d'éducateurs médicaux expérimentés, ils ont affiné cette liste pour arriver à sept compétences distinctes. Ils ont ensuite utilisé un modèle statistique pour voir si ces sept compétences pouvaient expliquer avec précision la performance des étudiants. Les résultats ont été frappants : le modèle a réussi à séparer les capacités des étudiants, montrant que les étudiants de quatrième année, qui possédaient plus d'expérience clinique, maîtrisaient ces compétences de raisonnement à des taux nettement plus élevés que les étudiants de troisième année. Cette découverte a fourni une preuve solide que le nouveau cadre fonctionne, offrant un moyen de dépasser les simples scores aux tests pour parvenir à un diagnostic détaillé, compétence par compétence, de la pensée de l'étudiant.

Le voyage vers cette conclusion a commencé par un ensemble de données massif : le deuxième examen clinique complet de 2019, un test écrit national administré aux étudiants en médecine à travers toute la Corée du Sud. Les chercheurs se sont concentrés spécifiquement sur la section de médecine interne, qui contenait 144 questions à choix multiples. Ils ont recueilli les réponses de 5 586 étudiants, comprenant 2 603 étudiants de troisième année et 2 983 étudiants de quatrième année. Comme les données étaient entièrement anonymes, les chercheurs ne pouvaient pas examiner le parcours individuel de chaque étudiant, mais la taille considérable du groupe a permis d'observer des modèles clairs dans le développement des compétences de raisonnement au fil du temps.

La première tâche majeure consistait à construire une carte, connue dans ce domaine sous le nom de matrice Q, qui relie chaque question d'examen à la compétence de pensée spécifique requise pour la résoudre. Les chercheurs ont commencé par une liste de neuf compétences potentielles dérivées d'une revue de la littérature existante. Celles-ci incluaient des éléments tels que l'interprétation de l'historique d'un patient, l'analyse des résultats de l'examen physique, le filtrage des informations significatives et l'évaluation de la gravité d'une condition. Ils ont cartographié ces neuf compétences par rapport aux 144 questions pour créer une carte préliminaire. Pour vérifier si cette carte était cohérente, ils ont examiné la fréquence à laquelle différentes compétences apparaissaient ensemble dans les mêmes questions et ont effectué des tests statistiques pour voir si les compétences étaient distinctes les unes des autres. Les données initiales montraient que les compétences étaient suffisamment distinctes, mais les tests statistiques n'en apportaient pas de preuve forte en soi.

Reconnaissant que les chiffres seuls ne pouvaient pas raconter toute l'histoire, les chercheurs ont fait appel à un panel de quatre membres du corps professoral de médecine. Ces experts, dotés de décennies d'expérience dans l'éducation médicale et l'élaboration d'examens, ont examiné la carte préliminaire et les données statistiques. Ils ont décidé que certaines compétences étaient trop similaires pour être maintenues séparément. Par exemple, ils ont fusionné les compétences d'interprétation de l'historique du patient et des résultats de l'examen physique car, dans la pratique réelle, les médecins utilisent souvent ces deux éléments ensemble pour repérer des indices importants. Ils ont également supprimé la compétence de filtrage des informations significatives, arguant que les questions d'examen écrit présentent généralement les informations déjà sélectionnées, ce qui rend impossible le test de cette compétence. Ils ont également réduit la compétence d'évaluation de la gravité, en supprimant la composante de niveau d'urgence car elle était trop difficile à juger de manière constante dans un test écrit. Après cet examen d'experts, la liste a été affinée à sept compétences claires et distinctes : distinguer les informations significatives du patient, interpréter les résultats de laboratoire, analyser les causes de la maladie, évaluer la nécessité de tests supplémentaires, le raisonnement diagnostique, évaluer la gravité et prendre des décisions de traitement.

Une fois les sept compétences définies, les chercheurs ont appliqué le modèle de diagnostic cognitif aux réponses des étudiants. Ce modèle fonctionne comme une porte logique : il suppose que pour répondre correctement à une question, un étudiant doit maîtriser chaque compétence requise par cette question. Si un étudiant manque ne serait-ce qu'une seule compétence requise, le modèle prédit qu'il est susceptible de répondre incorrectement, à moins qu'il ne réponde par chance. Le modèle a calculé la probabilité que chaque étudiant ait maîtrisé chacune des sept compétences. Les résultats ont montré que le modèle correspondait très bien aux données, reflétant avec précision les schémas de réponses correctes et incorrectes à travers les milliers d'étudiants.

Le véritable test de ce nouveau cadre est survenu lorsque les chercheurs ont comparé les deux groupes d'étudiants. Puisque le raisonnement clinique est censé s'améliorer à mesure que les étudiants acquièrent de l'expérience à l'hôpital, les chercheurs ont prédit que les étudiants de quatrième année montreraient une maîtrise plus élevée de toutes les sept compétences que les étudiants de troisième année. Les données ont confirmé cette prédiction avec une clarté remarquable. Pour chacune des sept compétences, les étudiants de quatrième année ont démontré une maîtrise nettement supérieure. La différence n'était pas seulement un léger écart statistique ; c'était un écart large et constant. Les étudiants de quatrième année affichaient des taux de maîtrise allant d'environ 83 % à 91 % pour les compétences, tandis que les étudiants de troisième année oscillaient entre 50 % et 65 %. Cet écart était si constant et important qu'il a servi de preuve puissante que les sept compétences étaient réelles et que le modèle les identifiait correctement.

L'étude a également examiné les scores globaux de l'examen pour voir comment la nouvelle méthode se comparait à l'ancienne façon de tester. Les étudiants de quatrième année ont obtenu des scores bien plus élevés à l'examen total que les étudiants de troisième année, ce qui était attendu. Cependant, la nouvelle méthode a fait ce que le score total ne pouvait pas faire : elle a décomposé cette grande différence en sept parties spécifiques. Elle a montré que l'écart dans les compétences de raisonnement était tout aussi important que l'écart dans les scores totaux, prouvant que le modèle n'ajoutait pas simplement du bruit aux données, mais capturait réellement le même progrès développemental de manière beaucoup plus détaillée.

Cette recherche souligne un changement dans la manière dont l'enseignement médical peut être évalué. Pendant des années, l'accent a été mis sur la réussite ou l'échec d'un test. Cette étude suggère que nous pouvons désormais regarder à l'intérieur du test pour voir exactement quelles parties de la pensée d'un étudiant fonctionnent et lesquelles ne fonctionnent pas. Les sept compétences identifiées dans cette étude fournissent un plan clair de ce que les étudiants en médecine doivent apprendre. Bien que l'étude présente des limites, comme le fait de s'appuyer sur des questions qui n'avaient pas été conçues à l'origine pour ce type spécifique d'analyse, les résultats étaient assez robustes pour montrer que cette approche est viable. Les conclusions suggèrent qu'à l'avenir, les examens médicaux pourraient fournir aux étudiants un bulletin de notes détaillé de leurs compétences de raisonnement, les aidant ainsi, eux et leurs enseignants, à cibler des domaines spécifiques d'amélioration plutôt que de simplement donner un chiffre unique. Ce niveau de détail pourrait éventuellement aider à garantir que les médecins ne se contentent pas de mémoriser des faits, mais maîtrisent véritablement la pensée complexe requise pour soigner les patients en toute sécurité.