Evaluating the Effectiveness of an Information System-Assisted Competency Assessment for Residents: A Single-Center Study in China
Cette étude monocentrique menée en Chine démontre qu'une évaluation des compétences assistée par un système d'information est réalisable pour la formation de résidence à grande échelle, mais révèle une complaisance significative du corps professoral et une inflation de l'auto-évaluation des résidents, soulignant le besoin critique de calibrage des évaluateurs pour garantir l'exactitude de l'évaluation.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la formation médicale, l'objectif a longtemps été de s'assurer que chaque médecin diplômé d'un programme de résidence ne soit pas seulement instruit, mais véritablement compétent. Pendant des décennies, cette formation reposait largement sur le temps passé par un étudiant à l'hôpital et sur sa réussite aux examens écrits. Cependant, l'approche moderne, connue sous le nom d'éducation médicale fondée sur les compétences, déplace l'attention vers ce qu'un médecin peut réellement faire. Elle décompose le travail complexe de médecin en compétences spécifiques, telles que la gestion des soins d'un patient, la communication avec une famille ou l'enseignement à un collègue plus junior. Le défi pour les hôpitaux est de savoir comment mesurer ces compétences de manière juste et précise auprès de centaines de stagiaires. Si les personnes qui évaluent les résidents sont trop indulgentes, ou si les résidents pensent être meilleurs qu'ils ne le sont réellement, le système échoue à identifier ceux qui ont besoin de plus d'aide. Sans une image claire des capacités réelles d'un résident, un hôpital ne peut garantir que ses médecins sont prêts à traiter les patients en toute sécurité.
Pour résoudre cela, des chercheurs de l'hôpital West China à Sichuan, en Chine, se sont tournés vers la technologie pour évaluer près de 1 800 résidents répartis dans 24 spécialités médicales différentes. Ils ont construit un système numérique pour recueillir des données sur la façon dont ces stagiaires performaient sur plusieurs mois. Au lieu de s'appuyer sur une opinion unique, le système a collecté trois types de retours différents pour chaque résident : un score de leur mentor de faculté direct, un score provenant d'un comité spécial d'experts appelé le Comité de Compétence Clinique, et un score de la part des résidents eux-mêmes. Les chercheurs voulaient voir si cette approche numérique pouvait fonctionner à une telle échelle et, plus important encore, si les différents groupes d'évaluateurs étaient en accord les uns avec les autres. Ils cherchaient la vérité derrière les chiffres : les scores augmentaient-ils à mesure que les résidents gagnaient en expérience, et les personnes qui notaient voyaient-elles la même réalité ?
Les résultats ont montré que le système numérique fonctionnait bien, réussissant à organiser une quantité massive de données qui aurait été impossible à gérer avec des formulaires papier. Lorsque les chercheurs ont examiné les scores donnés par le comité d'experts, un schéma clair est apparu. À mesure que les résidents passaient de leur première à leur troisième année de formation, leurs scores s'amélioraient de manière significative dans tous les domaines de compétence. Cela a confirmé que la formation fonctionnait et que les résidents gagnaient effectivement en compétence au fil du temps. Cependant, une compétence spécifique s'est distinguée comme étant systématiquement faible. Tout au long des trois années de formation, les résidents ont reçu les notes les plus basses en matière de compétences pédagogiques. Même les stagiaires les plus expérimentés éprouvaient des difficultés dans ce domaine, suggérant que, bien qu'ils devenaient d'excellents médecins, on ne leur apprenait pas à enseigner aux autres.
L'étude a également révélé un décalage significatif entre ceux qui effectuaient l'évaluation et la manière dont ils notaient. Les mentors de la faculté, qui travaillent étroitement avec les résidents au quotidien, ont donné des scores qui se situaient généralement dans la même zone que le comité d'experts, mais ils étaient systématiquement trop bienveillants. Dans cinq des six domaines de compétences, les mentors ont évalué les résidents plus haut que le comité ne l'a fait. Cette « indulgence » signifiait que les mentors ne repéraient pas les mêmes faiblesses que le comité. L'écart était encore plus grand lorsqu'il s'agissait des propres vues des résidents sur leur performance. Lorsque les résidents s'évaluaient eux-mêmes, ils se donnaient des scores qui étaient radicalement plus élevés que les évaluations du comité d'experts. En moyenne, un résident s'évaluait environ quatre points plus haut que le comité. Cela suggère que les résidents n'étaient pas seulement légèrement trop confiants ; ils étaient largement inconscients de l'écart entre leur perception de soi et leur performance réelle.
Les chercheurs ont découvert que le système numérique était un outil puissant pour mettre en lumière ces modèles cachés. Il leur a permis de voir que, si le programme de formation réussissait à construire des compétences cliniques, il échouait à développer les capacités d'enseignement. Il a également mis en évidence un sérieux besoin de meilleure formation pour les personnes effectuant l'évaluation. Les mentors de la faculté devaient apprendre à être plus objectifs, et les résidents avaient besoin d'aide pour apprendre à juger leur propre travail avec précision. L'étude n'a pas prétendu avoir résolu ces problèmes, mais elle a prouvé qu'un système informatisé pouvait fournir les données claires et honnêtes nécessaires pour les résoudre. En passant de registres papier fragmentés à une plateforme numérique unifiée, l'hôpital a créé un moyen de mesurer le progrès qui soit à la fois à grande échelle et détaillé. Cette approche offre une voie d'avenir pour l'éducation médicale, où les données peuvent être utilisées pour garantir que chaque résident est véritablement prêt à soigner des patients, plutôt que d'avoir simplement accompli le temps requis.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.