Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration
Cette étude pilote démontre que trois méthodes de détermination des seuils établies (Angoff, Bookmark et Construct Mapping) peuvent être adaptées de manière réalisable et fiable à des données d'évaluation longitudinale en milieu de travail pour définir un seuil de diplomation en chirurgie générale défendable, avec un score de coupure proposé de 582 soutenu par la convergence des résultats et des aperçus qualitatifs.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un chef de cuisine essayant de décider quand un étudiant en cuisine est prêt à quitter la cuisine pour ouvrir son propre restaurant. Par le passé, vous auriez pu simplement regarder l'étudiant cuisiner un plat spécifique (comme un soufflé) et décider : « Oui, il peut gérer cela. » Mais aujourd'hui, les facultés de médecine évoluent vers un système où l'on observe les étudiants cuisiner beaucoup de plats différents sur plusieurs années, en collectant une quantité massive de données sur la façon dont ils se comportent dans la vraie cuisine (la salle d'opération).
Le problème ? Personne ne savait comment transformer toutes ces données à long terme en une ligne unique et claire de « Réussite » ou d'« Échec ».
Ce document est comme un test pilote où un groupe de 10 chefs experts (éducateurs chirurgicaux) a tenté de trouver comment tracer cette ligne en utilisant trois outils de mesure différents. Voici ce qu'ils ont fait et ce qu'ils ont trouvé, expliqué simplement :
L'objectif : Trouver la « Ligne de Graduation »
Les chercheurs voulaient trouver un score spécifique qui dise : « Cet étudiant est prêt à pratiquer seul. » Ils ont utilisé un outil numérique appelé SIMPL, qui donne aux étudiants un score entre 372 et 628 basé sur leurs performances en chirurgie. L'objectif était de trouver le nombre exact sur cette échelle où un étudiant devient « prêt à la pratique ».
Les trois outils de mesure
Les experts ont essayé trois manières différentes de fixer cette ligne, de la même manière que vous pourriez essayer de deviner le prix d'une maison en utilisant différentes méthodes :
La méthode « Angoff » (La supposition mentale) :
- Comment ça marche : Les experts devaient imaginer un étudiant « à peine réussi ». Ensuite, pour chaque chirurgie sur une liste, ils devaient deviner : « Quelles sont les chances que cet étudiant, qui réussit à peine, puisse bien faire cette chirurgie ? »
- L'analogie : C'est comme demander à un groupe de juges d'imaginer un coureur qui est juste assez rapide pour intégrer l'équipe olympique, puis de deviner combien de haies ce coureur pourrait franchir.
- Le résultat : C'était très difficile pour les experts. Ils ont trouvé cela trop compliqué et leur cerveau se fatiguait en essayant d'imaginer cet étudiant « à peine réussi » pour chaque chirurgie.
La méthode du « Signet » (L'échelle) :
- Comment ça marche : Ils ont pris une liste de chirurgies et les ont classées de la plus « facile » à la plus « difficile » selon les données. Les experts devaient ensuite placer un « signet » sur la liste là où un étudiant commencerait à échouer.
- L'analogie : Imaginez une échelle où les échelons sont des chirurgies. Les experts devaient dire : « D'accord, un étudiant peut grimper jusqu'à cet échelon, mais s'il va plus haut, il tombera. »
- Le résultat : Les experts n'étaient pas d'accord sur l'ordre des échelons de l'échelle. Certaines chirurgies ne semblaient pas correspondre à l'ordre suggéré par l'ordinateur, ce qui les rendait incertains de leur réponse.
La méthode de la « Cartographie de Construction » (La carte thermique) :
- Comment ça marche : C'était la préférée. Les experts ont regardé une « carte thermique » colorée (un graphique avec des couleurs montrant des probabilités). Cette carte leur montrait exactement la probabilité qu'un étudiant avec un certain score réussisse des chirurgies spécifiques. Ils pouvaient voir l'ensemble du tableau d'un seul coup d'œil.
- L'analogie : Au lieu de deviner ou de grimper une échelle, c'est comme regarder une carte météo. Vous pouvez voir les nuages d'orage (chirurgies difficiles) et les zones ensoleillées (faciles) d'un seul coup et dire : « D'accord, si la température (le score) est ici, l'étudiant est en sécurité pour sortir. »
- Le résultat : Les experts ont adoré cette méthode. Elle était rapide, utilisait des données réelles et les aidait à voir comment un score unique s'appliquait à de nombreuses chirurgies différentes.
La grande découverte
Lorsque les experts ont terminé, ils ont comparé les lignes de « Réussite » qu'ils avaient tracées en utilisant les trois outils différents.
- Angoff a suggéré une ligne autour de 577.
- Le Signet a suggéré une ligne autour de 588.
- La Cartographie de Construction a suggéré une ligne autour de 582.
La surprise : Même si les outils étaient totalement différents, les lignes qu'ils avaient tracées étaient presque les mêmes. Statistiquement, il n'y avait pas de différence réelle entre eux. Cela a donné confiance aux chercheurs que 582 est un chiffre solide et équitable pour servir de point de départ à la graduation.
Ce que les experts ont dit (Le côté « humain »)
Bien que les chiffres soient proches, les experts ont eu quelques réflexions sur le processus :
- Définir la « Prêt » : Il leur a été difficile de s'entendre sur ce à quoi ressemble un étudiant « minimalement compétent ». Veulent-ils dire quelqu'un qui est juste assez bon pour obtenir son diplôme, ou quelqu'un qui est prêt à être chirurgien dès demain ? Ils ont eu du mal à arrêter de penser aux chirurgiens « parfaits » pour se concentrer sur ceux qui sont « assez bons ».
- Complexité : Ils ont trouvé difficile de rendre compte de la difficulté d'une chirurgie spécifique. Ils ont convenu de fixer la norme pour les cas « simples ».
- Le gagnant : Ils ont préféré la Carte Thermique (Cartographie de Construction) car elle était la plus efficace et les aidait à visualiser la norme à travers de nombreuses chirurgies à la fois.
L'essentiel
Cette étude prouve que vous pouvez prendre une montagne de données de performance à long terme et la transformer en une norme de graduation claire et équitable. Ils ont trouvé que trois façons différentes de mesurer mènent au même résultat, ce qui rend le résultat digne de confiance.
Ils proposent un score de 582 comme nouvelle norme. Si un étudiant atteint ce score, les données suggèrent qu'il a une probabilité de 88 à 90 % de réussir une appendicectomie laparoscopique, de 83 à 85 % pour une ablation de la vésicule biliaire et de 76 à 80 % pour une chirurgie du côlon.
En bref : ils ont trouvé un moyen fiable de mesurer quand un étudiant en chirurgie est prêt à voler en solo, et ils ont trouvé que regarder « la vue d'ensemble » (la carte thermique) est la meilleure façon de le faire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.