Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review
Cette revue systématique révèle que la littérature évaluant le programme national de professionnalisme AETCOM en Inde est méthodologiquement défaillante et « inversée », avançant des affirmations d'efficacité larges et assurées basées sur des conceptions fragiles et des effets d'annonce, tout en échouant à fournir les preuves nécessaires pour déterminer si le programme améliore réellement la pratique médicale réelle.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un chef essayant de déterminer si une nouvelle recette de « Soupe Parfaite », imposée par le gouvernement, rend réellement les gens plus sains. Dans le monde de l'enseignement médical, cette recette est appelée AETCOM — un programme national en Inde conçu pour enseigner aux futurs médecins comment être bienveillants, éthiques et doués pour communiquer avec les patients. Mais voici la partie délicate : comment savoir si la soupe fonctionne vraiment ? Vous ne pouvez pas simplement demander au chef s'il pense qu'elle est bonne, et vous ne pouvez pas simplement regarder la liste des ingrédients. Vous devez observer ce qui se passe lorsque la soupe est servie à de vrais clients dans un vrai restaurant. C'est là qu'intervient la science de l'« évaluation ». C'est le processus de vérification d'un apprentissage qui change réellement les comportements dans le monde réel, et non seulement dans une salle de classe. Pour faire cela correctement, les scientifiques utilisent quelques concepts clés : la « Validité », qui revient à vérifier si votre règle mesure bien la longueur et non la température ; le « Transfert d'apprentissage », qui demande si ce que vous apprenez en cuisine vous aide réellement à mieux cuisiner quand le restaurant est en plein rush ; et le « Spin » (ou l'exagération), qui est le cas lorsqu'une personne rédige un rapport faisant passer un petit succès pour une victoire gigantesque.
Maintenant, imaginez une équipe de détectives — les chercheurs Siddalingaiah et Masali — décidant d'enquêter sur la pile de rapports écrits sur cette recette de « Soupe Parfaite ». Ils ne se sont pas contentés de demander : « Est-ce que la soupe fonctionne ? » Ils ont posé une question bien plus étrange : « Les rapports dont nous disposons sont-ils même capables de répondre à cette question ? » Ils ont examiné des dizaines d'études réalisées depuis 2015 qui tentaient de tester le curriculum AETCOM. Ce qu'ils ont découvert, c'est un peu comme entrer dans une pièce où tout le monde crie que la soupe est incroyable, mais où personne ne goûte réellement la soupe au restaurant. Au lieu de cela, ils goûtent les ingrédients bruts dans la cuisine, ou demandent simplement au chef comment il se sent par rapport à la recette.
Les détectives ont découvert que la « taille » du succès rapporté dans ces études dépendait entièrement de la façon dont le test était configuré, et non de la qualité réelle de la soupe. Lorsque les enseignants notaient leurs propres étudiants immédiatement après le cours, les résultats étaient énormes et élogieux, comme un score de 3,49 sur une échelle où 1 est déjà excellent. Mais quand les chercheurs ont cherché les deux seules études qui comparaient réellement des étudiants ayant reçu la formation à des étudiants n'ayant pas reçu la formation, la magie s'est évaporée. Le score est tombé à un minuscule 0,12. C'est comme si le premier groupe de testeurs utilisait une loupe qui faisait tout paraître plus grand, tandis que le second groupe utilisait un miroir simple et honnête. L'article montre que plus les règles du test étaient « permissives » (ou souples), plus le succès rapporté semblait important.
Plus intéressant encore, les chercheurs ont remarqué un étrange schéma de « spin ». Ils ont trouvé que dans 75 % des rapports, les auteurs faisaient des affirmations qui allaient bien au-delà de ce qu'ils avaient réellement mesuré. C'est comme si un élève obtenait un « A » à un test d'orthographe et écrivait ensuite dans son rapport : « Cela prouve que je remporterai le prix Nobel de littérature ». Les études mesuraient des choses comme « ce que les étudiants ressentaient » ou « ce qu'ils savaient lors d'un test », mais les rapports prétendaient que ces études prouvaient que les médecins traitaient désormais mieux les patients ou que les procès allaient disparaître. En fait, 89 % des rapports affirmaient plus que ce que leurs preuves pouvaient soutenir. Ils étaient très confiants quant aux résultats précisément là où ils avaient le moins de preuves.
L'article souligne également que presque personne n'a vérifié les « conditions de travail ». Pensez-y de cette façon : vous pouvez apprendre à un conducteur à se garer parfaitement dans un parking vide, mais si les rues de la ville réelle sont encombrées, bondées et que le patron ordonne de conduire vite, il pourrait quand même avoir un accident. Les chercheurs ont découvert que seulement 5 % des études vérifiaient si les superviseurs des médecins soutenaient le nouveau comportement, et seulement 12 % vérifiaient si les médecins avaient même la possibilité de pratiquer ce qu'ils avaient appris. Sans savoir si le « parking » est ouvert, vous ne pouvez pas blâmer le conducteur pour un mauvais stationnement, et vous ne pouvez pas non plus blâmer l'auto-école.
Alors, quel est le verdict ? L'article ne dit pas que le curriculum AETCOM est mauvais ou qu'il ne fonctionne pas. Il dit que la façon actuelle de le tester est défaillante. La base de preuves est « inversée » : elle est la plus bruyante et la plus confiante là où elle est en réalité la plus faible. Les auteurs concluent que nous ne pouvons pas encore dire si le curriculum est un succès ou un échec, simplement parce que nous n'avons pas construit un test capable de voir si les leçons s'ancrent réellement lorsque les médecins font face à de vrais patients dans de vrais hôpitaux. Ils suggèrent que nous devons arrêter d'utiliser les tests à la « loupe » et commencer à construire un système qui observe ce qui se passe dans le monde réel, en vérifiant si l'environnement permet d'utiliser les nouvelles compétences. Tant que nous ne le ferons pas, les grandes affirmations sur le fait de sauver des vies et de réparer les relations resteront cela : des affirmations, et non des faits prouvés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.