📄 medicine

Measuring What Future Physicians Know About Contraception: Development and Validation of the Clinical Contraceptive Knowledge Test (CCKT) in Vietnam Using Item Response Theory

Cette étude a développé et validé le Test de Connaissances Cliniques sur la Contraception à 18 items (CCKT-18) en utilisant la théorie de la réponse aux items auprès d'étudiants en médecine vietnamiens, démontrant qu'il s'agit d'un instrument robuste, unidimensionnel et précis pour évaluer les connaissances en matière de contraception et guider l'amélioration des programmes d'études.

Auteurs originaux : Nguyen Dinh Ky, Nguyen Quynh Anh, Nguyen Ngoc Minh, Pham The Lam, Do Hoa Cham, To Khanh Linh, Nguyen Dang Linh Chi, Pham Hong Anh, Nguyen Thi Hong Hanh, Nguyen Tien Thang, Nguyen Thi Huyen Anh, Nguyen

Publié 2026-07-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nguyen Dinh Ky, Nguyen Quynh Anh, Nguyen Ngoc Minh, Pham The Lam, Do Hoa Cham, To Khanh Linh, Nguyen Dang Linh Chi, Pham Hong Anh, Nguyen Thi Hong Hanh, Nguyen Tien Thang, Nguyen Thi Huyen Anh, Nguyen Manh Thang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de mesurer à quel point un groupe de futurs médecins connaît la contraception. Par le passé, les chercheurs utilisaient une « règle » un peu cassée. Elle traitait chaque question comme si elle avait la même importance et ne vous donnait qu'un seul chiffre (comme un score de test sur 100) sans vous dire ce que l'étudiant savait réellement ou où il rencontrait des difficultés. C'était comme essayer de mesurer la hauteur d'une chaîne de montagnes avec un seul ruban à mesurer plat ; vous obtenez un nombre, mais vous manquez les sommets et les vallées.

Ce document décrit la création d'un tout nouveau « scanner laser » de haute technologie appelé le Clinical Contraceptive Knowledge Test (CCKT-18). Voici comment les chercheurs l'ont construit et ce qu'ils ont découvert, en utilisant des analogies simples.

1. Le Problème : L'ancienne règle n'était pas suffisante

Les chercheurs ont remarqué que les étudiants en médecine au Vietnam (et dans le monde entier) réussissent souvent bien à l'école, mais manquent encore de savoir pratique pour conseiller les patientes sur la contraception. Les anciens tests qu'ils utilisaient étaient basés sur la « Théorie Classique des Tests ».

L'analogie : Pensez à l'ancien test comme un sac de billes où chaque bille est de la même taille. Si vous les comptez, vous savez combien vous en avez, mais vous ne savez pas si certaines sont lourdes et d'autres légères. L'ancien test supposait que chaque question était également difficile et d'égale importance.
L'objectif : Ils voulaient un outil capable de mesurer la difficulté de chaque question et la capacité de chaque question à distinguer un « expert » de quelqu'un qui ne fait que deviner.

2. Construire le Nouvel Outil : Une construction en quatre étapes

L'équipe n'a pas simplement écrit des questions en espérant que cela fonctionne. Ils ont construit le test en quatre phases méticuleuses, comme la construction d'un pont solide :

Phase 1 : Rassembler les briques (Génération des items) : Ils ont examiné les directives de santé mondiales (de l'OMS) et les théories éducatives pour rédiger 27 questions initiales. Ces questions couvraient tout, des faits de base aux décisions cliniques complexes.
Phase 2 : Le contrôle qualité (Révision par des experts) : Six experts en santé reproductive et en éducation ont examiné les questions. Ils ont agi comme des éditeurs stricts, supprimant une question qui ne convenait pas et peaufinant deux autres jusqu'à ce qu'elles soient parfaites. Cela a laissé 26 questions.
Phase 3 : Le test de résistance (Test pilote) : Ils ont testé le test de 26 questions sur un petit groupe de 100 étudiants. Cela a bien fonctionné, mais ils voulaient le rendre encore plus précis.
Phase 4 : Le scan de haute technologie (Validation à grande échelle) : Ils ont soumis le test à plus de 700 étudiants en médecine répartis dans cinq universités au Vietnam. Ils ont utilisé une méthode mathématique sophistiquée appelée Théorie de la Réponse aux Items (IRT).
- L'analogie : Si l'ancienne méthode était une simple balance, l'IRT est comme une imprimante 3D qui analyse la forme de chaque donnée. Elle examine la difficulté de chaque question et la capacité de celle-ci à distinguer les étudiants qui maîtrisent vraiment le sujet de ceux qui ne font que deviner.

3. Le Résultat : Le CCKT-18

Après avoir analysé les données, les chercheurs ont réalisé qu'ils n'avaient pas besoin de toutes les 26 questions. Certaines questions étaient redondantes (posant la même chose de manières différentes) ou ne permettaient pas de bien distinguer les étudiants.

L'élagage : Ils ont réduit le test à 18 questions.
La forme : Ils s'attendaient à ce que le test mesure trois compétences différentes (mémoriser des faits, comprendre des concepts et appliquer des règles). Cependant, les mathématiques ont montré que, pour ces étudiants, toutes ces compétences étaient si étroitement liées qu'elles agissaient comme une seule super-compétence. Ils ont donc conservé le test comme une mesure unique et unifiée.
La performance : Le nouvel examen de 18 questions (CCKT-18) est extrêmement précis. Il peut mesurer avec précision les connaissances d'un étudiant, qu'il soit débutant ou avancé. C'est comme un appareil photo doté d'un objectif zoom parfait qui reste net à toutes les distances.

4. Ce que le Test a Révélé

Lorsqu'ils ont utilisé ce nouveau « scanner laser » sur les étudiants, ils ont découvert quelques points intéressants :

Équité : Le test fonctionnait exactement de la même manière pour les étudiants hommes et femmes. Personne n'a été favorisé ou désavantagé de manière injuste par les questions.
La courbe d'apprentissage : Le test a montré que les étudiants étaient généralement bons pour les choses « faciles » (faits de base) mais qu'ils éprouvaient plus de difficultés avec les choses « difficiles » (appliquer les directives à des situations réelles complexes).
L'écart « Clinique » : Le test a remarqué que les étudiants ayant déjà commencé leurs stages cliniques (travailler dans les hôpitaux) répondaient mieux à certaines questions délicates que ceux qui ne l'avaient pas encore fait. Cela suggère que le test est efficace pour identifier qui a réellement acquis les compétences pratiques par rapport à ceux qui se contentent de mémoriser le manuel.

5. Pourquoi cela importe (selon l'article)

L'article conclut que le CCKT-18 est un outil valide, fiable et robuste.

L'analogie : Avant, les éducateurs essayaient de deviner la quantité d'eau dans un seau en regardant la couleur de l'eau. Désormais, ils disposent d'un verre doseur précis.
Le bénéfice : Parce que ce test est si précis, il peut dire aux éducateurs exactement où se trouvent les lacunes de connaissances. Au lieu de dire « La classe doit étudier davantage », ils peuvent dire : « La classe est excellente pour mémoriser des faits, mais elle a besoin de plus de pratique sur la façon d'appliquer ces faits à des patientes réelles. »

Note importante : L'article se concentre strictement sur la création et la validation de cet outil de mesure. Il ne prétend pas avoir résolu le problème pour autant, ni ne dit exactement comment les écoles devraient modifier leurs cours en fonction de ces résultats. Il fournit simplement la « règle » de haute qualité nécessaire pour mesurer le problème avec précision afin que les travaux futurs puissent commencer.

Résumé technique : Développement et validation du Test de connaissances cliniques sur la contraception (CCKT)

Énoncé du problème
L'évaluation précise des connaissances en matière de contraception chez les étudiants en médecine est entravée par les limites des outils d'évaluation traditionnels. Les instruments existants, tels que le Contraceptive Knowledge Assessment (CKA), reposent sur la théorie classique des tests (CTT), qui agrège les scores bruts sous l'hypothèse d'une pondération égale des items. Cette approche ne parvient pas à fournir une mesure précise de la compétence clinique latente et ne peut pas estimer indépendamment la difficulté et la discrimination des items. De plus, il existe un manque d'instruments validés, basés sur la théorie de la réponse aux items (IRT), pour évaluer les connaissances en matière de contraception au Vietnam ou à l'échelle internationale, malgré la nécessité critique de quantifier les lacunes éducatives pour éclairer la réforme des programmes. Étant donné que le Vietnam est confronté à des taux élevés de grossesses et d'avortements non désirés, et que les étudiants en médecine manquent souvent de connaissances pratiques sur les contraceptifs modernes et les critères d'éligibilité médicale (MEC) de l'OMS, un outil psychométrique plus robuste est nécessaire.

Méthodologie
Cette étude a employé un plan transversal multicentrique impliquant des étudiants de premier cycle en médecine de cinq universités au Vietnam. Le développement et la validation du Test de connaissances cliniques sur la contraception (CCKT) ont suivi un cadre séquentiel rigoureux en quatre phases :

Génération des items : Une échelle initiale de 27 items a été construite sur la base des directives de l'OMS et cartographiée selon la taxonomie révisée de Bloom (Rappel, Compréhension, Application). Les items utilisaient un format « Vrai/Faux/Je ne sais pas » afin de minimiser le hasard.
Examen par des experts : Un panel de six spécialistes a évalué la validité de contenu à l'aide de l'indice de validité de contenu au niveau de l'item (I-CVI) et de l'indice de validité de contenu à l'échelle (S-CVI/Ave). Cette phase a entraîné le retrait d'un item et la révision de deux autres, produisant un instrument de 26 items.
Étude pilote : Une étude pilote (n=100) a utilisé la CTT pour filtrer la difficulté des items, la discrimination et la cohérence interne (KR-20 = 0,854).
Validation à grande échelle : L'étude principale a recruté 723 étudiants, dont 636 ont été retenus pour l'analyse après exclusion des réponses invalides. Les chercheurs ont appliqué un modèle de l'IRT à deux paramètres (2PL).
- Dimensionnalité : Des analyses parallèles et des graphiques de scree (éboulis) ont été utilisés pour déterminer le nombre de facteurs latents.
- Sélection du modèle : Sept modèles concurrents (allant de modèles unidimensionnels à des spécifications 2PL et MIRT multidimensionnelles) ont été évalués à l'aide d'indices d'ajustement (CFI, TLI, RMSEA, SRMR). Le principe de parcimonie a guidé la sélection du modèle final.
- Réduction des items : Les items ont été éliminés de manière itérative sur la base d'une faible discrimination ( $a < 0,80$ ), d'une dépendance locale ( $|Q3| > 0,20$ ) ou d'un mauvais ajustement ( $S-X^2, p < 0,05$ ).
- Vérifications de la validité : Le fonctionnement différentiel des items (DIF) a été testé selon le sexe et les stades de formation. Des analyses de sensibilité ont été menées à l'aide d'un ensemble de données « strict-clean » (n=545) pour garantir la robustesse du modèle.

Résultats clés

Raffinement de l'instrument : Le processus a réduit l'instrument initial de 26 items à un instrument final de 18 items (CCKT-18).
Validité de structure : Bien que les analyses exploratoires aient suggéré une multidimensionnalité potentielle, l'évaluation empirique a soutenu une structure unidimensionnelle. Le modèle 2PL unidimensionnel (Modèle 7) a démontré d'excellents indices d'ajustement (CFI = 0,983, TLI = 0,980, RMSEA = 0,036, SRMR = 0,039), comparables à des modèles multidimensionnels plus complexes. Les corrélations inter-facteurs dans les modèles multidimensionnels étaient extrêmement élevées ( $r > 0,80$ ), indiquant un seul trait latent dominant.
Paramètres des items : Les items finaux présentaient des paramètres de discrimination allant de 0,687 à 2,374 et des paramètres de difficulté allant de -3,86 à 1,08.
Fiabilité et précision : L'échelle a démontré une haute précision de mesure avec une fiabilité marginale de 0,844. La fonction d'information du test (TIF) a culminé à $\theta = 0,462$ , offrant une précision élevée (fiabilité $\ge 0,80$ ) sur la plage de capacité de -0,784 à +1,51.
Analyse DIF : Aucun DIF significatif n'a été trouvé selon le sexe, confirmant l'invariance de la mesure. Cependant, quatre items ont montré un DIF significatif selon les stades de formation (préclinique vs clinique), spécifiquement concernant les compétences de prise de décision clinique (ex. : sélection du DIU, gestion de l'oubli de la pilule), reflétant des différences d'exposition curriculaire plutôt qu'un biais.
Robustesse : Les analyses de sensibilité ont confirmé la stabilité structurelle, avec des changements négligeables de l'ajustement du modèle ( $\Delta CFI = 0,003$ ) et des paramètres d'items entre les ensembles de données principaux et « strict-clean ».

Signification et affirmations
Les auteurs affirment que le CCKT-18 est un instrument valide, fiable et robuste pour évaluer les connaissances en matière de contraception chez les étudiants en médecine. Sa principale importance réside dans son avancement méthodologique par rapport aux outils hérités :

Précision : En exploitant l'IRT, le CCKT-18 dépasse les scores bruts pour fournir une évaluation précise, orientée vers les compétences, de la capacité latente, permettant aux éducateurs d'identifier des déficits curriculaires spécifiques (ex. : lacunes dans les compétences d'application de niveau supérieur) plutôt que de simples niveaux de connaissances générales.
Utilité éducative : L'instrument soutient une transition de l'évaluation traditionnelle basée sur les scores vers une évaluation basée sur les compétences, s'alignant sur les cadres qui mettent l'accent sur le raisonnement clinique.
Contexte mondial : L'étude corrobore les conclusions internationales selon lesquelles les étudiants en médecine manquent souvent de compétences d'application pratique malgré de solides connaissances théoriques, mais fournit un modèle standardisé et psychométriquement rigoureux pour l'évaluation transculturelle.
Application future : Au sein du cadre plus large de l'étude V-COC, le CCKT-18 est positionné comme un outil fondamental pour les enquêtes nationales visant à caractériser le paysage des connaissances sur la contraception au Vietnam, dans le but de conduire des réformes curriculaires ciblées dans l'éducation à la santé reproductive.

Les auteurs reconnaissent des limites, notamment l'utilisation d'un échantillonnage de convenance, le plan transversal, et la concentration de la difficulté des items dans la plage modérée, ce qui peut limiter la discrimination aux niveaux de capacité les plus élevés. Ils notent que les travaux futurs devraient inclure des études longitudinales et des évaluations de la validité critérielle.