📄 medicine

Measuring What Future Physicians Know About Contraception: Development and Validation of the Clinical Contraceptive Knowledge Test (CCKT) in Vietnam Using Item Response Theory

Diese Studie entwickelte und validierte den 18-stufigen Clinical Contraceptive Knowledge Test (CCKT-18) unter Anwendung der Item-Response-Theorie bei vietnamesischen Medizinstudierenden und wies damit nach, dass es sich um ein robustes, eindimensionales und präzises Instrument zur Bewertung des Wissen über Kontrazeption und zur Unterstützung von Lehrplanverbesserungen handelt.

Ursprüngliche Autoren: Nguyen Dinh Ky, Nguyen Quynh Anh, Nguyen Ngoc Minh, Pham The Lam, Do Hoa Cham, To Khanh Linh, Nguyen Dang Linh Chi, Pham Hong Anh, Nguyen Thi Hong Hanh, Nguyen Tien Thang, Nguyen Thi Huyen Anh, Nguyen

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nguyen Dinh Ky, Nguyen Quynh Anh, Nguyen Ngoc Minh, Pham The Lam, Do Hoa Cham, To Khanh Linh, Nguyen Dang Linh Chi, Pham Hong Anh, Nguyen Thi Hong Hanh, Nguyen Tien Thang, Nguyen Thi Huyen Anh, Nguyen Manh Thang

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu messen, wie gut eine Gruppe angehender Ärzte über Empfängnisverhütung Bescheid weiß. In der Vergangenheit verwendeten Forscher ein „Lineal“, das ein wenig defekt war. Es behandelte jede Frage so, als wäre sie gleich wichtig, und lieferte Ihnen nur eine einzige Zahl (wie einen Testergebniswert von 100), ohne Ihnen zu sagen, was der Student tatsächlich wusste oder wo er Schwierigkeiten hatte. Es war, als versuche man, die Höhe einer Gebirgskette mit einem einfachen, flachen Maßband zu messen; man erhält zwar eine Zahl, übersieht aber die Gipfel und Täler.

Dieser Artikel beschreibt die Entwicklung eines brandneuen, hochmodernen „Laserscanners“ namens Clinical Contraceptive Knowledge Test (CCKT-18). Hier ist, wie die Forscher ihn aufgebaut haben und was sie herausgefunden haben, unter Verwendung einfacher Analogien.

1. Das Problem: Das alte Lineal reichte nicht aus

Die Forscher stellten fest, dass Medizinstudierende in Vietnam (und weltweit) oft gute Noten in der Schule machen, aber dennoch nicht über das praktische Know-how verfügen, um Patienten zur Empfängnisverhütung zu beraten. Die alten Tests, die sie verwendeten, basierten auf der „klassischen Testtheorie“.

Die Analogie: Denken Sie an den alten Test wie an eine Tüte Murmeln, bei denen jede Murmel die gleiche Größe hat. Wenn Sie sie zählen, wissen Sie, wie viele Sie haben, aber Sie wissen nicht, ob einige schwer und andere leicht sind. Der alte Test ging davon aus, dass jede Frage gleich schwierig und gleich wichtig sei.
Das Ziel: Sie wollten ein Werkzeug schaffen, das die Schwierigkeit jeder einzelnen Frage messen kann und wie gut eine Frage zwischen einem „Allwissenden“ und jemandem, der nur rät, unterscheidet.

2. Den neuen Werkzeugbau: Eine vierstufige Konstruktion

Das Team hat den Test nicht einfach nur geschrieben und gehofft, dass es klappt. Sie haben den Test in vier sorgfältigen Phasen aufgebaut, wie beim Bau einer stabilen Brücke:

Phase 1: Das Sammeln der Ziegel (Item-Generierung): Sie orientierten sich an globalen Gesundheitsrichtlinien (der WHO) und Bildungstheorien, um 27 ursprüngliche Fragen zu formulieren. Diese Fragen deckten alles ab, von Basisfakten bis hin zu komplexen klinischen Entscheidungen.
Phase 2: Die Qualitätskontrolle (Expertenprüfung): Sechs Experten für reproduktive Gesundheit und Bildung prüften die Fragen. Sie fungierten als strenge Redakteure, entfernten eine Frage, die nicht passte, und polierten zwei weitere, bis sie perfekt waren. Dies hinterließ 26 Fragen.
Phase 3: Der Belastungstest (Pilotprüfung): Sie testeten den 26-Fragen-Test an einer kleinen Gruppe von 100 Studierenden. Er funktionierte gut, aber sie wollten ihn noch schärfer machen.
Phase 4: Der High-Tech-Scan (Groß angelegte Validierung): Sie gaben den Test über 700 Medizinstudierenden an fünf Universitäten in Vietnam. Dabei verwendeten sie eine ausgeklügelte mathematische Methode namens Item-Response-Theorie (IRT).
- Die Analogie: Wenn die alte Methode eine einfache Waage war, dann ist IRT wie ein 3D-Drucker, der die Form jedes einzelnen Datenpunktes analysiert. Er untersucht, wie schwer jede Frage ist und wie gut sie zwischen Studierenden unterscheidet, die das Material wirklich beherrschen, und jenen, die nur raten.

3. Das Ergebnis: Der CCKT-18

Nach der Analyse der Daten stellten die Forscher fest, dass sie nicht alle 26 Fragen benötigten. Einige Fragen waren redundant (fragten dasselbe auf unterschiedliche Weise ab) oder erfüllten nicht die Aufgabe, die Studierenden voneinander zu unterscheiden.

Der Schnitt: Sie kürzten den Test auf 18 Fragen.
Die Form: Sie erwarteten, dass der Test drei verschiedene Fähigkeiten misst (das Erinnern von Fakten, das Verstehen von Konzepten und das Anwenden von Regeln). Die Mathematik zeigte jedoch, dass diese Fähigkeiten für diese Studierenden so eng miteinander verknüpft waren, dass sie wie eine einzige Super-Fähigkeit agierten. Daher behielten sie den Test als ein einziges, einheitliches Maß bei.
Die Leistung: Der neue 18-Fragen-Test (CCKT-18) ist hochpräzise. Er kann das Wissen eines Studierenden genau messen, egal ob es sich um einen Anfänger oder einen fortgeschrittenen Lernenden handelt. Es ist wie eine Kamera mit einem perfekten Zoomobjektiv, das in jeder Entfernung scharf bleibt.

4. Was der Test enthüllte

Als sie diesen neuen „Laserscanner“ auf die Studierenden anwendeten, fanden sie einige interessante Dinge heraus:

Fairness: Der Test funktionierte bei männlichen und weiblichen Studierenden exakt gleich. Niemand wurde durch die Fragen ungerechtfertigt bevorzugt oder benachteiligt.
Die Lernkurve: Der Test zeigte, dass die Studierenden im Allgemeinen gut im „einfachen“ Teil waren (Basisfakten), aber mehr Schwierigkeiten mit dem „schweren“ Teil hatten (die Anwendung von Richtlinien auf komplexe reale Situationen).
Die „klinische“ Lücke: Der Test bemerkte, dass Studierende, die bereits ihre klinischen Rotationen (die Arbeit in Krankenhäusern) begonnen hatten, bestimmte knifflige Fragen besser beantworteten als diejenigen, die dies noch nicht getan hatten. Dies deutet darauf hin, dass der Test gut darin ist, zu erkennen, wer tatsächlich die praktischen Fähigkeiten erlernt hat und wer nur das Lehrbuch auswendig gelernt hat.

5. Warum dies wichtig ist (laut dem Paper)

Das Paper kommt zu dem Schluss, dass der CCKT-18 ein valides, reliables und robustes Instrument ist.

Die Analogie: Früher versuchten Pädagogen, die Menge des Wassers in einem Eimer zu erraten, indem sie auf die Farbe des Wassers schauten. Jetzt haben sie einen präzisen Messbecher.
Der Nutzen: Da der Test so präzise ist, kann er Pädagogen genau sagen, wo die Wissenslücken liegen. Anstatt zu sagen: „Die Klasse muss mehr lernen“, können sie sagen: „Die Klasse ist großartig darin, Fakten zu erinnern, aber sie müssen mehr Praxis darin bekommen, wie sie diese Fakten auf echte Patienten anwendet.“

Wichtiger Hinweis: Das Paper konzentriert sich strikt auf die Erstellung und Validierung dieses Messwerkzeugs. Es behauptet nicht, das Problem bereits gelöst zu haben, und es sagt auch nicht genau, wie Schulen ihre Kurse basierend auf diesen Ergebnissen ändern sollten. Es stellt lediglich das hochwertige „Lineal“ zur Verfügung, das benötigt wird, um das Problem genau zu messen, damit zukünftige Arbeiten beginnen können.

Technisches Resümee: Entwicklung und Validierung des Clinical Contraceptive Knowledge Test (CCKT)

Problemstellung
Die genaue Bewertung des Wissens über Empfängnisverhütung unter Medizinstudierenden wird durch die Einschränkungen traditioneller Evaluierungsinstrumente erschwert. Bestehende Instrumente, wie der Contraceptive Knowledge Assessment (CKA), stützen sich auf die klassische Testtheorie (CTT), welche Rohwerte unter der Annahme gleicher Item-Gewichtung aggregiert. Dieser Ansatz ermöglicht keine präzise Messung der latenten klinischen Kompetenz und kann weder die Item-Schwierigkeit noch die Diskrimination unabhängig schätzen. Zudem mangelt es trotz des kritischen Bedarfs, Bildungslücken zu quantifizieren, um Lehrplanreformen zu unterstützen, an validierten, auf der Item-Response-Theorie (IRT) basierenden Instrumenten zur Bewertung des Wissens über Empfängnisverhütung in Vietnam oder international. Da Vietnam mit hohen Raten an ungewollten Schwangerschaften und Abtreibungen konfrontiert ist und Medizinstudierende häufig über mangelndes praktisches Wissen zu modernen Verhütungsmitteln und den WHO-Medizinischen Eligibility-Kriterien (MEC) verfügen, ist ein robusteres psychometrisches Werkzeug erforderlich.

Methodik
Diese Studie verwendete ein Querschnittsdesign mit mehreren Zentren, an dem Medizinstudierende verschiedener Universitäten aus fünf Universitäten in Vietnam teilnahmen. Die Entwicklung und Validierung des Clinical Contraceptive Knowledge Test (CCKT) folgte einem strengen vierphasigen sequenziellen Rahmen:

Item-Generierung: Eine initiale 27-Item-Skala wurde auf Basis der WHO-Leitlinien erstellt und der revidierten Bloomschen Taxonomie (Erinnern, Verstehen, Anwenden) zugeordnet. Die Items verwendeten ein „Richtig/Falsch/Weiß nicht genau“-Format, um Raten zu minimieren.
Expertenprüfung: Ein Gremium aus sechs Spezialisten bewertete die Inhaltsvalidität mittels des Item-Level Content Validity Index (I-CVI) und des Scale-Level Content Validity Index (S-CVI/Ave). Diese Phase führte zur Entfernung eines Items und der Überarbeitung von zwei Items, woraus ein 26-Item-Instrument resultierte.
Pilotstudie: Eine Pilotstudie (n=100) nutzte die CTT, um die Item-Schwierigkeit, die Diskrimination und die interne Konsistenz (KR-20 = 0,854) zu prüfen.
Groß angelegte Validierung: Die Hauptstudie rekrutierte 723 Studierende, von denen nach Ausschluss ungültiger Antworten 636 für die Analyse verblieben. Die Forscher wandten ein zweiparametrisches logistisches (2PL) IRT-Modell an.
- Dimensionalität: Parallelanalysen und Scree-Plots wurden verwendet, um die Anzahl der latenten Faktoren zu bestimmen.
- Modellselektion: Sieben konkurrierende Modelle (von eindimensionalen bis hin zu multidimensionalen 2PL- und MIRT-Spezifikationen) wurden anhand von Fit-Indizes (CFI, TLI, RMSEA, SRMR) evaluiert. Das Prinzip der Sparsamkeit (Parsimonie) leitete die Auswahl des finalen Modells.
- Item-Reduktion: Items wurden iterativ entfernt, baseinander auf niedriger Diskrimination ( $a < 0,80$ ), lokaler Abhängigkeit ( $|Q3| > 0,20$ ) oder Mismatch ( $S-X^2, p < 0,05$ ).
- Validitätsprüfungen: Die differenzielle Itemfunktion (DIF) wurde hinsichtlich Geschlecht und Ausbildungsstadium getestet. Sensitivitätsanalysen wurden unter Verwendung eines „Strict-Clean“-Datensatzes (n=545) durchgeführt, um die Robustheit des Modells sicherzustellen.

Hauptergebnisse

Instrumentenverfeinerung: Der Prozess reduzierte das ursprüngliche 26-Item-Instrument auf ein finales 18-Item-Instrument (CCKT-18).
Strukturelle Validität: Obwohl explorative Analysen auf potenzielle Multidimensionalität hindeuteten, stützte die empirische Auswertung eine eindimensionale Struktur. Das eindimensionale 2PL-Modell (Modell 7) zeigte exzellente Fit-Indizes (CFI = 0,983, TLI = 0,980, RMSEA = 0,036, SRMR = 0,039), die mit komplexeren multidimensionalen Modellen vergleichbar sind. Die Inter-Faktor-Korrelationen in den multidimensionalen Modellen waren extrem hoch ( $r > 0,80$ ), was auf einen einzigen dominanten latenten Merkmal hinweist.
Item-Parameter: Die finalen Items wiesen Diskriminationsparameter im Bereich von 0,687 bis 2,374 und Schwierigkeitsparameter von -3,86 bis 1,08 auf.
Reliabilität und Präzision: Die Skala demonstrierte eine hohe Messpräzision mit einer marginalen Reliabilität von 0,844. Die Test-Information-Funktion (TIF) erreichte ihren Höhepunkt bei $\theta = 0,462$ und bot eine hohe Präzision (Reliabilität $\ge 0,80$ ) über den Fähigkeitsbereich von -0,784 bis +1,51.
DIF-Analyse: Es wurde keine signifikante DIF hinsichtlich des Geschlechts gefunden, was die Messinvarianz bestätigt. Vier Items zeigten jedoch eine signifikante DIF über die Ausbildungsstufen (Präklinik vs. Klinik) hinweg, insbesondere in Bezug auf klinische Entscheidungskompetenzen (z. B. Auswahl der IUD, Management bei vergessener Pille), was Unterschiede in der curricularen Exposition widerspiegelt, nicht jedoch eine Verzerrung.
Robustheit: Sensitivitätsanalysen bestätigten die strukturelle Stabilität, mit vernachlässigbaren Änderungen der Modellgüte ( $\Delta CFI = 0,003$ ) und der Item-Parameter zwischen dem Haupt- und dem „Strict-Clean“-Datensatz.

Bedeutung und Ansprüche
Die Autoren behaupten, dass das CCKT-18 ein valides, reliables und robustes Instrument zur Bewertung des Wissens über Empfängnisverhütung unter Medizinstudierenden ist. Seine primäre Bedeutung liegt in der methodischen Weiterentwicklung gegenüber älteren Werkzeugen:

Präzision: Durch die Nutzung der IRT geht das CCKT-18 über Rohwerte hinaus und bietet eine präzise, kompetenzorientierte Bewertung der latenten Fähigkeit, was es Lehrenden ermöglicht, spezifische curriculare Defizite (z. B. Lücken in höheren Anwendungskompetenzen) statt nur allgemeine Wissensstände zu identifizieren.
Pädagogischer Nutzen: Das Instrument unterstützt den Übergang von der traditionellen punktbasierten Bewertung zur kompetenzbasierten Evaluation und steht im Einklang mit Frameworks, die das klinische Denken betonen.
Globaler Kontext: Die Studie bestätigt internationale Befunde, wonach Medizinstudierende trotz starker theoretischer Kenntnisse oft praktische Anwendungskompetenzen vermissen lassen, bietet jedoch eine standardisierte, psychometrisch rigorose Vorlage für kulturübergreifende Bewertungen.
Zukünftige Anwendung: Innerhalb des breiteren V-COC-Studienrahmens ist das CCKT-18 als grundlegendes Werkzeug für landesweite Erhebungen positioniert, um die Landschaft des Wissens über Empfängnisverhütung in Vietnam zu charakterisieren, mit dem Ziel, gezielte Lehrplanreformen in der reproduktiven Gesundheitserziehung voranzutreiben.

Die Autoren räumen Limitationen ein, darunter die Verwendung von Convenience Sampling, das Querschnittsdesign sowie die Konzentration der Item-Schwierigkeit im moderaten Bereich, was die Diskrimination bei sehr hohen Leistungsniveaus einschränken könnte. Sie merken an, dass zukünftige Arbeiten Längsschnittstudien und Kriteriumsvaliditätsuntersuchungen einschließen sollten.