Applying a Cognitive Diagnostic Model to Assess Clinical Reasoning: Q- Matrix Development and Known-Groups Validity Evidence from a Nationwide Medical Examination

In der hochriskanten Welt der medizinischen Ausbildung ist die Fähigkeit, wie ein Arzt zu denken, ebenso entscheidend wie das Wissen über Fakten. Diese Fertigkeit, bekannt als klinische Argumentation (clinical reasoning), beinhaltet das Zusammenführen eines Durcheinanders von Patientendetails – Symptome, Anamnese, Laborergebnisse – zu einer klaren Diagnose und einem Behandlungsplan. Seit Jahrzehnten verlassen sich medizinische Fakultäten auf Multiple-Choice-Prüfungen, um diese Fähigkeit zu testen. Diese Tests bieten jedoch meist nur eine einzige Punktzahl, eine Zahl, die einem Studenten sagt, wie viele Fragen er richtig beantwortet hat, aber nichts darüber aussagt, wie er gedacht hat. Es ist, als wüsste man, dass ein Läufer ein Rennen in zehn Minuten absolviert hat, ohne zu wissen, ob er die erste Hälfte gesprintet und die zweite Hälfte gejoggt ist oder ob er bei jeder Kurve gestolpert ist. Um die medizinische Ausbildung wirklich zu verbessern, müssen Pädagogen die spezifischen mentalen Schritte sehen, die ein Student unternimmt, um genau zu identifizieren, welche Teile seiner Argumentation stark sind und welche Überarbeitung benötigen.

Ein Forscher am Gachon University College of Medicine setzte sich zum Ziel, dieses Problem zu lösen, indem er eine anspruchsvolle Methode namens kognitives Diagnosemodell auf eine massive nationale medizinische Prüfung in Südkorea anwandte. Anstatt nur korrekte Antworten zu zählen, zielte die Studie darauf ab, die spezifischen Denkfertigkeiten abzubilden, die erforderlich sind, um jede Frage korrekt zu beantworten. Das Team analysierte die Antworten von fast 5.600 Medizinstudenten aus ihrem dritten und vierten Studienjahr. Sie begannen damit, neun verschiedene Denkfertigkeiten aufzulisten, von denen Experten glaubten, dass sie für die klinische Argumentation essenziell seien, wie etwa das Interpretieren von Laborergebnissen oder die Entscheidung über eine Behandlung. Durch einen sorgfältigen Prozess der Überprüfung der Prüfungsfragen und die Konsultation eines Gremiums erfahrener medizinischer Pädagogen verfeinerten sie diese Liste auf sieben distinkte Fertigkeiten. Sie verwendeten dann ein statistisches Modell, um zu sehen, ob diese sieben Fertigkeiten die Leistung der Studenten genau erklären konnten. Die Ergebnisse waren bemerkenswert: Das Modell konnte die Fähigkeiten der Studenten erfolgreich differenzieren und zeigte, dass Studenten im vierten Jahr, die über mehr klinische Erfahrung verfügten, diese Argumentationsfähigkeiten konsistent in viel höheren Raten meisterten als Studenten im dritten Jahr. Dieser Befund lieferte starke Beweise dafür, dass der neue Rahmen funktioniert und einen Weg bietet, über einfache Testergebnisse hinaus zu einer detaillierten, fertigkeitsbasierten Diagnose des Denkens eines Studenten zu gelangen.

Der Weg zu diesem Schluss begann mit einem massiven Datensatz: der zweiten klinischen umfassenden Prüfung aus dem Jahr 2019, einem landesweiten schriftlichen Test, der medizinischen Studenten in ganz Südkorea verabreicht wurde. Die Forscher konzentrierten sich speziell auf den Abschnitt Innere Medizin, der 144 Multiple-Choice-Fragen enthielt. Sie sammelte die Antworten von 5.586 Studenten, bestehend aus 2.603 Studenten im dritten Jahr und 2.983 Studenten im vierten Jahr. Da die Daten vollständig anonymisiert waren, konnten die Forscher nicht auf den individuellen Hintergrund der Studenten zurückblicken, aber die schiere Größe der Gruppe ermöglichte es ihnen, klare Muster in der Entwicklung der Argumentationsfähigkeiten über die Zeit hinweg zu erkennen.

Die erste große Aufgabe bestand darin, eine Karte zu erstellen, die in diesem Bereich als Q-Matrix bekannt ist und jede Prüfungsfrage mit den spezifischen Denkfertigkeiten verbindet, die zur Lösung erforderlich sind. Die Forscher begannen mit einer Liste von neun potenziellen Fertigkeiten, die aus einer Überprüfung bestehender Literatur abgeleitet wurden. Dazu gehörten Dinge wie die Interpretation der Patientenanamnese, die Analyse körperlicher Untersuchungsergebnisse, das Filtern signifikanter Informationen und die Beurteilung der Schwere eines Zustands. Sie ordneten diese neun Fertigkeiten den 144 Fragen zu, um eine Entwurfskarte zu erstellen. Um zu prüfen, ob diese Karte sinnvoll war, untersuchten sie, wie oft verschiedene Fertigkeiten in denselben Fragen gemeinsam auftraten, und führten statistische Tests durch, um zu sehen, ob die Fertigkeiten voneinander unterscheidbar waren. Die ersten Daten zeigten, dass die Fertigkeiten unterscheidbar genug waren, aber die statistischen Tests lieferten allein keinen starken Beweis.

In der Erkenntnis, dass Zahlen allein nicht die ganze Geschichte erzählen konnten, brachten die Forscher ein Gremium aus vier Fakultätsmitgliedern der Medizin ein. Diese Experten, mit Jahrzehnten an Erfahrung in der medizinischen Ausbildung und Prüfungsentwicklung, überprüften die Entwurfskarte und die statistischen Daten. Sie entschieden, dass einige Fertigkeiten zu ähnlich waren, um sie getrennt zu führen. Beispielsweise führten sie die Fertigkeiten der Interpretation der Patientenanamnese und der körperlichen Untersuchung zusammen, da Ärzte in der Praxis diese oft gemeinsam nutzen, um wichtige Hinweise zu entdecken. Sie entfernten auch die Fertigkeit des Filterns signifikanter Informationen, mit der Begründung, dass schriftliche Prüfungsfragen die Informationen meist bereits ausgewählt präsentieren, was es unmöglich macht, die Fertigkeit des Findens zu testen. Sie beschneideten auch die Fertigkeit der „Schwerebeurteilung“, indem sie die Komponente der Notfallrelevanz entfernten, da diese in einem schriftlichen Test zu schwer konsistent zu beurteilen sei. Nach dieser Expertenprüfung wurde die Liste auf sieben klare, distinkte Fertigkeiten verfeinert: Unterscheidung signifikanter Patienteninformationen, Interpretation von Laborbefunden, Analyse der Krankheitsursachen, Beurteilung der Notwendigkeit zusätzlicher Tests, diagnostische Argumentation, Beurteilung der Schwere und Treffen von Behandlungsentscheidungen.

Mit den sieben definierten Fertigkeiten wandten die Forscher das kognitive Diagnosemodell auf die Antworten der Studenten an. Dieses Modell arbeitet wie ein Logikgatter: Es geht davon aus, dass ein Student, um eine Frage richtig zu beantworten, jede einzelne Fertigkeit beherrschen muss, die die Frage erfordert. Wenn ein Student auch nur eine erforderliche Fertigkeit nicht beherrscht, sagt das Modell voraus, dass er die Frage wahrscheinlich falsch beantwortet, es sei denn, er hat geraten. Das Modell berechnete die Wahrscheinlichkeit, mit der jeder Student jede der sieben Fertigkeiten beherrschte. Die Ergebnisse zeigten, dass das Modell die Daten sehr gut abbildete und die Muster korrekter und falscher Antworten über die tausenden Studenten hinweg präzise widerspiegelte.

Der wahre Test dieses neuen Rahmens kam, als die Forscher die beiden Studentengruppen verglichen. Da die klinische Argumentation erwartet wird, sich mit zunehmender klinischer Erfahrung im Krankenhaus zu verbessern, sagten die Forscher voraus, dass die Studenten im vierten Jahr eine höhere Beherrschung aller sieben Fertigkeiten zeigen würden als die Studenten im dritten Jahr. Die Daten bestätigten diese Vorhersage mit bemerkenswerter Klarheit. Für jede einzelne der sieben Fertigkeiten zeigten die Studenten im vierten Jahr eine signifikant höhere Beherrschung. Der Unterschied war nicht nur ein kleiner statistischer Ausreißer; es war eine große, konsistente Lücke. Die Studenten im vierten Jahr zeigten Beherrschungsraten zwischen etwa 83 % und 91 % über die Fertigkeiten hinweg, während die Studenten im dritten Jahr zwischen 50 % und 65 % lagen. Diese Lücke war so konsistent und groß, dass sie als kraftvoller Beweis dafür diente, dass die sieben Fertigkeiten real sind und das Modell sie korrekt identifiziert.

Die Studie untersuchte auch die Gesamtergebnisse der Prüfung, um zu sehen, wie sich die neue Methode im Vergleich zur alten Testmethode verhält. Die Studenten im vierten Jahr erzielten auf der Gesamtexamen deutlich höhere Punktzahlen als die Studenten im dritten Jahr, was zu erwarten war. Die neue Methode tat jedoch etwas, das die Gesamtzahl nicht leisten konnte: Sie brach diesen großen Unterschied in sieben spezifische Teile auf. Sie zeigte, dass die Lücke in den Argumentationsfähigkeiten genauso groß war wie die Lücke in den Gesamtergebnissen, was bewies, dass das Modell nicht bloß Rauschen in die Daten einbrachte, sondern tatsächlich denselben Entwicklungsprozess auf eine viel detailliertere Weise erfasste.

Diese Forschung unterstreicht einen Wandel in der Art und Weise, wie die medizinische Ausbildung bewertet werden kann. Jahrelang lag der Fokus darauf, ob ein Student einen Test besteht oder durchfällt. Diese Studie legt nahe, dass wir nun in den Test hineinsehen können, um genau zu sehen, welche Teile des Denkens eines Studenten funktionieren und welche nicht. Die sieben in dieser Studie identifizierten Fertigkeiten bieten einen klaren Bauplan dafür, was Medizinstudenten lernen müssen. Obwohl die Studie Einschränkungen hatte, wie etwa die Abhängigkeit von Fragen, die ursprünglich nicht für diese spezifische Art der Analyse konzipiert wurden, waren die Ergebnisse robust genug, um zu zeigen, dass dieser Ansatz lebensfähig ist. Die Ergebnisse legen nahe, dass medizinische Prüfungen in Zukunft einen detaillierten „Zeugnisbericht“ ihrer Argumentationsfähigkeiten bereitstellen könnten, der ihnen und ihren Lehrern hilft, gezielt Bereiche für Verbesserungen anzugehen, anstatt nur eine einzige Zahl zu liefern. Diese Detailtiefe könnte letztendlich dazu beitragen, sicherzustellen, dass Ärzte nicht nur Fakten auswendig lernen, sondern das komplexe Denken wirklich meistern, das für die sichere Versorgung von Patienten erforderlich ist.