Applying a Cognitive Diagnostic Model to Assess Clinical Reasoning: Q- Matrix Development and Known-Groups Validity Evidence from a Nationwide Medical Examination

In de hooggestoken wereld van medische training is het vermogen om te denken als een arts even cruciaal als het kennen van feiten. Deze vaardigheid, bekend als klinisch redeneren, houdt in dat men een verzameling patiëntgegevens — symptomen, geschiedenis, laboratoriumresultaten — samenweeft tot een duidelijke diagnose en behandelplan. Decennialang hebben medische faculteiten vertrouwd op meerkeuzeexamens om deze vaardigheid te testen. Echter, deze tests bieden meestal slechts één score, een getal dat een student vertelt hoeveel vragen hij goed had, maar niets onthult over hoe hij dacht. Het is also_k weten dat een hardloper een race in tien minuten heeft voltooid zonder te weten of hij de eerste helft heeft gesprint en de tweede helft heeft gejogd, of dat hij bij elke bocht struikelde. Om het medisch onderwijs werkelijk te verbeteren, moeten docenten de specifieke mentale stappen kunnen zien die een student zet, waarbij ze precies identificeren welke delen van hun redenering sterk zijn en welke verbetering behoeven.

Een onderzoeker aan de Gachon University College of Medicine zette zich in om dit probleem op te lossen door een geavanceerde methode genaamd een cognitief diagnostisch model toe te passen op een massaal nationaal medisch examen in Zuid-Korea. In plaats van alleen het aantal juiste antwoorden te tellen, streefde de studie ernaar om de specifieke mentale vaardigheden in kaart te brengen die nodig zijn om elk vraagstuk correct te beantwoorden. Het team analyseerde de reacties van bijna 5.600 medische studenten uit hun derde en vierde leerjaar. Ze begonnen met het opstellen van een lijst van negen verschillende denkvaardigheden die experts essentieel achtten voor klinisch redeneren, zoals het interpreteren van laboratoriumresultaten of het beslissen over een behandeling. Door een zorgvuldig proces van het beoordelen van de examenvragen en het consulteren van een panel van ervaren medische docenten, verfijnden ze deze lijst tot zeven onderscheidende vaardigheden. Vervolgens gebruikten ze een statistisch model om te zien of deze zeven vaardigheden de prestaties van de studenten accuraat konden verklaren. De resultaten waren opmerkelijk: het model slaagde erin de capaciteiten van de studenten te scheiden, waarbij het aantoonde dat vierdejaarsstudenten, die meer klinische ervaring hadden, deze redeneervaardigheden consequent op veel hogere percentages beheersten dan derdejaarsstudenten. Deze bevinding leverde sterk bewijs dat het nieuwe kader werkt en biedt een manier om verder te gaan dan eenvoudige testscores naar een gedetailleerde, vaardigheid-voor-vaardigheid diagnose van het denken van een student.

De reis naar deze conclusie begon met een enorme dataset: het tweede Clinical Comprehensive Examination van 2019, een landelijk schriftelijk examen dat werd afgenomen bij medische studenten in heel Zuid-Korea. De onderzoekers richtten zich specifiek op de sectie interne geneeskunde, die 144 meerkeuzevragen bevatte. Ze verzamelden de antwoorden van 5.586 studenten, bestaande uit 2.603 derdejaarsstudenten en 2.983 vierdejaarsstudenten. Omdat de gegevens volledig anoniem waren, konden de onderzoekers niet naar de individuele achtergrond van de studenten kijken, maar de enorme omvang van de groep maakte het mogelijk om duidelijke patronen te zien in hoe redeneervaardigheden zich in de loop van de tijd ontwikkelen.

De eerste grote taak was het bouwen van een kaart, in dit vakgebied bekend als een Q-matrix, die elke examenvraag verbindt met de specifieke denkvaardigheden die nodig zijn om deze op te lossen. De onderzoekers begonnen met een lijst van negen potentiële vaardigheden afgeleid van een review van de bestaande literatuur. Deze omvatten zaken als het interpreteren van de patiëntgeschiedenis, het analyseren van lichamelijk onderzoek, het screenen op belangrijke informatie en het beoordelen van de ernst van een aandoening. Ze brachten deze negen vaardigheden in kaart tegen de 144 vragen om een conceptkaart te creëren. Om te controleren of deze kaart zin gaf, keken ze hoe vaak verschillende vaardigheden samen voorkwamen in dezelfde vragen en voerden ze statistische tests uit om te zien of de vaardigheden van elkaar onderscheidbaar waren. De initiële gegevens toonden aan dat de vaardigheden voldoende verschillend waren, maar de statistische tests boden op zichzelf geen sterk bewijs.

Erkennend dat cijfers alleen het hele verhaal niet konden vertellen, brachten de onderzoekers een panel van vier docenten van medische faculteiten in. Deze experts, met decennia aan ervaring in medisch onderwijs en examenontwikkeling, beoordeelden de conceptkaart en de statistische gegevens. Zij besloten dat sommige vaardigheden te veel op elkaar leken om apart te houden. Zo voegden ze bijvoorbeeld de vaardigheden van het interpreteren van de patiëntgeschiedenis en het lichamelijk onderzoek samen, omdat artsen deze in de praktijk vaak samen gebruiken om belangrijke aanwijzingen te ontdekken. Ze verwijderden ook de vaardigheid van het screenen op belangrijke informatie, met de reden dat schriftelijke examenvragen meestal de informatie al selecteerd presenteren, waardoor het onmogelijk is om de vaardigheid van het vinden ervan te testen. Ze schaafden ook de vaardigheid "beoordeling van ernst" door het component van het noodniveau te verwijderen, omdat dit te moeilijk consistent te beoordelen was in een schriftelijke test. Na deze deskundige beoordeling werd de lijst verfijnd tot zeven duidelijke, onderscheidende vaardigheden: het onderscheiden van belangrijke patiëntinformatie, het interpreteren van laboratoriumbevindingen, het analyseren van de oorzaken van ziekte, het beoordelen van de noodzaak van aanvullende tests, diagnostisch redeneren, het beoordelen van de ernst en het nemen van behandelbeslissingen.

Met de zeven gedefinieerde vaardigheden pasten de onderzoekers het cognitieve diagnostische model toe op de antwoorden van de studenten. Dit model werkt als een logische poort: het gaat ervan uit dat een student een vraag correct moet beantwoorden door elke enkele vaardigheid te beheersen die de vraag vereist. Als een student zelfs maar één vereiste vaardigheid mist, voorspelt het model dat de student de vraag waarschijnlijk fout zal beantwoorden, tenzij hij correct heeft geraden. Het model berekende de waarschijnlijkheid dat elke student elke van de zeven vaandigheden had beheerst. De resultaten toonden aan dat het model zeer goed bij de gegevens paste en de patronen van correcte en incorrecte antwoorden over de duizenden studenten accuraat reflecteerde.

De echte test van dit nieuwe kader kwam toen de onderzoekers de twee groepen studenten met elkaar vergeleken. Aangezien klinisch redeneren naar verwachting verbetert naarmate studenten meer ervaring opdoen in het ziekenhuis, voorspelden de onderzoekers dat de vierdejaarsstudenten een hogere beheersing van alle zeven vaardigheden zouden laten zien dan de derdejaarsstudenten. De gegevens bevestigden deze voorspelling met opmerkelijke helderheid. Voor elke van de zeven vaardigheden toonden de vierdejaarsstudenten een significant hogere beheersing. Het verschil was niet slechts een kleine statistische afwijking; het was een grote, consistente kloof. De vierdejaarsstudenten toonden beheersingspercentages tussen de circa 83% en 91% over de vaardigheden, terwijl de derdejaarsstudenten tussen de 50% en 65% schommelden. Deze kloof was zo consistent en groot dat het diende als krachtig bewijs dat de zeven vaardigheden echt waren en dat het model ze correct identificeerde.

De studie keek ook naar de totale examenscores om te zien hoe de nieuwe methode zich verhield tot de oude manier van testen. De vierdejaarsstudenten scoorden veel hoger op het totale examen dan de derdejaarsstudenten, wat te verwachten was. De nieuwe methode deed echter iets wat de totale score niet kon: het brak dat grote verschil af in zeven specifieke delen. Het toonde aan dat de kloof in redeneervaardigheden net zo groot was als de kloof in de totale scores, wat bewees dat het model niet simpelweg ruis aan de gegevens toevoegde, maar daadwerkelijk dezelfde ontwikkelingsprogressie op een veel gedetailleerdere manier vastlegde.

Dit onderzoek benadrukt een verschuiving in hoe medisch onderwijs kan worden beoordeeld. Jarenlang lag de focus op de vraag of een student een test haalde of niet. Deze studie suggereert dat we nu in de test kunnen kijken om precies te zien welke delen van het denken van een student werken en welke niet. De zeven vaardigheden die in deze studie zijn geïdentificeerd, bieden een duidelijk blauwdruk voor wat medische studenten moeten leren. Hoewel de studie beperkingen had, zoals het vertrouwen op vragen die niet oorspronkelijk voor dit specifieke type analyse waren ontworpen, waren de resultaten robuust genoeg om aan te tonen dat deze aanpak levensvatbaar is. De bevindingen suggereren dat medische examens in de toekomst een gedetailleerd rapport kunnen geven van de redeneervaardigheden van een student, waardoor zij en hun docenten specifieke gebieden voor verbetering kunnen aanpakken in plaats van alleen een enkel getal te geven. Dit niveau van detail zou er uiteindelijk voor kunnen zorgen dat artsen niet alleen feiten memoriseren, maar werkelijk het complexe denken beheersen dat nodig is om patiënten veilig te verzorgen.