Evaluating the Effectiveness of an Information System-Assisted Competency Assessment for Residents: A Single-Center Study in China
Deze eenmalige studie in China toont aan dat een door een informatiesysteem ondersteerde competentiebeoordeling haalbaar is voor grootschalige opleiding tot arts-assistent, maar onthult aanzienlijke mildheid bij de faculteit en inflatie bij de zelfbeoordeling door arts-assistenten, wat het kritieke belang van kalibratie van beoordelaars onderstreept om de nauwkeurigheid van de beoordeling te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de medische training is het doel al lang om ervoor te zorgen dat elke arts die een specialisatieprogramma doorloopt niet alleen deskundig is, maar ook werkelijk competent. Decennialang vertrouwde deze training zwaar op hoeveel tijd een student in een ziekenhuis doorbracht en of ze schriftelijke examens haalden. De moderne benadering, bekend als competentiegericht medisch onderwijs, verschuift de focus echter naar wat een arts daadwerkelijk kan. Het breekt de complexe taak van het zijn van een arts af in specifieke vaardigheden, zoals het beheren van de zorg voor een patiënt, het communiceren met een familie of het onderwijzen van een junior collega. De uitdaging voor ziekenhuizen is hoe zij deze vaardigheden eerlijk en nauwkeurig kunnen meten bij honderden trainees. Als de mensen die de artsen in opleiding beoordelen te makkelijk zijn, of als de artsen in opleiding denken dat ze beter zijn dan ze zijn, faalt het systeem in het identificeren van wie meer hulp nodig heeft. Zonder een duidelijk beeld van de werkelijke vermogens van een arts in opleiding, kan een ziekenhuis niet garanderen dat zijn artsen klaar zijn om patiënten veilig te behandelen.
Om dit op te lossen, wendden onderzoekers van het West China Hospital in Sichuan, China, zich tot technologie om bijna 1.800 artsen in opleiding uit 24 verschillende medische specialismen te evalueren. Ze bouwden een digitaal systeem om gegevens te verzamelen over hoe deze trainees presteerden gedurende meerdere maanden. In plaats van te vertrouwen op één enkele mening, verzamelde het systeem drie verschillende soorten feedback voor elke arts in opleiding: een score van hun directe docent-mentor, een score van een speciale commissie van experts, de Clinical Competency Committee genoemd, en een score van de artsen in opleiding zelf. De onderzoekers wilden zien of deze digitale aanpak op zo'n grote schaal kon werken en, nog belangrijker, of de verschillende groepen beoordelaars met elkaar overeenstemden. Ze zochten naar de waarheid achter de cijfers: stegen de scores naarmate de artsen in opleiding meer ervaring opdeden, en zagen de mensen die hen beoordeelden dezelfde realiteit?
De resultaten toonden aan dat het digitale systeem goed werkte en erin slaagde een enorme hoeveelheid gegevens te organiseren die met papieren formulieren onmogelijk te beheren zou zijn geweest. Wanneer de onderzoekers naar de scores keken die de expertcommissie gaf, kwam er een duidelijk patroon naar voren. Naarmate de artsen in opleiding bewogen van hun eerste jaar naar hun derde jaar, verbeterden hun scores aanzienlijk op elk gebied van competentie. Dit bevestigde dat de training werkte en dat de artsen in opleiding inderdaad gaandeweg vaardiger werden. Echter, één specifieke vaardigheid viel op als consequent zwak. Over alle drie de jaren van de training heen ontvingen de artsen in opleiding de laagste cijfers voor hun onderwijstalenten. Zelfs de meest ervaren trainees hadden moeite met dit gebied, wat suggereert dat hoewel ze uitstekende artsen werden, ze niet werden onderwezen in hoe ze anderen moeten onderwijzen.
De studie onthulde ook een aanzienlijk verschil tussen wie de beoordeling uitvoerde en hoe zij beoordeelden. De docent-mentoren, die dagelijks nauw met de artsen in opleiding samenwerken, gaven scores die over het algemeen in dezelfde orde van grootte lagen als die van de expertcommissie, maar zij waren consequent te mild. In vijf van de zes vaardigheidsgebieden beoordeelden de mentoren de artsen in opleiding hoger dan de commissie deed. Deze "welwillendheid" betekende dat de mentoren niet dezelfde zwakheden zagen die de commissie wel zag. De kloof was nog groter wanneer het kwam tot de eigen visies van de artsen in opleiding op hun eigen prestaties. Wanneer de artsen in opleiding zichzelf beoordeelden, gaven zij zichzelf scores die dramatisch hoger waren dan de beoordelingen van de expertcommissie. Gemiddeld gaf een arts in opleiding zichzelf ongeveer vier punten hoger dan de commissie deed. Dit suggere咗 dat de artsen in opleiding niet alleen licht overmoedig waren, maar grotendeels onbewust van de kloof tussen hun zelfperceptie en hun werkelijke prestaties.
De onderzoekers kwamen tot de conclusie dat het digitale systeem een krachtig instrument was om deze verborgen patronen bloot te leggen. Het stelde hen in staat te zien dat terwijl het trainingsprogramma succesvol was in het opbouwen van klinische vaardigheden, het faalde in het ontwikkelen van onderwijstalenten. Het benadrukte ook een ernstige behoefte aan betere training voor de mensen die de beoordelingen uitvoeren. De docent-mentoren moesten leren hoe ze objectiever konden zijn, en de artsen in opleiding hadden hulp nodig bij het leren hoe ze hun eigen werk nauwkeurig konden beoordelen. De studie beweerde niet deze problemen te hebben opgelost, maar bewees dat een computersysteem de heldere, eerlijke gegevens kon leveren die nodig zijn om ze op te lossen. Door over te stappen van gefragmenteerde papieren dossiers naar een verenigd digitaal platform, creëerde het ziekenhuis een manier om vooruitgang te meten die zowel grootschalig als gedetailleerd was. Deze aanpak biedt een weg vooruit voor medisch onderwijs, waarbij gegevens kunnen worden gebruikt om te waarborgen dat elke arts in opleiding werkelijk klaar is om voor patiënten te zorgen, in plaats van alleen de vereiste tijd te hebben voltooid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.