Automating QuAL Scoring of Entrustable Professional Activity Narrative Feedback Across Residency Programs: A Locally Deployed Natural Language Processing Model
Deze studie toont aan dat een lokaal ingezet DeBERTa-v3 natuurlijke taalverwerkingsmodel accuraat en schaalbaar de Quality of Assessment for Learning (QuAL) scoring van narratieve feedback over Entrustable Professional Activities kan automatiseren voor meerdere opleidingsprogramma's, waarbij een aanzienlijke overeenstemming met menselijke beoordelaars wordt bereikt terwijl de gegevensprivacy behouden blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische training gaat leren niet langer alleen over het onthouden van feiten; het gaat erom te bewijzen dat je het werk kunt doen. Moderne programma's vertrouwen op een systeem waarbij artsen-in-opleiding constant worden geobserveerd terwijl ze echte taken uitvoeren, van het beheren van de zorg voor een patiënt tot het afhandelen van een crisis. Deze observaties worden niet alleen geregistreerd met een cijfer, maar ook met geschreven commentaren. Deze aantekeningen zijn de levensader van het proces. Ze vertellen de cursist wat hij goed deed, wat hij moet verbeteren en hoe zijn acties verbonden zijn met de standaarden van het beroep. Zonder deze specifieke, hoogwaardige aantekeningen krijgt een cursist misschien wel een score, maar blijft hij onzeker over hoe hij kan verbeteren. Het probleem is dat het schrijven van deze aantekeningen hard werk is, en de kwaliteit van wat er wordt opgeschreven varieert enorm. Sommige aantekeningen zijn rijk aan detail en voorzien van duidelijk advies; andere zijn vaag of missen de kern volledig. Om dit op te lossen, hebben onderwijzers een manier ontwikkeld om de kwaliteit van deze commentaren te meten, waarbij ze zoeken naar drie specifieke zaken: bewijs van wat er is gebeurd, een duidelijke suggestie voor verbetering en een link naar een leerdoel. Maar het controleren van elke enkele aantekening met de hand is traag en uitputtend, waardoor het moeilijk is om te garanderen dat elke cursist de feedback krijgt die hij verdient.
Een team van onderzoekers aan de Universiteit van Alberta zette zich in om te zien of een computer zou kunnen helpen bij dit zware werk. Ze wilden weten of een gespecialiseerd computerprogramma, dat menselijke taal begrijpt, deze duizenden geschreven aantekeningen kon lezen en beoordelen zoals een menselijke expert dat zou doen. Het doel was niet om de leraren te vervangen, maar om een hulpmiddel te bouwen dat de hoeveelheid werk aan kon, terwijl de gegevens veilig binnen de muren van het ziekenhuis en de universiteit bleven. Ze richtten zich op een specifiek type medische training genaamd Entrustable Professional Activities, waarbij artsen-in-opleiding worden beoordeeld op hun vermogen om specifieke taken uit te voeren. De onderzoekers verzamelden meer dan 5.000 geschreven commentaren van 24 verschillende opleidingsprogramma's van een enkele Canadese instelling. Deze commentaren kwamen uit een jaar aan training tussen 2019 en 2020. Voordat de computer de gegevens te zien kreeg, waren de aantekeningen al zorgvuldig gelezen en gescoord door menselijke experts met behulp van een standaardchecklist. Deze menselijke scoring diende als de gouden standaard, het juiste antwoord waartegen de prestaties van de computer zouden worden gemeten.
De onderzoekers bouwden een computermodel dat zij volledig op hun eigen lokale servers draaiden, wat ervoor zorgde dat er nooit gevoelige informatie over patiënten of cursisten de beveiligde omgeving verliet. Ze leerden dit model om naar de drie kernelementen in de aantekeningen te zoeken: bewijs, suggesties en verbindingen. Voor het onderdeel bewijs moest het model beslissen hoe goed de schrijver beschreef wat er daadwerkelijk gebeurde, variërend van geen beschrijving op de grond tot een zeer gedetailleerde uiteenzetting. Voor de andere twee onderdelen hoefde het model simpelweg te beslissen of een suggestie voor verbetering aanwezig was en of de aantekening de observatie verbond met een breder leerdoel. Om te zorgen dat de test eerlijk en realistisch was, verdeelden ze de gegevens zodat aantekeningen over dezelfde cursist nooit zowel in de trainingsgroep als in de testgroep voorkwamen. Dit voorkwam dat de computer simpelweg de specifieke schrijfstijl van een bepaalde cursist uit het hoofd leerde en deed alsof hij de regels begreep.
Toen de onderzoekers het model loslieten op de ongeziene testgegevens, waren de resultaten bemoedigend. De computer werd erg goed in het opsporen van de vraag of een aantekening een duidelijke suggestie voor verbetering bevatte, waarbij het meestal het goed had. Het deed ook een sterk werk bij het identificeren van de sectie met bewijs, waarbij het in het overgrote deel van de gevallen de kwaliteit van de beschrijving correct beoordeelde. Het model was minder perfect in het vinden van de verbinding tussen de observatie en het leerdoel, maar presteerde nog steeds goed genoeg om nuttig te zijn. Wanneer de onderzoekers naar de totale score keken die het model aan elke aantekening gaf vergeleken met de menselijke score, ontdekten ze dat in meer dan 86 procent van de gevallen de score van de computer binnen slechts één punt van de score van de menselijke expert lag. De fouten die het maakte, waren meestal klein, zoals een score van twee in plaats van drie geven, in plaats van grote fouten die de kwaliteit van de feedback volledig zouden vertekenen.
De studie suggereert dat dit soort lokaal draaiende computerhulpmiddelen een praktische partner kan worden voor medische onderwijzers. Het biedt een manier om de kwaliteit van de feedback over veel programma's heen te monitoren zonder de enorme kosten van het inhuren van mensen om elke enkele aantekening te lezen. Omdat het model op lokale computers draait, respecteert het de privacy van de cursisten en de instelling, waardoor de risico's worden vermeden van het versturen van gevoelige gegevens naar externe bedrijven. De onderzoekers merken er voorzichtig bij op dat dit een startpunt is, en geen afgeronde oplossing. Het model moet nog steeds getest worden in andere ziekenhuizen en in real-time situaties om te zien of het leraren en cursisten op de lange termijn helpt. Maar de bevindingen laten zien dat het mogelijk is om een systeem te boueren dat de nuance van medische feedback begrijpt, wat een schaalbare manier biedt om te garanderen dat elke cursist de duidelijke, actiegerichte begeleiding ontvangt die hij nodig heeft om een bekwame arts te worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.