Design and Feasibility of a Large Language Model-Based Teaching Pathway for Clinical Pharmacy Practice Competencies

In de wereld van de gezondheidszorg is leren praten met patiënten net zo cruciaal als weten welk medicijn je moet voorschrijven. Voor beginnende klinisch apothekers wordt het pad naar het beheersen van deze gesprekken vaak geblokkeerd door een simpele realiteit: er zijn niet genoeg echte patiënten beschikbaar om te oefenen, en de experts die hen zouden kunnen begeleiden zijn te druk om elke interactie te observeren. Traditioneel hebben scholen gebruikgemaakt van "gestandaardiseerde patiënten"—acteurs die getraind zijn om te doen alsof ze ziek zijn met specifieke symptomen—om veilige oefenomgevingen te creëren. Hoewel effectief, zijn deze acteurs duur om in te huren, moeilijk te plannen en kunnen ze een script slechts een beperkt aantal keren herhalen voordat ze moe of inconsistent worden.

Om dit op te lossen, zijn onderzoekers begonnen zich te richten op kunstmatige intelligentie, specifiek een type computerprogramma dat een groot taalmodel wordt genoemd. Deze modellen zijn getraind op enorme hoeveelheden tekst en kunnen menselijke reacties genereren, wat hen potentiële kandidaten maakt voor het creëren van virtuele patiënten die nooit moe worden. Echter, vroege pogingen om deze technologie in de geneeskunde te gebruiken, resulteerden vaak in rigide, robotachtige gesprekken die onnatuurlijk aanvoelden of geen nuttige feedback boden. De uitdaging was om deze computerprogramma's niet alleen te leren praten, maar ook om te handelen als een echt persoon met een medische geschiedenis, terwijl ze ook leerden hoe ze de prestaties van een student eerlijk konden beoordelen.

Een team van onderzoekers van het Affiliated Cancer Hospital van de Nanjing Medical University zette zich scharen om een nieuwe manier te bouwen en te testen om apothekers met deze technologie te trainen. Ze wilden zien of ze een virtueel onderwijssysteem konden creëren dat echt genoeg aanvoelde om nuttig te zijn, maar slim genoeg was om nauwkeurige feedback te geven zonder dat er een menselijke docent aanwezig hoefde te zijn. Ze richtten zich op oncologie, oftewel kankerzorg, een vakgebied waar medicatiebeheer complex is en fouten gevaarlijk kunnen zijn. Het team creëerde drie specifieke scenario's met betrekking tot patiënten met verschillende soorten kanker en chemotherapie-regimes. Vervolgens nodigden ze eenentwintig trainees uit, waaronder junior apothekers en promovendi, om hun vaardigheden te oefenen door een gesprek te voeren met een virtuele patiënt die werd aangedreven door een open-source kunstmatige intelligentie-model.

De onderzoekers ontwierpen het systeem met twee hoofddoelen: eerst, om de virtuele patiënt te laten klinken en handelen als een echt persoon, en ten tweede, om de computer automatisch de prestaties van de trainee te laten scoren. Om het eerste doel te bereiken, gebruikten ze een gestructureerde set instructies, bekend als een 'prompt', die de computer precies vertelde hoe hij zich moest gedragen. De computer kreeg de instructie om in zijn rol als patiënt te blijven, vragen natuurlijk te beantwoorden en medische details te delen alleen wanneer daarom werd gevraagd of wanneer het voor een echt persoon natuurlijk zou zijn om ze vrijwillig te delen. Om het tweede doel te bereiken, gaven ze de computer een aparte set instructies om als examinator op te treden, waarbij de tekst van het gesprek werd beoordeeld om te zien of de trainee de juiste vragen stelde en de noodzakelijke informatie verzamelde.

Toen de studie begon, waren de resultaten veelbelovend. De virtuele patiënten waren opmerkelijk overtuigend. Experts die de gesprekken beoordeelden, gaven de capaciteit van de computer om als een echt mens te klinken zeer hoog een cijfer, waarbij zij opmerkten dat de spraak natuurlijk aanvoelde en vrij was van robotachtige stijfheid. De trainees waren het ermee eens en rapporteerden dat zij zich comfortabeler en minder gespannen voelden tijdens de interacties dan ze dat bij een menselijke acteur zouden doen. Ze waardeerden dat de virtuele patiënt een veilige ruimte bood om te oefenen zonder de angst voor oordeel, waardoor ze zich volledig op het gesprek konden concentreren. Het systeem slaagde erin de flow van een echte ziekenhuisvisite te simuleren, van het nemen van een medische geschiedenis tot het adviseren van de patiënt en het beantwoorden van hun vragen.

De computer bleek ook in staat te zijn de trainees te beoordelen. Wanneer de onderzoekers de scores gegeven door de kunstmatige intelligentie vergeleken met de scores gegeven door een panel van menselijke experts, vonden zij een zeer sterke overeenstemming. De computer en de mensen rangschikten de trainees over het algemeen in dezelfde volgorde, waarbij ze identificeerden wie goed presteerde en wie meer oefening nodig had. De studie onthulde echter ook een specifieke fout in de beoordelingslogica van de computer. De kunstmatige intelligentie had de neiging om lagere scores te geven dan de menselijke experts, een verschil van ongeveer tweeënhalf punt op een standaard schaal.

De reden voor deze kloof ligt in de manier waarop de computer de regels interpreteert. In een echt gesprek kan een patiënt belangrijke informatie vrijwillig delen, zoals het noemen van een bijwerking die zij ervaren, zelfs als de apotheker er nog niet naar heeft gevraagd. Menselijke experts begrijpen dit als een succesvolle interactie omdat de apotheker nu over de informatie beschikt. De computer was echter geprogrammeerd om strikt te zoeken naar een specifieke vraag gevolgd door een antwoord. Als de patiënt de informatie gaf zonder dat erom gevraagd werd, trok de computer soms punten af, denkend dat de apotheker de juiste vraag niet had gesteld. Dit suggereert dat hoewel de computer uitstekend is in het strikt volgen van regels, hij nog steeds worstelt met de subtiele, flexibele aard van menselijke gesprekken waar context belangrijker is dan een checklist.

Ondanks deze beperking in de scoring, concludeerde de studie dat deze aanpak een krachtig hulpmiddel is voor training. Het systeem is nog niet klaar om menselijke docenten te vervangen voor examens met hoge inzet waarbij een enkele score een carrière bepaalt, vanwege de consistente onderschatting. Maar voor dagelijkse praktijk, zelfevaluatie en het opbouwen van vertrouwen, biedt het een oplossing die goedkoop, altijd beschikbaar en zeer effectief is. De onderzoekers toonden aan dat door het gebruik van duidelijke instructies om de kunstmatige intelligentie te sturen, zij een trainingspad konden creëren dat zowel realistisch als schaalbaar is. Dit betekent dat ziekenhuizen en scholen met beperkte budgetten potentieel deze methode kunnen adopteren om hun trainees de oefening te geven die ze nodig hebben, waarmee de kloof tussen klassikale leerprocessen en de zorg in de echte wereld wordt overbrugd. Het werk suggereert dat de toekomst van medische training misschien niet afhangt van het inhuren van meer acteurs, maar van het leren van computers om te luisteren en te reageren met de nuance van een echt mens.