A Large Language Model Based Teaching Pathway Is Feasible for Developing Clinical Pharmacy Practice Competencies
Deze studie toont aan dat een op een LLM gebaseerd traject voor het onderwijzen van virtuele gestandaardiseerde patiënten, gebruikmakend van gestructureerde prompt-frameworks, een haalbare, goedkope en zeer geaccepteerde formatieve trainingsmethode is voor het ontwikkelen van klinische farmaceutische communicatiecompetenties, ondanks het vertonen van een systematische onderschatting van scores die het gebruik ervan voor hoogwaardige beoordelingen beperkt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te leren hoe je een meesterkok wordt. Je kunt elk kookboek in de bibliotheek lezen en elk recept uit je hoofd leren, maar totdat je daadwerkelijk in een keuken staat en kookt voor een echt, hongerig persoon, heb je het vak nog niet echt geleerd. In de wereld van de geneeskunde, specificieel voor apothekers die patiënten helpen bij het beheren van hun medicatie, is deze "keuken" de ziekenhuisafdeling. Ze moeten oefenen met het praten met patiënten, het stellen van de juiste vragen en het geven van advies. Maar hier is het probleem: echte patiënten zijn druk, soms ziek, en het is niet altijd veilig of eerlijk om hen als oefenpop te gebruiken voor beginners.
Lange tijd gebruikten docenten "Gestandaardiseerde Patiënten"—acteurs die getraind zijn om ziek te doen alsof. Het is alsof je een professionele acteur een klant laat spelen in een kookles. Het werkt, maar het is duur, lastig in te plannen, en de acteurs kunnen moe worden of hun tekst vergeten. Daarna probeerden computers te helpen met "Virtuele Patiënten", maar die waren als videogamekarakters met een script; als je ze iets vroeg wat ze niet verwachtten, bevroren ze of gaven ze een robotachtig antwoord. Nu hebben we iets nieuws: Large Language Models (LLM's). Denk aan deze als superintelligente, digitale breinen die bijna alles hebben gelezen wat ooit geschreven is. Ze kunnen natuurlijk chatten, context begrijpen en iedereen nadoen. De grote vraag is: Kunnen we deze digitale breinen gebruiken om een veilige, eindeloze en gratis "oefenkeuken" te creëren voor toekomstige apothekers om hun ambacht te leren zonder echte mensen te kwetsen?
Dit artikel is het verhaal van een team onderzoekers die besloten precies dat te bouwen. Ze creëerden een onderwijssysteem waarbij een slimme AI optreedt als een virtuele patiënt, specifiek voor oncologische (kanker)apothekers. Ze lieten de AI niet zomaar willekeurig chatten; ze bouwden een speciaal "regelboek" (een prompt framework) om ervoor te zorgen dat de AI in zijn rol als patiënt bleef en niet per ongeluk begon te handelen als een leraar of een arts. Ze bouwden ook een tweede regelboek waarmee de AI de prestaties van de student direct kan beoordelen.
Om te testen of dit idee daadwerkelijk werkt, nodigden ze 21 trainees uit—sommigen junior apothekers en anderen promovendi—om 30 oefengesprekken te voeren met hun nieuwe AI-patiënt. De studenten moesten een gesimuleerde ziekenhuisronde doorlopen, waarbij ze de anamnese van een patiënt afnamen en advies gaven, precies zoals ze dat in het echte leven zouden doen. Vervolgens vergeleken de onderzoekers de beoordeling van de AI met de beoordeling van echte menselijke experts om te zien of de computer eerlijk was.
De resultaten waren verrassend goed, maar met een paar grappige foutjes. De experts zeiden dat de AI ongelooflijk menselijk klonk, wat een hoge score van 4,44 uit 5 opleverde voor het klinken als een echte patiënt. De studenten vonden het ook geweldig; ze voelden zich veel minder nerveus bij het praten met een robot dan met een echt persoon, en gaven een score van 4,52 uit 5 voor hun comfortniveau. Het was alsof je een spannende toespraak oefent voor een spiegel in plaats van voor een publiek.
De AI was echter niet perfect in het beoordelen. Hoewel de AI erg goed was in het rangschikken van wie beter presteerde dan wie (met een sterke correlatie van 0,934 met de menselijke scores), was het een beetje een strenge leraar. Gemiddeld gaf de AI scores die 2,38 punten lager waren dan die van de menselijke experts. De onderzoekers ontdekten dat de AI soms te letterlijk was; als een student een specifieke vraag niet stelde, maar de patiënt het antwoord toevallig zelf aanbood, zag de AI dit als een fout, terwijl een menselijke expert zou zeggen: "Geweldig, je hebt de informatie gekregen!" De AI raakte ook soms een beetje in de war en beantwoordde vragen die de student nog niet had gesteld, of het liep een beetje vertraging op als er te veel mensen tegelijkertijd gebruikten.
Dus, wat is het oordeel? Het artikel suggereert dat dit AI-onderwijstraject een fantastische, goedkope tool is voor oefening en het opbouwen van zelfvertrouwen. Het is als een vluchtsimulator voor apothekers: het is nog niet klaar om het echte vliegtuig (of de echte deskundige beoordelaar) te vervangen voor eindexamens, maar het is perfect om de besturing te leren kennen, fouten te maken en beter te worden zonder neer te storten. Het team heeft laten zien dat door gebruik te maken van open-source technologie en slimme regelboeken, zij een systeem hebben gecreëerd dat andere scholen kunnen kopiëren om meer studenten te helpen leren hoe ze met patiënten moeten praten, wat medische training toegankelijker en minder stressvol maakt voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.