Design and Feasibility of a Large Language Model-Based Teaching Pathway for Clinical Pharmacy Practice Competencies

Nel mondo dell'assistenza sanitaria, imparare a parlare con i pazienti è importante quanto sapere quale medicina prescrivere. Per i nuovi farmacisti clinici, il percorso per padroneggiare queste conversazioni è spesso bloccato da una semplice realtà: non ci sono abbastanza pazienti reali disponibili per fare pratica e gli esperti che potrebbero guidarli sono troppo impegnati per assistere a ogni interazione. Tradizionalmente, le scuole hanno utilizzato i "pazienti standardizzati" — attori addestrati per fingere di essere malati con sintomi specifici — per creare ambienti di pratica sicuri. Sebbene efficaci, questi attori sono costosi da assumere, difficili da programmare e possono ripetere uno script solo un certo numero di volte prima di stancarsi o diventare incoerenti.

Per risolvere questo problema, i ricercatori hanno iniziato a rivolgersi all'intelligenza artificiale, in particolare a un tipo di programma informatico chiamato modello linguistico di grandi dimensioni. Questi modelli sono addestrati su enormi quantità di testo e possono generare risposte simili a quelle umane, rendendoli potenziali candidati per la creazione di pazienti virtuali che non si stancano mai. Tuttavia, i primi tentativi di utilizzare questa tecnologia in medicina hanno spesso prodotto conversazioni rigide e robotiche che sembravano innaturali o non fornivano feedback utili. La sfida è stata quella di insegnare a questi programmi informatici non solo a parlare, ma ad agire come una persona reale con una storia clinica, e contempormente insegnare loro come valutare le prestazioni di uno studente in modo equo.

Un team di ricercatori dell'Ospedale Oncologico Affiliato della Università Medica di Nanjing si è messo in impegno per costruire e testare un nuovo modo per formare i farmacisti utilizzando questa tecnologia. Volevano vedere se potevano creare un sistema di insegnamento virtuale che sembrasse abbastanza reale da essere utile, ma abbastanza intelligente da fornire un feedback accurato senza la presenza di un insegnante umano. Si sono concentrati sull'oncologia, ovvero la cura del cancro, un campo in cui la gestione dei farmaci è complessa e gli errori possono essere pericolosi. Il team ha creato tre scenari specifici riguardanti pazienti con diversi tipi di cancro e regimi chemioterapici. Hanno poi invitato ventuno tirocinanti, tra cui farmacisti junior e studenti laureati, a praticare le loro abilità conversando con un paziente virtuale alimentato da un modello di intelligenza artificiale open-source.

I ricercatori hanno progettato il sistema con due obiettivi principali: primo, rendere il paziente virtuale capace di suonare e agire come una persona reale; secondo, far sì che il computer valuti automaticamente le prestazioni del tirocinante. Per raggiungere il primo obiettivo, hanno utilizzato un insieme strutturato di istruzioni, noto come "prompt", che diceva al computer esattamente come comportarsi. Al computer veniva ordinato di rimanere nel personaggio di un paziente, di rispondere alle domande in modo naturale e di condividere dettagli medici solo quando richiesto o quando lo avrebbe fatto una persona reale spontaneamente. Per raggiungere il secondo obiettivo, hanno fornito al computer un set separato di istruzioni per agire come un esaminatore, esaminando il testo della conversazione per vedere se il tirocinante avesse posto le domande giuste e raccolto le informazioni necessarie.

Quando lo studio è iniziato, i risultati sono stati promettenti. I pazienti virtuali erano straordinariamente convincenti. Gli esperti che hanno revisionato le conversazioni hanno valutato molto alta la capacità del computer di suonare come un essere umano reale, notando che il linguaggio risultava naturale e privo di rigidità robotica. Anche i tirocinanti erano d'accordo, riferendo di essersi sentiti a proprio agio e meno tesi durante le interazioni rispetto a quanto avrebbero potuto essere con un attore umano. Hanno apprezzato il fatto che il paziente virtuale fornisse uno spazio sicuro per fare pratica senza il timore del giudizio, permettendo loro di concentrarsi interamente sulla conversazione. Il sistema ha simulato con successo il flusso di un vero giro visite in reparto ospedaliero, passando dall'anamnesi alla consulenza del paziente e alla risposta alle sue domande.

Il computer si è dimostrato anche capace di valutare i tirocinanti. Quando i ricercatori hanno confrontato i punteggi assegnati dall'intelligenza artificiale con quelli assegnati da un panel di esperti umani, hanno riscontrato un accordo molto forte. Il computer e gli umani hanno generalmente classificato i tirocinanti nello stesso ordine, identificando chi aveva performato bene e chi aveva bisogno di più pratica. Tuttavia, lo studio ha anche rivelato un difetto specifico nella logica di valutazione del computer. L'intelligenza artificiale tendeva a dare punteggi più bassi rispetto agli esperti umani, con una differenza di circa due punti e mezzo su una scala standard.

La ragione di questo divario risiede nel modo in cui il computer interpreta le regole. In una conversazione reale, un paziente potrebbe fornire spontaneamente informazioni importanti, come menzionare un effetto collaterale che sta sperimentando, anche se il farmacista non l'ha ancora chiesto. Gli esperti umani comprendono questo come un'interazione riuscita perché il farmacista ora possiede l'informazione. Il computer, invece, era stato programmato per cercare rigorosamente una domanda specifica seguita da una risposta. Se il paziente forniva l'informazione senza che venisse chiesta, il computer a volte detraeva punti, pensando che il farmacista non avesse posto la domanda corretta. Ciò suggerisce che, sebbene il computer sia eccellente nel seguire regole rigide, fatichi ancora con la natura sottile e flessibile della conversazione umana, dove il contesto conta più di una lista di controllo.

Nonostante questa limitazione nella valutazione, lo studio ha concluso che questo approccio è uno strumento potente per la formazione. Il sistema non è ancora pronto per sostituire gli insegnanti umani in esami ad alta posta in gioco dove un singolo punteggio determina una carriera, a causa della costante sottostima. Ma per la pratica quotidiana, l'autovalutazione e la costruzione della fiducia, offre una soluzione a basso costo, sempre disponibile e altamente efficace. I ricercatori hanno dimostrato che, utilizzando istruzioni chiare per guidare l'intelligenza artificiale, potevano creare un percorso formativo che fosse sia realistico che scalabile. Ciò significa che ospedali e scuole con budget limitati potrebbero potenzialmente adottare questo metodo per dare ai loro tirocinanti la pratica di cui hanno bisogno, colmando il divario tra l'apprendimento in aula e l'assistenza ai pazienti nel mondo reale. Il lavoro suggerisce che il futuro della formazione medica potrebbe non dipendere dall'assunzione di più attori, ma dall'insegnare ai computer come ascoltare e rispondere con la sfumatura di un vero essere umano.