Automating QuAL Scoring of Entrustable Professional Activity Narrative Feedback Across Residency Programs: A Locally Deployed Natural Language Processing Model
Questo studio dimostra che un modello di elaborazione del linguaggio naturale DeBERTa-v3 distribuito localmente può automatizzare in modo accurato e scalabile la valutazione della Qualità dell'Apprendimento (QuAL) dei feedback narrativi sulle Attività Professionali Affidabili attraverso molteplici programmi di specializzazione, raggiungendo un sostanziale accordo con i valutatori umani pur preservando la privacy dei dati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della formazione medica, imparare non significa più solo memorizzare fatti; significa dimostrare di saper svolgere il proprio lavoro. I programmi moderni si basano su un sistema in cui i medici in formazione vengono costantemente osservati mentre svolgono compiti reali, dalla gestione delle cure di un paziente alla gestione di una crisi. Queste osservazioni vengono registrate non solo con un numero, ma anche con commenti scritti. Questi appunti sono la linfa vitale del processo. Essi dicono al tirocinante cosa ha fatto bene, cosa deve correggere e come le sue azioni si collegano agli standard della professione. Senza questi appunti specifici e di alta qualità, un tirocinante potrebbe ricevere un punteggio, ma rimanere incerto su come migliorare. Il problema è che scrivere questi appunti è un lavoro arduo e la qualità di ciò che viene scritto varia enormemente. Alcuni appunti sono ricchi di dettagli e consigli chiari; altri sono vaghi o mancano completamente il punto. Per risolvere questo problema, gli educatori hanno sviluppato un modo per misurare la qualità di questi commenti, cercando tre cose specifiche: la prova di ciò che è accaduto, un suggerimento chiaro per il miglioramento e un collegamento a un obiettivo di apprendimento. Ma controllare ogni singolo appunto a mano è lento ed estenuante, rendendo difficile garantire che ogni tirocinante riceva il feedback che merita.
Un team di ricercatori dell'Università dell'Alberta ha deciso di vedere se un computer potesse aiutare in questo pesante carico di lavoro. Volevano sapere se un programma informatico specializzato, capace di comprendere il linguaggio umano, potesse leggere questi migliaia di appunti scritti e valutarli proprio come farebbe un esperto umano. L'obiettivo non era sostituire gli insegnanti, ma costruire uno strumento che potesse gestire il volume di lavoro mantenendo i dati al sicuro all'interno delle mura dell'ospedale e dell'università. Si sono concentrati su un tipo specifico di formazione medica chiamato Attività Professionali Affidabili (Entrustable Professional Activities), in cui i medici specializzandi vengono valutati sulla loro capacità di svolgere compiti specifici. I ricercatori hanno raccolto oltre 5.000 commenti scritti da 24 diversi programmi di specializzazione presso una singola istituzione canadese. Questi commenti provenivano da un anno di formazione tra il 2019 e il 2020. Prima che il computer vedesse i dati, gli appunti erano già stati attentamente letti e valutati da esperti umani utilizzando una checklist standard. Questa valutazione umana fungeva da gold standard, ovvero la risposta corretta rispetto alla quale sarebbe stata misurata la prestazione del computer.
I ricercatori hanno costruito un modello informatico che hanno eseguito interamente sui propri server locali, garantendo che nessuna informazione sensibile relativa ai pazienti o ai tirocinanti lasciasse il loro ambiente sicuro. Hanno insegnato a questo modello a cercare i tre elementi chiave negli appunti: evidenza, suggerimenti e connessioni. Per la parte relativa all'evidenza, il modello doveva decidere quanto bene lo scrittore descrivesse ciò che era effettivamente accaduto, variando da nessuna descrizione affatto a un resoccolo molto dettagliato. Per le altre due parti, doveva semplicemente decidere se un suggerimento di miglioramento fosse presente e se l'appunto collegasse l'osservazione a un obiettivo di apprendimento più ampio. Per garantire che il test fosse equo e realistico, hanno suddiviso i dati in modo che gli appunti relativi allo stesso tirocinante non apparissero mai sia nel gruppo di addestramento che nel gruppo di test. Ciò ha evitato che il computer si limitasse a memorizzare lo stile di scrittura di un particolare tirocinante fingendo di comprenderne le regole.
Quando i ricercatori hanno messo il modello alla prova sui dati di test non ancora visti, i risultati sono stati incoraggianti. Il computer è diventato molto bravo a individuare se un appunto conteneva un suggerimento di miglioramento chiaro, riuscendo a farlo correttamente la maggior parte delle volte. Ha anche svolto un ottimo lavoro nell'identificare la sezione relativa all'evidenza, giudicando correttamente la qualità della descrizione nella stragrande maggioranza dei casi. Il modello è stato meno perfetto nel trovare il collegamento tra l'osservazione e l'obiettivo di apprendimento, ma ha comunque performato abbastanza bene da essere utile. Quando i ricercatori hanno analizzato il punteggio totale che il modello assegnava a ciascun appunto rispetto al punteggio umano, hanno scoperto che in più dell'86 percento dei casi, il punteggio del computer era entro un solo punto da quello dell'esperto umano. Gli errori che ha commesso erano solitamente piccoli, come dare un punteggio di due invece di tre, piuttosto che errori macroscopici che avrebbero completamente travisato la qualità del feedback.
Lo studio suggerisce che questo tipo di strumento informatico eseguito localmente potrebbe diventare un partner pratico per gli educatori medici. Offre un modo per monitorare la qualità del feedback in molti programmi senza il costo enorme di assumere persone per leggere ogni singolo appunto. Poiché il modello gira su computer locali, rispetta la privacy dei tirocinanti e dell'istituzione, evitando i rischi di inviare dati sensibili ad aziende esterne. I ricercatori tengono presente che questo è un punto di partenza, non una soluzione finita. Il modello deve ancora essere testato in altri ospedali e in situazioni reali per vedere se aiuti insegnanti e tirocinanti nel lungo periodo. Ma i risultati dimostrano che è possibile costruire un sistema che comprenda la sfumatura del feedback medico, offrendo un modo scalabile per garantire che ogni tirocinante riceva la guida chiara e azionabile di cui ha bisogno per diventare un medico esperto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.