Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

Quando un paziente lascia l'ospedale, le istruzioni di dimissione che riceve sono molto più di un semplice elenco di compiti; sono un ponte critico tra l'assistenza professionale e la vita quotidiana. Se queste istruzioni non vengono comprese, il rischio di errori nella medicazione, appuntamenti di follow-up mancati e peggioramento delle condizioni di salute aumenta drasticamente. Per i pazienti che parlano lo spagnolo come lingua primaria, questo ponte deve essere costruito nella loro lingua madre. Per decenni, gli ospedali si sono affidati ai traduttori umani per garantire l'accuratezza di questi documenti, ma l'ascesa rapida dell'intelligenza artificiale ha offerto un modo nuovo e più veloce per generare queste traduzioni. I modelli linguistici di grandi dimensioni, lo stesso tipo di tecnologia che può scrivere saggi o rispondere a domande complesse, vengono ora testati per vedere se possono tradurre documenti medici con la stessa cura e precisione di un esperto umano. La domanda centrale non è solo se la macchina possa tradurre le parole, ma se possa tradurre il significato, specialmente quando una singola parola errata potrebbe cambiare la comprensione che un paziente ha della propria salute.

Un team di ricercatori della University of Colorado School of Medicine si è posto l'obiettivo di rispondere a questa domanda, testando quanto bene l'intelligenza artificiale traduca le istruzioni di dimissione ospedaliere dall'inglese allo spagnolo. Non hanno semplicemente chiesto al computer di tradurre; hanno costruito un esperimento rigoroso per vedere come diversi modi di chiedere al computer di lavorare cambierebbero i risultati. Hanno preso duecento vere istruzioni di dimissione, de-identificate, da un grande database medico e le hanno inserite in tre diversi modelli di intelligenza artificiale. Per vedere se il modo in cui un essere umano parla alla macchina conti, hanno utilizzato due metodi distinti di prompting. In un metodo, hanno detto al computer di agire come un clinico esperto in un'unità di terapia intensiva, responsabile della traduzione del testo. Nell'altro, hanno dato un'istruzione molto più semplice e letterale di tradurre semplicemente le parole, senza alcun ruolo o contesto. L'obiettivo era vedere se inquadrare la macchina come un medico portasse a traduzioni mediche migliori rispetto al trattarla come un semplice strumento di scambio di parole.

Per giudicare la qualità di queste traduzioni, i ricercatori hanno utilizzato tre approcci diversi, ognuno dei quali esaminava il testo da un'angolazione differente. Per prima cosa, hanno utilizzato metriche informatiche automatizzate, che sono strumenti standard nel campo della tecnologia del linguaggio e contano quante parole e frasi nella traduzione corrispondono al testo originale. Questi strumenti sono veloci e possono elaborare migliaia di documenti, ma guardano principalmente alle somiglianze superficiali. In secondo luogo, hanno utilizzato un framework strutturato chiamato Multidimensional Quality Metric, o MQM. Questo metodo scompone la traduzione in categorie specifiche, come se i termini medici siano corretti, se il tono sia appropriato per un paziente e se la grammatica scorra naturalmente. Hanno fatto in modo che un sistema di intelligenza artificiale agisse come giudice per valutare le traduzioni attraverso queste categorie. Infine, e cosa più importante, hanno coinvolto esperti umani. Due medici bilingui, fluenti sia in inglese che in spagnolo, hanno revisionato una selezione casuale delle traduzioni. Hanno valutato i documenti utilizzando le stesse categorie strutturate, fungendo da standard di riferimento (gold standard) per ciò che costituisce una traduzione di alta qualità e sicura.

I risultati hanno rivelato un sorprendente disconnesso tra ciò che i computer consideravano buono e ciò che i medici umani consideravano buono. Le metriche automatizzate, che contano le sovrapposizioni di parole, preferivano costantemente le traduzioni generate dai prompt semplici e letterali. Quando il computer veniva istruito a tradurre parola per parola, i punteggi automatizzati erano più alti, suggerendo che l'output fosse più vicino al testo inglese originale. Tuttavia, quando i ricercatori hanno esaminato i punteggi di qualità strutturati e le revisioni umane, è emersa un'immagine diversa. Le traduzioni generate dal prompt "clinico", in cui il computer veniva chiesto di agire come un esperto medico, spesso performavano meglio in termini di stile e tono, anche se gli strumenti di conteggio delle parole automatizzati le classificavano più basse. Ciò suggerisce che gli strumenti utilizzati in passato per misurare il successo della traduzione potrebbero non catturare le sfumature che contano di più in un contesto ospedaliero.

Quando i ricercatori hanno confrontato i punteggi assegnati dai giudici di intelligenza artificiale contro i punteggi assegnati dai medici umani, l'accordo è stato sorprendentemente basso. Il computer e gli esperti umani spesso discordavano sul fatto che una traduzione fosse accurata o se la terminologia medica fosse corretta. Il livello più alto di accordo tra la macchina e l'umano è stato riscontrato in aree come la formattazione e le convenzioni locali, dove le regole sono chiare e oggettive. Tuttavia, nelle aree più critiche — come l'accuratezza del significato medico e l'appropriatezza del linguaggio per un paziente — la macchina e l'umano vedevano spesso le cose in modo diverso. Persino i due medici umani non sempre concordavano tra loro, evidenziando che giudicare una traduzione medica comporta un grado di interpretazione umana che è difficile da automatizzare. Lo studio ha scoperto che, sebbene i modelli di intelligenza artificiale producessero generalmente traduzioni di alta qualità, le aree in cui faticavano di più erano proprio quelle che richiedono la più profonda comprensione del contesto clinico.

I ricercatori hanno concluso che nessun metodo singolo è sufficiente per garantire la sicurezza dei documenti medici tradotti. Gli strumenti automatizzati sono utili per controllare rapidamente grandi volumi di testo, e i sistemi di punteggio strutturato aiutano a organizzare la valutazione, ma nessuno dei due può sostituire completamente il giudizio di un esperto umano. Lo studio suggerisce che il miglior approccio sia uno stratificato: utilizzare controlli automatizzati veloci per filtrare gli errori ovvi, seguiti da revisioni mirate da parte di clinici umani per le parti più critiche del testo. Questa combinazione assicura che l'efficienza dell'intelligenza artificiale sia bilanciata con la necessaria supervisione umana per proteggere la sicurezza del paziente. Le conclusioni servono da promemoria: in ambienti ad alto rischio come quello sanitario, la capacità di tradurre le parole non è la stessa capacità di comunicare cura, e l'esperienza umana rimane una parte essenziale del processo.