Evaluating Clinical Symptom Extraction and Reasoning in Local Large Language Models: A Proof-of-Concept Study of Symptom-Specific Performance in Cardiology

Gli ospedali generano enormi quantità di documenti scritti ogni giorno, dalla descrizione iniziale del dolore di un paziente fino alle note finali sul suo recupero. Gran parte di queste informazioni è bloccata all'interno di paragrafi di testo a flusso libero, il che rende difficile smistare, cercare o analizzare i dati rapidamente. Per decenni, medici e ricercatori si sono affidati allo sforzo manuale per leggere queste note ed estrarre dettagli specifici, un processo lento e tedioso soggetto all'errore umano. Recentemente, è emerso un nuovo tipo di programma informatico noto come modello linguistico di grandi dimensioni (large language model) come una potenziale soluzione. Questi sistemi sono addestrati su enormi librerie di testo e possono comprendere il linguaggio umano abbastanza bene da leggere una nota medica e identificare fatti specifici, come se un paziente abbia menzionato di sentirsi affannoso o di avvertire dolore al petto. Poiché questi strumenti possono lavorare interamente all'interno dei computer sicuri di un ospedale senza inviare dati privati all'esterno, essi offrono un modo promettente per trasformare note scritte a mano o digitate disordinate in dati puliti e organizzati che possono essere utilizzati per migliorare l'assistenza ai pazienti.

Un team di ricercatori dell'Università di Tokyo si è posto l'obiettivo di testare quanto bene due di questi programmi informatici locali potessero svolgere questo compito nel campo specifico e ad alto rischio dell'insufficienza cardiaca. Si sono concentrati su pazienti con insufficienza cardiaca avanzata che stavano venendo valutati per un trapianto di cuore, un gruppo i cui sintomi sono complessi e vari. I ricercatori hanno scelto dieci cartelle cliniche reali dal proprio ospedale, coprendo il periodo tra il 2017 e il 2023. Queste cartelle erano scritte in giapponese e contenevano la storia completa della degenza ospedaliera di ogni paziente, inclusi i loro lamenti, ciò che i medici hanno riscontrato durante gli esami e come la loro condizione sia cambiata nel tempo. Il team ha chiesto ai programmi informatici di esaminare queste dieci storie e identificare la presenza o l'assenza di otto sintomi specifici richiesti per l'inserimento in lista trapianti, come palpitazioni, stanchezza estrema e svenimenti. Per garantire l'accuratezza delle risposte del computer, cinque specialisti cardiologi esperti hanno revisionato indipendentemente le stesse dieci storie e si sono accordati su una "verità di base" (ground truth) per ogni sintomo, creando uno standard affidabile rispetto al quale misurare le macchine.

I ricercatori hanno testato i programmi informatici sotto diversi set di istruzioni per vedere come il modo di formulare la richiesta cambiasse i risultati. In uno scenario, ai programmi è stato chiesto di scansionare l'intera storia medica alla ricerca di qualsiasi menzione dei sintomi. In un altro, è stato esplicitamente ordinato di ignorare eventuali sintomi che potrebbero essere stati menzionati nella storia clinica passata del paziente e di concentrarsi solo su ciò che stava accadendo durante questo specifico ricovero ospedaliero. Hanno anche testato se chiedere ai programmi di "pensare ad alta voce" e spiegare il proprio ragionamento prima di dare una risposta migliorasse la loro accuratezza. Lo studio ha rilevato che entrambi i programmi informatici erano generalmente molto bravi nel compito, identificando correttamente la presenza o l'assenza di sintomi nella maggior parte dei casi. Tuttavia, la prestazione non era perfetta e gli errori non erano casuali. I programmi hanno incontrato maggiori difficoltà con due sintomi specifici: le palpitazioni, ovvero la sensazione di un cuore che accelera o batte forte, e la fatigabilità, o un senso travolgente di stanchezza.

Quando i ricercatori hanno esaminato gli errori commessi dai computer, hanno scoperto un modello chiaro nel modo in cui le macchine ragionavano. Per il sintomo delle palpitazioni, i programmi hanno spesso deciso che un paziente le sperimentava semplicemente perché la cartella clinica mostrava un ritmo cardiaco anomalo o una frequenza cardiaca elevata, anche se il paziente non aveva mai scritto o detto di sentire il cuore accelerare. Il computer ha inferito il sintomo dai dati medici oggettivi piuttosto che da un lamento diretto del paziente. Allo stesso modo, per la fatigabilità, i programmi hanno frequentemente concluso che un paziente fosse stanco perché affetto da insufficienza cardiaca, una condizione nota per causare stanchezza, anche quando la nota specifica non menzionava affatto la fatica. Il computer stava colmando le lacune con la logica medica invece di attenersi strettamente al testo. Questa tendenza era così forte che in alcuni casi il computer aveva identificato correttamente che un paziente aveva un battito irregolare, ma aveva comunque affermato falsamente che il paziente avesse palpitazioni, mentre in altri casi con gli stessi risultati medici, dichiarava correttamente che il paziente non le provava, mostrando un'incoerenza nel proprio ragionamento.

Lo studio ha anche rivelato che il modo in cui le istruzioni venivano formulate era significativo. Quando i ricercatori hanno detto a uno dei programmi di ignorare la storia medica passata e di concentrarsi solo sull'attuale degenza ospedaliera, il programma è diventato molto più cauto nel trovare i sintomi, ma ne ha anche mancati molti che erano effettivamente presenti. È diventato così rigoroso nell'ignorare qualsiasi cosa che non fosse esplicitamente scritta nel contesto attuale che non è riuscito a cogliere sintomi che facevano chiaramente parte della condizione attuale del paziente. Ciò suggerisce che, sebbene questi programmi informatici siano strumenti potenti, non leggono semplicemente le parole come un essere umano; essi interpretano il testo in base alle associazioni mediche e ai modelli che hanno appreso. Possono inferire che un sintomo esista sulla base di altri fatti, il che può essere utile ma porta anche a errori quando tale inferenza è errata. I ricercatori hanno osservato che questi risultati si basano su un numero limitato di casi e che i programmi si comportavano diversamente a seconda delle specifiche istruzioni ricevute, indicando che la tecnologia è ancora in fase di evoluzione.

In definitiva, questo lavoro dimostra che, sebbene i programmi informatici locali possano automatizzare l'estrazione di informazioni mediche, essi non sostituiscono ancora il giudizio attento di un lettore umano. Le macchine sono capaci di comprendere il contesto di una nota medica, ma a volte lasciano che la loro conoscenza del funzionamento delle malattie prevalga su ciò che è effettivamente scritto sulla pagina. Affinché questi strumenti siano veramente utili in un contesto ospedaliero, gli sviluppatori dovranno capire esattamente come i programmi ragionano attraverso una diagnosi e come guidarli a fare affidamento su lamentele esplicite del paziente piuttosto che su assunzioni mediche. Lo studio funge da prova di concetto, dimostrando che questi sistemi possono operare all'interno della rete sicura di un ospedale e gestire testi medici complessi, ma evidenzia anche la necessità di una supervisione attenta per garantire che l'estrazione automatizzata dei sintomi rimanga accurata e affidabile.