Evaluating LLMs for HIV Epidemiological Surveillance in Spanish: Clinical Summarization, Risk Factor Extraction, and Inference Stability across Models

Nel frenetico e ad alta pressione ambiente di un pronto soccorso ospedaliero, i medici corrono costantemente contro il tempo. Devono ricostruire la storia di un paziente partendo da note frammentate, risultati di esami sparsi e osservazioni frettolose per prendere decisioni che salvano la vita. Per i pazienti con HIV, un virus che indebolisce il sistema immunitario del corpo, questo processo è particolarmente critico. Identificare precocemente i fattori di rischio — come rapporti non protetti, condivisione di aghi o sintomi specifici — può portare a test e trattamenti che bloccano la diffusione del virus. Tuttavia, quando un medico è sopraffatto da decine di pazienti al giorno, dettagli cruciali possono facilmente sfuggire. L'enorme volume di testo non strutturato nelle cartelle cliniche rende difficile estrarre manualmente ogni indizio rilevante, creando un collo di bottiglia dove le informazioni mancanti possono ritardare la diagnosi e permettere alla malattia di continuare la sua diffusione silenziosa.

Per affrontare questo problema, i ricercatori stanno esplorando l'uso di programmi informatici avanzati noti come modelli linguistici di grandi dimensioni (large language models). Si tratta di sistemi di intelligenza artificiale addestrati su enormi quantità di testo che possono leggere, comprendere e riassumere il linguaggio umano. L'idea è che questi strumenti possano agire come un secondo paio di occhi, scansionando rapidamente migliaia di cartelle cliniche per evidenziare dettagli chiave e riassumere le storie cliniche dei pazienti. Ma affinché ciò funzioni in un vero ospedale, la tecnologia deve essere incredibilmente affidabile. Non può inventare fatti, tralasciare informazioni vitali o comportarsi in modo imprevedibile. Inoltre, poiché questi strumenti sono spesso testati in paesi di lingua spagnola, devono comprendere il linguaggio medico specifico e le sfumature culturali delle note cliniche in spagnolo, non solo in inglese.

Un team di ricercatori in Spagna ha recentemente messo alla prova questa idea. Volevano vedere se questi programmi di intelligenza artificiale potessero riassumere accuratamente le cartelle cliniche del pronto soccorso ed estrarre specifici fattori di rischio dell'HIV dal testo spagnolo senza dover essere riaddestrati su nuovi dati in precedenza. Hanno raccolto 100 cartelle cliniche anonimizzate da un ospedale universitario, un mix di persone che in seguito sono risultate affette da HIV e altre che non lo erano. Le cartelle variavano molto per lunghezza e complessità, riflettendo la realtà disordinata dell'assistenza d'emergenza quotidiana. I ricercatori hanno poi inserito queste cartelle in undici diversi modelli di IA, che spaziavano da potenti sistemi basati sul cloud a programmi open-source che potevano essere eseguiti sui server sicuri di un ospedale. Hanno chiesto ai modelli di fare due cose: scrivere un riassunto breve e chiaro della visita del paziente e identificare se specifici fattori di rischio fossero presenti, assenti o semplicemente non menzionati nel testo.

I risultati hanno rivelato un vincitore chiaro nel compito di riassunto. Un modello, un sistema basato sul cloud di Google, ha prodotto riassunti significativamente più accurati e completi rispetto a un'alternativa open-source. Quando i medici hanno revisionato questi riassunti, hanno constatato che il modello basato sul cloud commetteva molti meno errori. Raramente inventava fatti che non c'erano e tralasciava molti meno dettagli importanti. Il modello open-source, pur essendo capace, ometteva frequentemente informazioni critiche, come risultati di test in attesa o anamnesi passata, il che potrebbe essere pericoloso se un medico si affidasse esclusivamente al riassunto. I ricercatori hanno anche testato se un'IA potesse giudicare la qualità di questi riassunti altrettanto bene di un medico umano. Hanno scoperto che l'IA giudice era molto brava a individuare fatti inventati ed errori ovvi, ma faticava a concordare con i medici umani su cosa costituisse un dettaglio mancante. Ciò suggerisce che, sebbene l'IA possa aiutare a filtrare i cattivi riassunti, la supervisione umana rimane essenziale per cogliere le omissioni sottili.

Per quanto riguarda l'estrazione di specifici fattori di rischio, le prestazioni dei modelli dipendevano fortemente da quanto rigorosamente venivano misurati i risultati. I ricercatori hanno eseguito ciascun modello cinque volte sugli stessi record per vedere se fornisse la stessa risposta ogni volta. Hanno scoperto che i modelli erano generalmente più bravi nell'identificare i fattori di rischio sociali, come l'uso di droghe o la storia sessuale, che sono spesso dichiarati direttamente dai pazienti. Erano invece meno coerenti nell'identificare i fattori di rischio clinici, come sintomi specifici o infezioni passate, che richiedono di ricomporre indizi sparsi da diverse parti di una lunga nota medica. Anche quando i modelli venivano impostati per essere il più coerenti possibile, a volte davano risposte diverse in esecuzioni ripetute. Questa instabilità significava che un modello che sembrava eccellente in un singolo test poteva comportarsi diversamente in un flusso di lavoro reale e continuo.

Lo studio è giunto alla conclusione che, sebbene questi strumenti di IA mostrino un grande potenziale per aiutare i pronto soccorso di lingua spagnola a gestire il proprio carico di lavoro, non sono ancora perfetti. I migliori modelli possono ridurre significativamente il tempo che i medici impiegano per scrivere i riassunti e possono aiutare a far emergere fattori di rischio che potrebbero altrimenti essere trascurati. Tuttavia, i ricercatori hanno sottolineato che la tecnologia deve essere utilizzata con cautela. L'errore più comune non era inventare cose, ma piuttosto tralasciare informazioni importanti. Per un sistema progettato per intercettare diagnosi mancate, tralasciare un dettaglio è pericoloso quanto inventarne uno. I risultati suggeriscono che l'approccio più efficace sia uno ibrido: utilizzare l'IA per gestire il lavoro pesante di lettura e riassunto, mantenendo però i medici umani nel processo per verificare i risultati e garantire che nessun pezzo critico del puzzle vada perduto. Questo equilibrio potrebbe aiutare i dipartimenti di emergenza a intercettare maggiormente i casi di HIV precocemente, salvando potenzialmente vite e rallentando la diffusione del virus nelle comunità in cui rimane una sfida persistente.