Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

Ogni giorno, migliaia di persone con dolore articolare, gonfiore o rigidità scrivono ai reumatologi chiedendo aiuto. Queste lettere, note come impegnative, arrivano in un flusso che gli specialisti devono smistare. L'obiettivo di questo smistamento, chiamato triage, è decidere chi deve essere visitato immediatamente perché la propria condizione potrebbe minacciare un organo o la vita, e chi può attendere in sicurezza settimane o mesi. Questo compito spetta ai medici esperti, che devono leggere testi complessi e non strutturati per prendere una decisione. È un lavoro ad alto volume, mentalmente estenuante, che sottrae tempo alla visita dei pazienti e al trattamento delle malattie. Quando il sistema funziona bene, le persone più gravi ricevono aiuto rapidamente. Quando fallisce, un paziente con una condizione autoimmune in rapido peggioramento potrebbe aspettare troppo a lungo, rischiando danni permanenti. Eppure, anche quando viene eseguito da medici esperti, questo processo di smistamento non è perfetto; gli esperti spesso dissentono tra loro, e i casi urgenti vengono talvolta persi o ritardati.

Poiché il numero di impegnative cresce più velocemente del numero di specialisti disponibili, le cliniche stanno cercando modi per utilizzare l'intelligenza artificiale per aiutare. Nello specifico, stanno testando i grandi modelli linguistici, ovvero programmi informatici addestrati su enormi quantità di testo in grado di comprendere e generare il linguaggio umano. Questi modelli vengono già utilizzati per rispondere a domande mediche e assistere nella diagnosi, ma non era chiaro se potessero gestire in modo affidabile il compito specifico e ad alto rischio di smistare le impegnative di reumatologia. La domanda centrale non era solo se un computer potesse farlo, ma se potesse farlo con la stessa efficacia di un team umano, e se fosse necessario il costo di utilizzare i computer più potenti e costosi per svolgere il lavoro correttamente.

Un ricercatore della Monash Health in Australia ha deciso di rispondere a queste domande sottoponendo ventitré diversi grandi modelli linguistici a un test rigoroso. Ha creato venti scenari di impegnativa realistici basati su casi reali, coprendo l'intero spettro di urgenza, dalle emergenze potenzialmente letali ai dolori routinari. Per stabilire uno standard di riferimento per la risposta corretta, quattro reumatologi indipendenti hanno esaminato ogni singolo caso senza sapere cosa avessero deciso gli altri, concordando infine su un livello di urgenza di consenso per ciascuno. Il ricercatore ha poi chiesto a ciascuno dei ventitré modelli informatici di effettuare lo stesso triage per questi venti casi. Per garantire che i risultati fossero stabili e non semplici colpi di fortuna, ogni modello è stato chiamato a prendere la decisione tre volte per ogni caso. L'esperimento è stato eseguito due volte: una volta con un'istruzione molto semplice che diceva al modello di smistare le impegnative, e un'altra con un'istruzione molto più dettagliata che spiegava esattamente come ragionare sul problema, forniva esempi di cosa rappresentasse ciascun livello di urgenza e guidava il modello a concentrarsi su segni medici specifici ignorando fattori meno rilevanti come i livelli di dolore.

I risultati hanno rivelato un modello chiaro nel modo in cui queste macchine pensano. Quando ricevevano un'istruzione semplice, i modelli si comportavano in modo molto diverso l'uno dall'altro. I modelli più grandi, avanzati e costosi erano significativamente più accurati di quelli più piccoli e meno costosi. In questo scenario semplice, pagare di più per un modello più grande garantiva prestazioni migliori. Tuttavia, la storia è cambiata completamente quando il ricercatore ha cambiato le istruzioni, passando a quelle avanzate e dettagliate. Con questa migliore guida, il divario di prestazioni tra i modelli è svanito. I modelli più piccoli e meno costosi hanno raggiunto i modelli costosi, e il legame tra costo e accuratezza è scomparso. Le istruzioni dettagliate hanno essenzialmente insegnato ai modelli più piccoli come ragionare sul problema, permettendo loro di ottenere prestazioni uguali a quelle dei giganti senza il prezzo elevato.

Anche con le migliori istruzioni, i computer non erano impeccabili. Comettevano ancora errori, suggerendo a volte che un paziente fosse più grave di quanto fosse, e a volte che fosse meno grave. Il ricercatore ha notato che l'errore di sotto-triage — mancare un caso urgente — era il tipo di errore più pericoloso, poiché poteva ritardare cure critiche. Nonostante questo rischio, i modelli con le migliori prestazioni hanno eguagliato il consenso umano nella maggior parte dei casi, concordando spesso sul livello di urgenza corretto in tutti e tre i tentativi. Questo livello di prestazione li ha collocati all'interno o al di sopra dell'intervallo di accuratezza riportato per i medici umani, i quali sono noti per dissentire tra loro in circa un terzo dei casi e per cambiare frequentemente la valutazione di urgenza dopo aver visto il paziente.

Lo studio suggerisce che gli strumenti per automatizzare questo onere amministrativo esistono già e potrebbero essere più accessibili di quanto precedentemente pensato. La scoperta chiave è che il modo in cui una domanda viene posta al computer conta tanto quanto il computer stesso. Utilizzando un prompt ben progettato che includa regole chiare ed esempi, le cliniche potrebbero essere in grado di utilizzare modelli più piccoli e meno costosi per ottenere risultati che rivaleggiano con i sistemi più dispendiosi. Ciò potrebbe consentire ai servizi medici di restituire tempo prezioso ai medici esperti, liberandoli dallo smistamento delle lettere affinché possano concentrarsi sulla cura dei pazienti. Sebbene la tecnologia sia promettente, il ricercatore sottolinea che qualsiasi sistema utilizzato nel mondo reale deve essere monitorato attentamente per garantire che non perda casi urgenti, e che i medici debbano rimanere coinvolti per revisionare le decisioni più critiche. La strada da seguire prevede il test di questi strumenti su impegnative reali e vive e il perfezionamento delle istruzioni per garantire la sicurezza, ma i dati indicano che un assistente automatizzato affidabile per il triage reumatologico non è più un sogno lontano.