Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

Nel mondo della medicina pediatrica, esiste una condizione chiamata artrite idiopatica giovanile. Si tratta di un gruppo di malattie in cui le articolazioni di un bambino diventano gonfie e dolorose senza un motivo apparente, e può influenzare il modo in cui cresce e si muove. Poiché la condizione si presenta in molte forme diverse, i medici devono essere molto attenti a identificare esattamente quale tipo di malattia abbia il bambino e scegliere il trattamento corretto. Le regole per prendere queste decisioni sono scritte in guide dettagliate create da esperti medici. Queste guide dicono ai medici quando iniziare le medicine, come monitorare gli effetti collaterali e come gestire situazioni complesse come infezioni o infiammazioni oculari. Per anni, queste guide sono state la mappa affidabile per i medici, ma un nuovo tipo di strumento è apparso all'orizzonte: i modelli linguistici di grandi dimensioni. Questi sono programmi informatici addestrati su enormi quantità di testo che possono scrivere risposte a domande in un linguaggio fluente e simile a quello umano. Stanno diventando popolari per trovare informazioni mediche, ma nessuno sapeva se potessero essere affidati nel seguire le rigide regole della cura dell'artrite pediatrica o se potessero inventare fatti che sembrano corretti ma che in realtà sono sbagliati.

Un team di ricercatori in Turchia ha deciso di sottoporre questi programmi informatici a un test serio. Volevano vedere se tre dei modelli più avanzati disponibili potessero rispondere a domande sull'artrite idiopatica giovanile bene quanto un esperto umano. Per farlo, non hanno chiesto ai computer di scrivere storie o parlare di sentimenti. Al contrario, hanno fornito loro ventuno domande specifiche basate sulle guide mediche ufficiali. Alcune domande chiedevano fatti semplici, come come distinguere i diversi tipi di malattia. Altre riguardavano piani di trattamento, come quale medicina somministrare a un bambino che non sta migliorando. Le domande più difficili erano storie ipotetiche su pazienti, chiedendo ai computer di capire il passo successivo migliore per un bambino specifico con una storia clinica complessa. I ricercatori hanno chiesto a tre diversi modelli informatici di rispondere a ogni singola domanda. Per garantire che il test fosse equo, hanno utilizzato etichette neutrali per nascondere i nomi dei computer e hanno mescolato l'ordine in cui le risposte venivano mostrate.

Cinque medici esperti, specialisti nelle malattie articolari dei bambini, hanno poi letto queste risposte. Non sapevano quale computer avesse scritto quale risposta. Hanno valutato ogni risposta in base a quanto fosse accurata rispetto alle guide ufficiali, quanto fosse utile in un vero studio medico e quanto fosse buona la risposta complessiva. I risultati hanno mostrato una chiara differenza tra le macchine. Un modello, che i ricercatori hanno chiamato GPT-5.6 Sol, ha fornito costantemente le risposte migliori. Ha ottenuto il punteggio più alto per accuratezza e per utilità per un medico. Gli altri due modelli, Gemini 3.1 Pro e Claude Opus 5, hanno ottenuto buone prestazioni ma sono rimasti al di sotto del leader. In alcune aree, come la diagnosi della malattia, uno dei modelli più deboli è andato meglio dell'altro, ma in altre aree, come i piani di trattamento, l'ordine si è invertito. Ciò ha dimostrato che nessun computer era perfetto in tutto, e le loro prestazioni cambiavano a seconda del tipo di domanda posta.

Lo studio ha anche esaminato il modo in cui le risposte venivano scritte. Uno dei modelli produceva risposte molto lunghe, scrivendo migliaia di parole attraverso le ventuno domande. I ricercatori si aspettavano che le risposte più lunghe potessero essere migliori, ma i medici non erano d'accordo. Il modello che ha scritto più parole non ha ottenuto i punteggi più alti. Infatti, il modello con il punteggio migliore era spesso più diretto. I medici hanno anche notato che il linguaggio usato da tutti i computer era piuttosto difficile da leggere, scritto a un livello che sarebbe difficile da comprendere per un tipico adulto senza un background medico. Ciò suggerisce che, sebbene questi strumenti possano generare un testo fluente, non sanno sempre come semplificare le complesse regole mediche per un pubblico generale.

Il risultato più importante di questa ricerca è che questi programmi informatici non possono sostituire un medico umano. Sebbene possano recuperare informazioni e organizzarle in una risposta coerente, a volte confondono il confine tra ciò che è una regola rigida e ciò che è solo una caratteristica comune della malattia. Potrebbero suggerire un'opzione di trattamento che è possibile ma non la migliore, oppure potrebbero confondere i dettagli di come una malattia viene classificata. I ricercatori hanno concluso che questi strumenti dovrebbero essere utilizzati solo sotto la supervisione di uno specialista che possa verificare i fatti. Lo studio ha dimostrato che anche il miglior modello informatico ha bisogno di un esperto umano per verificare il proprio lavoro, specialmente quando la salute di un bambino è in gioco. La tecnologia è potente, ma nel delicato campo della reumatologia pediatrica, rimane uno strumento per assistere, non un decisore autonomo.