Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

Quando un uomo riceve una diagnosi di tumore alla prostata, il percorso da seguire comporta spesso una decisione importante: se rimuovere l'intera ghiandola prostatica utilizzando una tecnica chirurgica assistita da un robot. Questa procedura, nota come prostatectomia radicale robot-assistita, è un trattamento standard per la malattia localizzata, ma comporta un complesso intreccio di informazioni che il paziente deve comprendere. Deve sapere come funziona l'intervento, come sarà il recupero, come questo potrebbe influenzare la sua capacità di controllare la vescica o mantenere la funzione sessuale e come i medici monitoreranno l'eventuale ritorno del cancro. In passato, i pazienti si affidavano a opuscoli stampati o a una singola conversazione con il proprio chirurgo per affrontare questi quesiti. Oggi, molti si rivolgono ai chatbot di intelligenza artificiale per ottenere risposte istantanee. Questi modelli linguistici di grandi dimensioni possono generare testi che sembrano e suonano come consigli umani, ma la domanda critica rimane: possono essere considerati affidabili per spiegare in modo accurato e chiaro un percorso medico che cambia la vita?

Un team di ricercatori dell'Ospedale Affiliato della Scuola Medica del Nord del Sichuan si è posto l'obiettivo di testare proprio questa questione. Si sono concentrati su tre popolari sistemi di intelligenza artificiale: ChatGPT, DeepSeek e Doubao. Il team non ha chiesto alle macchine di eseguire interventi chirurgici o di diagnosticare una persona specifica; al contrario, ha trattato i modelli come fornitori di informazioni. Hanno compilato un elenco di venticinque domande distinte che un paziente potrebbe porre in diverse fasi del processo di cura, dallo screening iniziale per il cancro al follow-up a lungo termine dopo l'intervento. Queste domande coprivano tutto, dall'interpretazione dei risultati dei test alla comprensione dei rischi di danni nervosi. I ricercatori hanno poi inserito ciascuna di queste venticinque domande nei tre modelli, generando un totale di settantacinque risposte separate. Per garantire un test equo, le domande sono state poste individualmente in conversazioni separate, in modo che i modelli non potessero imparare dalle risposte precedenti nella stessa sessione di chat.

Una volta raccolte le risposte, i ricercatori avevano bisogno di un modo per valutarne la qualità. Hanno reclutato tre esperti medici che hanno agito come revisori in cieco, il che significa che non sapevano quale intelligenza artificiale avesse scritto quale risposta. Gli esperti hanno valutato il testo utilizzando diversi strumenti consolidati progettati per misurare la qualità dell'educazione del paziente. Hanno verificato se le informazioni fossero complete, se offrissero consigli pratici che un paziente potesse effettivamente utilizzare e se fossero scritte in un modo facile da comprendere. Hanno anche controllato la presenza di errori specifici, come fatti inventati o raccomandazioni mediche obsolete, e hanno calcolato quanto fosse difficile leggere il testo per una persona comune. L'obiettivo era vedere se una macchina superasse costantemente le altre o se tutte incontrassero gli stessi problemi.

I risultati hanno rivelato che, sebbene tutti e tre i modelli producessero informazioni generalmente sicure e accurate, possedevano personalità e punti di forza distinti. Un modello, ChatGPT, ha fornito costantemente i consigli più azionabili. Quando un paziente chiedeva cosa fare successivamente, questo modello era più propenso a fornire istruzioni chiare e passo dopo passo che una persona potesse seguire. Ha inoltre ottenuto punteggi più alti nelle misure di quanto le informazioni fossero strutturate per supportare il processo decisionale di un paziente. Un altro modello, DeepSeek, produceva un testo che era sensibilmente più facile da leggere. Le sue frasi erano leggermente meno complesse e il suo vocabolario era in qualche modo più accessibile rispetto agli altri. Tuttavia, anche il testo "più semplice" di DeepSeek era scritto a un livello che sarebbe stato difficile da leggere agevolmente per molti adulti, superando il livello di lettura tipicamente raccomandato per i materiali di sanità pubblica. Il terzo modello, Doubao, si è comportato in modo simile agli altri in termini di accuratezza, ma ha avuto maggiori difficoltà con la leggibilità e occasionalmente ha omesso dettagli chiave.

Nonostante queste differenze, lo studio ha rilevato che nessun modello era perfetto e nessuno dovrebbe essere utilizzato come sostituto del parere di un medico. I ricercatori hanno scoperto che, sebbene le macchine raramente inventassero fatti o fornissero consigli pericolosamente obsoleti, talvolta omettevano informazioni importanti, in particolare nelle risposte di DeepSeek e Doubao. Inoltre, gli esperti umani che hanno valutato le risposte non sempre concordavano tra loro. Questa mancanza di accordo suggerisce che giudicare la qualità di un consiglio medico sia un compito difficile, anche per i professionisti formati, e che piccole differenze nei punteggi tra i modelli potrebbero non essere così significative come sembrano. Lo studio ha anche evidenziato una sfida persistente: tutti e tre i modelli generavano testi troppo complessi per la persona media. I termini medici e le strutture delle frasi richiedevano un'istruzione superiore alla scuola secondaria per essere compresi appieno, il che crea una barriera per molti pazienti che hanno più bisogno di queste informazioni.

I ricercatori hanno concluso che questi strumenti di intelligenza artificiale mostrano promesse come aiutanti per i medici, potendo servire come una prima bozza per i materiali educativi che un urologo può poi revisionare e perfezionare. Possono generare rapidamente spiegazioni che coprono una vasta gamma di argomenti, ma non possono ancora sostituire la conversazione sfumata e personalizzata che avviene tra un chirurgo e un paziente. Un robot può elencare i rischi di un intervento, ma non può guardare un paziente negli occhi, comprenderne le paure specifiche o pesare l'equilibare unico tra la sua storia medica e i suoi valori personali. Per ora, il miglior uso di queste potenti macchine è come strumento di supporto per i clinici, non come fonte indipendente di guida medica. Lo studio serve a ricordare che, sebbene la tecnologia possa rendere le informazioni più disponibili, l'elemento umano della cura rimane essenziale per garantire che l'informazione non sia solo accurata, ma anche veramente compresa.