Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

Il cancro della bocca è una condizione grave che richiede un'assistenza precisa e coordinata. Quando un paziente riceve una diagnosi, i medici devono decidere un percorso di trattamento che spesso coinvolge la chirurgia, la radioterapia o la terapia farmacologica, a seconda dell'esatta posizione del tumore e di quanto si sia diffuso. Queste decisioni sono guidate da rigide regole mediche note come linee guida cliniche, che vengono scritte da esperti per garantire che ogni paziente riceva la migliore assistenza possibile basata sulle ultime scoperte scientifiche. Recentemente, è emerso un nuovo tipo di programma per computer chiamato modello linguistico di grandi dimensioni (large language model). Questi programmi possono leggere enormi quantità di testo e scrivere risposte fluide alle domande, portando molti a chiedersi se potrebbero aiutare i medici a riassumere regole complesse o suggerire piani di trattamento. Tuttavia, il fatto che un computer parli con chiarezza non significa che il suo consiglio medico sia corretto. Nel mondo ad alta posta in gioco dell'assistenza oncologica, una risposta sicura ma errata potrebbe essere pericolosa, rendendo essenziale testare se questi strumenti digitali possano davvero comprendere e applicare le linee guida mediche.

Un team di ricercatori dell'Università di Jilin, in Cina, ha deciso di testare questa idea mettendo tre dei più avanzati modelli linguistici di grandi dimensioni alla prova su casi di cancro orale. Hanno scelto tre modelli specifici: GPT-4o, DeepSeek-R1 e Grok-3. Per vedere quanto ben performassero questi programmi, i ricercatori hanno creato un test standardizzato basato sulle ufficiali linee guida della National Comprehensive Cancer Network per i tumori della testa e del collo. Il test aveva due parti principali. In primo luogo, ai modelli è stato chiesto di agire come chirurghi esperti e spiegare le regole per il trattamento del cancro alla bocca a una persona priva di formazione medica. Dovevano coprire le cause, come viene diagnosticata la malattia e i passaggi per il trattamento e il recupero. In secondo luogo, ai modelli sono stati forniti scenari standardizzati di cancro orale e vignette cliniche, e sono stati interrogati per fornire un piano di gestione completo, includendo quale dovrebbe essere la diagnosi, come stadiare la malattia e quale chirurgia o radioterapia sarebbe appropriata.

Per giudicare le risposte, tre esperti di chirurgia orale e maxillo-facciale hanno revisionato gli output. Hanno valutato le risposte su una scala da zero a dieci per il compito di riassunto e su una scala da zero a cento per il compito di gestione del caso, osservando fattori quali l'accuratezza, la chiarezza e se il piano di trattamento seguisse le regole ufficiali. I risultati hanno mostrato che i modelli hanno performato in modo differente e che nessun singolo programma era perfetto in tutto. Nel compito di riassumere le linee guida per un pubblico generico, il modello DeepSeek-R1 ha ricevuto il punteggio complessivo più alto di 8,8 su 10, seguito da GPT-4o con 8,3 e Grok-3 con 7,8. DeepSeek-R1 ha ottenuto i punteggi più alti anche in aree specifiche come la chiarezza e la coerenza logica.

Quando i modelli sono passati al compito più difficile di gestire casi clinici specifici, i punteggi sono stati complessivamente più alti, ma le differenze tra i modelli sono diventate più marcate. DeepSeek-R1 ha ottenuto nuovamente il punteggio complessivo più alto di 87,44 su 100. È stato particolarmente efficace nel suggerire i giusti piani di trattamento, nel pianificare l'estensione della chirurgia e nel valutare la prognosi, ovvero l'esito probabile, per il paziente. Grok-3 si è classificato secondo con un punteggio di 77,77, mentre GPT-4o ha ricevuto 68,61. Interessante notare che, mentre DeepSeek-R1 guidava nella maggior parte delle categorie, Grok-3 ha ricevuto il punteggio più alto per il suggerimento della corretta dose di radiazioni. I ricercatori hanno inoltre notato che i punteggi di somiglianza testuale, che misurano quanto strettamente le parole del computer corrispondessero a una risposta di riferimento, non sempre coincidevano con l'accuratezza medica giudicata dagli esperti umani. Ciò suggerisce che un computer può scrivere parole che sembrano molto simili alla risposta corretta, ma pur sempre sbagliare i dettagli medici.

Nonostante gli alti punteggi raggiunti dal modello con le prestazioni migliori, lo studio ha riscontrato difetti significativi che impediscono a questi strumenti di essere utilizzati come decisori indipendenti. Tutti e tre i modelli hanno talvolta confuso il cancro della bocca con il cancro della gola, un errore critico poiché le due malattie vengono trattate diversamente. Hanno anche occasionalmente inventato dettagli specifici, come margini chirurgici esatti o programmi di antibiotici, che non erano supportati dal caso del paziente o dalle linee guida ufficiali. I ricercatori hanno osservato che, sebbene i modelli potessero organizzare bene le informazioni, mancavano della profonda comprensione contestuale necessaria per adattare un piano alla situazione unica di un singolo paziente. Lo studio conclude che questi strumenti di intelligenza artificiale dovrebbero essere visti come assistenti che aiutano i medici a bozzare piani o riassumere informazioni, piuttosto che come medici autonomi in grado di prendere l'ultima decisione. Gli autori sottolineano che gli esperti umani devono sempre verificare l'output e chiedono studi più ampi per perfezionare ulteriormente il modo in cui queste tecnologie possano supportare in sicurezza l'assistenza oncologica.