Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

Nella clinica moderna, la mente di un medico è uno strumento potente, addestrato in anni di esperienza per connettere la storia di un paziente, i segni fisici e i risultati dei test in un quadro chiaro di ciò che non va. Questo processo di ragionamento clinico è l'ossatura della medicina, ma è anche una competenza che richiede molto tempo per essere padroneggiata. Recentemente, è emersa una nuova sorta di mente digitale: i grandi modelli linguistici. Si tratta di sistemi di intelligenza artificiale addestrati su enormi quantità di testo, capaci di leggere, comprendere e generare il linguaggio umano con una straordinaria fluidità. Hanno mostrato promesse nell'aiutare in tutto, dalla stesura di lettere alla risposta a domande generali. Ma in un campo preciso e visivo come l'oculistica, dove una diagnosi può dipendere da dettagli sottili in un'immagine o da un modello specifico di sintomi, rimane poco chiaro quanto bene questi assistenti digitali comprendano davvero le complessità delle malattie. La domanda non è più solo se sappiano parlare il linguaggio della medicina, ma se sappiano pensare come uno specialista di fronte a un caso difficile.

Un team di ricercatori ha deciso di testare questa domanda utilizzando due dei sistemi di intelligenza artificiale più avanzati disponibili: DeepSeek-R1 e GPT-4o. Hanno scelto di concentrarsi sull'oftalmologia, la branca della medicina dedicata all'occhio, perché richiede un alto livello di conoscenza specialistica e la capacità di pesare molti diversi pezzi di informazione. Per creare un test equo e rigoroso, il team non ha chiesto ai computer di guardare pazienti reali o scansioni oculari effettive. Al posto di ciò, hanno utilizzato trentatré casi clinici standardizzati tratti da un database nazionale utilizzato per formare ed esaminare i medici oculisti in Cina. Questi casi coprivano una vasta gamma di condizioni, dalle malattie retiniche al glaucoma, fino a lesioni e tumori, rappresentando i tipi di scenari che uno specialista potrebbe incontrare nel proprio lavoro quotidiano. I ricercatori hanno chiesto a entrambi i modelli di intelligenza artificiale di agire come medici oculisti esperti. Hanno fornito il testo di ogni caso e richiesto una diagnosi, un elenco di altre possibili condizioni che potrebbero spiegare i sintomi e un piano di trattamento.

Per garantire l'obiettività dei risultati, tre esperti oculisti certificati hanno revisionato le risposte fornite dai due sistemi di intellità artificiale. Gli esperti non sapevano quale modello avesse scritto quale risposta. Hanno valutato ogni risposta basandosi su due criteri principali: accuratezza e completezza. L'accuratezza misurava quanto fossero corretti i consigli medici, mentre la completezza misurava se la risposta copriva tutti i dettagli necessari senza tralasciare nulla. Gli esperti hanno utilizzato un sistema di punteggio semplice, assegnando punti in base a quanto le risposte corrispondessero alle soluzioni corrette standard trovate nel database di formazione. Questo processo ha permesso ai ricercatori di confrontare direttamente le prestazioni delle due menti digitali rispetto al "gold standard" dell'esperienza umana.

I risultati hanno mostrato una chiara differenza tra i due sistemi. In tutti i casi esaminati, DeepSeek-R1 ha fornito costantemente risposte più accurate e complete rispetto a quelle di GPT-4o. Quando gli esperti hanno analizzato il compito specifico di identificare la malattia corretta, DeepSeek-R1 ha ricevuto un punteggio medio di 8,04 su 10, mentre GPT-4o ha ottenuto 6,46. Il divario è stato ancora più ampio quando ai modelli è stato chiesto di elencare altre possibili condizioni, un compito noto come diagnosi differenziale. In questo ambito, DeepSeek-R1 ha raggiunto un punteggio di 7,52 rispetto al 5,50 di GPT-4o. In termini di piani di trattamento, DeepSeek-R1 ha superato nuovamente l'altro modello, ottenendo 7,62 contro 6,65. La differenza non era solo nei numeri finali; gli esperti hanno anche notato che le risposte di DeepSeek-R1 erano più approfondite, coprendo più elementi richiesti nelle loro spiegazioni.

Lo studio ha rilevato che il vantaggio di DeepSeek-R1 era più pronunciato nelle aree dell'assistenza oculistica che richiedono un pensiero complesso e multi-fase. Condizioni come le malattie della retina, il glaucoma, i disturbi del nervo ottico e i problemi di allineamento oculare e sviluppo della vista hanno mostrato il divario di prestazioni maggiore. Questi sono i tipi di casi in cui un medico deve sintetizzare molti indizi diversi per raggiungere una conclusione. Al contrario, per condizioni con segni più ovvi o distinti, come certe lesioni oculari o malattie della superficie, la differenza tra i due modelli era minore. Ciò suggerisce che il modo specifico in cui DeepSeek-R1 è stato addestrato, con un forte accento sul ragionamento avanzato, possa conferirgli un vantaggio nelle situazioni in cui la risposta non è immediatamente ovvia e richiede una deduzione attenta.

Nonostante questi risultati promettenti, i ricercatori sono stati cauti nel presentare le loro scoperte come un passo preliminare piuttosto che come un verdetto finale. Lo studio era limitato dal fatto che utilizzava solo casi basati sul testo, il che significa che i sistemi di intelligenza artificiale non hanno mai visto immagini reali degli occhi, che sono invece critiche per la diagnosi nel mondo reale. Anche il campione di trentatré casi era relativamente piccolo, e la valutazione si è basata sui giudizi soggettivi di tre esperti umani. Gli autori hanno sottolineato che questi risultati non significano che nessuno dei due sistemi di intelligenza artificiale sia pronto a sostituire un medico umano o a essere utilizzato direttamente in un ospedale per prendere decisioni per i pazienti. Le prestazioni di questi modelli possono cambiare rapidamente man mano che vengono aggiornati, e le versioni specifiche testate all'inizio del 2025 potrebbero non riflettere le capacità dei sistemi futuri.

In definitiva, questo lavoro serve come un importante parametro di riferimento per comprendere a che punto si trova l'intelligenza artificiale nel campo specializzato dell'assistenza oculare. Dimostra che uno dei modelli più recenti, DeepSeek-R1, ha mostrato una capacità di ragionamento attraverso casi medici complessi superiore a quella del consolidato GPT-4o in questo specifico contesto. Tuttavia, lo studio conclude che è necessario molto altro lavoro. Le ricerche future dovranno testare questi sistemi con immagini reali e in contesti clinici reali per vedere se possono davvero supportare i medici nella realtà disordinata e complessa della cura del paziente. Per ora, i risultati suggeriscono che, sebbene l'intelligenza artificiale stia diventando uno strumento potente per il ragionamento medico, è ancora un lavoro in corso, e il suo ruolo in clinica dipenderà da una continua validazione e da una attenta integrazione con l'esperienza umana.