Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
Questo studio trasversale ha rilevato che, sebbene cinque sistemi di intelligenza artificiale generativa abbiano superato significativamente gli studenti di medicina del quarto anno in quesiti testuali di oftalmologia per il corso di laurea, la maggior parte di essi ha incontrato difficoltà con gli item basati su immagini, evidenziando il loro potenziale come strumenti educativi ma mettendo in guardia contro l'equiparazione tra prestazione agli esami e competenza clinica.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nelle aule della medicina moderna, un nuovo tipo di studente è entrato silenziosamente nell'aula magna. Non dorme, non dimentica e può leggere migliaia di pagine in un secondo. Questa è l'intelligenza artificiale generativa, un tipo di programma informatico progettato per comprendere il linguaggio e generare risposte che sembrano provenire da un essere umano. Questi sistemi, spesso chiamati modelli linguistici di grandi dimensioni, sono diventati strumenti comuni per l'apprendimento, aiutando gli studenti a spiegare idee complesse o a prepararsi per gli esami. Ma mentre queste macchine stanno diventando più brave a leggere e a ragionare, rimane una domanda critica: comprendono davvero il mondo visivo della medicina? In campi come l'oftalmologia, lo studio degli occhi, la diagnosi dipende spesso dal rilevare schemi sottili in fotografie della retina o dell'interno di un occhio. Per un medico umano, vedere è credere. Per una macchina, vedere è una sfida molto più difficile. Man mano che questi strumenti si integrano maggiormente nell'istruzione, gli educatori devono sapere se stanno semplicemente imitando la conoscenza o se possono effettivamente vedere ciò che vede uno studente.
Per trovare la risposta, un team di ricercatori dell'Università del Porto, in Portogallo, ha messo alla prova cinque dei sistemi di intelligenza artificiale più avanzati contro studenti di medicina al quarto anno. I ricercatori hanno raccolto 89 domande a scelta multipla da veri esami di oftalmologia somministrati agli studenti nel 2025. Queste domande coprivano una vasta gamma di condizioni oculari, dalla glaucoma alle malattie retiniche. Il set includeva 77 domande che potevano essere risolte leggendo solo il testo, e 12 domande che richiedevano al candidato di guardare una fotografia o un'immagine medica per trovare la risposta corretta. I ricercatori hanno poi inserito ogni singola domanda, insieme alla relativa immagine dove applicabile, in cinque diversi sistemi di IA: GPT-4.1 Auto, GPT-5.2 Auto, Gemini 3 Flash, Grok 4.1 Auto e Claude Sonnet 4.5. Ai computer non è stato dato alcun aiuto extra, nessuna ricerca su internet e nessuna possibilità di chiedere chiarimenti; dovevano semplicemente scegliere la risposta migliore tra le cinque opzioni fornite, proprio come farebbe uno studente.
I risultati hanno rivelato una divisione sorprendente tra la capacità delle macchine di gestire le parole rispetto alle immagini. Sulle domande basate solo sul testo, i sistemi di intelligenza artificiale hanno ottenuto prestazioni notevoli. Tre dei cinque sistemi hanno ottenuto più del 90 percento di risposte corrette, con il miglior performer, Gemini 3 Flash, che ha raggiunto il 95,5 percento di precisione. In confronto, lo studente di medicina medio ha ottenuto circa il 73 percento delle domande corrette. Ciò significa che, nelle domande basate sulla carta, i migliori sistemi di IA hanno superato la stragrande maggioranza degli studenti umani, posizionandosi nei percentili più alti della classe. Tuttavia, la storia è cambiata completamente quando le domande includevano immagini. Quando la domanda richiedeva di guardare una foto di un occhio, le prestazioni di quattro dei cinque sistemi di IA sono scese significativamente. Mentre gli studenti umani mantenevano il loro livello di precisione indipendentemente dal fatto che la domanda fosse basata su testo o su immagini, le macchine faticavano a interpretare i dati visivi. Ad esempio, un sistema che aveva ottenuto il 98,7 percento nelle domande di testo è sceso al 75 percento nelle domande con immagini. Un altro è passato dal 96 al 67 percento. Solo un sistema, GPT-4.1 Auto, non ha mostrato alcuna differenza significativa tra i due formati, ma aveva anche il punteggio complessivo più basso di tutti i sistemi.
I ricercatori hanno anche esaminato come le risposte delle macchine si confrontassero con quelle degli studenti per vedere se stessero commettendo gli stessi errori. Hanno scoperto che i sistemi di IA non stavano semplicemente copiando gli studenti. In effetti, i sistemi che avevano ottenuto più risposte corrette erano spesso quelli che discordevano maggiormente con la maggioranza degli studenti. Queste macchine ad alte prestazioni avevano risposto correttamente a molte domande che la maggior parte degli studenti aveva sbagliato, suggerendo che stavano accedendo a un tipo diverso di conoscenza o di processo di ragionamento. Al contrario, il sistema con la precisione complessiva più bassa, GPT-4.1 Auto, era quello che concordava più strettamente con il modello di risposte degli studenti. Ciò indica che, sebbene le macchine siano potenti, non pensano necessariamente come gli umani, e i loro errori non sono gli stessi degli errori umani. Lo studio ha anche dimostrato che le macchine erano più brave a rispondere a domande che erano più facili da risolvere per gli studenti, suggerendo che la difficoltà della domanda influenza sia gli umani che le macchine in modo simile.
Nonostante gli alti punteggi, i ricercatori avvertono che questi risultati non significano che le macchine siano pronte a sostituire i medici o che possiedano una vera competenza clinica. Lo studio è stato condotto su un set specifico di domande provenienti da un'unica università, e il numero di domande basate sulle immagini era relativamente piccolo. Gli autori sottolineano che, sebbene questi strumenti possano essere eccellenti per rivedere i fatti e prepararsi per gli esami scritti, non possono ancora essere affidati all'interpretazione dei complessi reperti visivi che sono centrali nella cura degli occhi. La capacità di guardare l'occhio di un paziente e formulare una diagnosi è una competenza che richiede molto più che selezionare la lettera corretta in un test. Per ora, questi sistemi di intelligenza artificiale fungono da potenti strumenti di studio che possono aiutare gli studenti a imparare, ma rimangono distinti dalla capacità umana di vedere e comprendere il mondo della medicina.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.