Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
Deze dwarsdoorsnedestudie vond dat hoewel vijf generatieve AI-systemen vierdejaars geneeskundestudenten op tekstgebaseerde vragen over oogheelkunde in het bachelorprogramma aanzienlijk overtroffen, de meeste moeite hadden met beeldgebaseerde items, wat hun potentieel als educatieve hulpmiddelen benadrukt terwijl er gewaarschuwd wordt tegen het gelijkstellen van examenprestaties aan klinische competentie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de klaslokalen van de moderne geneeskunde is een nieuw soort student stilletjes de collegezaal binnengekomen. Het slaapt niet, het vergeet niets en het kan in een seconde duizenden pagina's lezen. Dit is generatieve kunstmatige intelligentie, een type computerprogramma dat is ontworpen om taal te begrijpen en antwoorden te genereren die klinken alsof ze van een mens komen. Deze systemen, vaak large language models genoemd, zijn veelvoorkomende hulpmiddelen voor het leren geworden, waarbij ze studenten helpen complexe ideeën uit te leggen of zich voor te bereiden op toetsen. Maar hoewel deze machines steeds beter worden in lezen en redeneren, blijft er een kritische vraag over: begrijpen ze werkelijk de visuele wereld van de geneeskunde? In vakgebieden zoals de oogheelkunde, de studie van de ogen, hangt de diagnose vaak af van het herkennen van subtiele patronen in foto's van het netvlies of de binnenkant van een oog. Voor een menselijke arts is zien geloven. Voor een machine is zien een veel grotere uitdaging. Nu deze tools meer geïntegreerd raken in het onderwijs, moeten docenten weten of ze slechts kennis nabootsen of dat ze daadwerkelijk kunnen zien wat een student ziet.
Om het antwoord te vinden, onderwierp een team van onderzoekers van de Universiteit van Porto in Portugal vijf van de meest geavanceerde kunstmatige intelligentiesystemen aan een test tegenover vierdejaars medische studenten. De onderzoekers verzamelden 89 meerkeuzevragen uit echte oogheelkundige examens die in 2025 aan studenten werden afgenomen. Deze vragen bestreken een breed scala aan oogziekten, van glaucoom tot netvliesziekten. De set bevatte 77 vragen die alleen door tekst te lezen beantwoord konden worden, en 12 vragen die vereisten dat de testnemer naar een foto of een medische afbeelding keek om het juiste antwoord te vinden. De onderzoekers voerden vervolgens elke vraag, samen met de bijbehorende afbeelding waar van toepassing, in bij vijf verschillende AI-systemen: GPT-4.1 Auto, GPT-5.2 Auto, Gemini 3 Flash, Grok 4.1 Auto en Claude Sonnet 4.5. De computers kregen geen extra hulp, geen toegang tot internetzoekopdrachten en geen kans om om verduidelijking te vragen; ze hoefden simpelweg de beste optie te kiezen uit de vijf verstrekte mogelijkheden, precies zoals een student dat zou doen.
De resultaten toonden een opvallend verschil tussen hoe goed de machines woorden versus afbeeldingen hanteerden. Bij de vragen die alleen uit tekst bestonden, presteerden de kunstmatige intelligentiesystemen met opmerkelijke vaardigheid. Drie van de vijf systemen behaalden meer dan 90 procent van de juiste antwoorden, waarbij de beste performer, Gemini 3 Flash, een nauwkeurigheid van 95,5 procent bereikte. Ter vergelijking: de gemiddelde medische student behaalde ongeveer 73 procent van de vragen goed. Dit betekent dat de beste AI-systemen op papier gebaseerde vragen beter presteerden dan de overgrote meerderheid van de menselijke studenten, waarmee ze in de hoogste percentielen van de klas vielen. Echter, het verhaal veranderde volledig wanneer de vragen afbeeldingen bevatten. Wanneer de vraag vereiste dat er naar een foto van een oog werd gekeken, daalde de prestatie van vier van de vijf AI-systemen aanzienlijk. Terwijl de menselijke studenten hun niveau van nauwkeurigheid behielden, ongeacht of de vraag tekst- of beeldgebaseerd was, worstelden de machines met het interpreteren van de visuele gegevens. Zo daalde één systeem dat 98,7 procent scoorde op tekstvragen naar 75 procent op beeldvragen. Een ander daalde van 96 naar 67 procent. Alleen één systeem, GPT-4.1 Auto, vertoonde geen significant verschil tussen de twee formaten, maar dit had ook de laagste algemene score van alle machines.
De onderzoekers keken ook naar hoe de antwoorden van de machines vergeleken met die van de studenten om te zien of ze dezelfde fouten maakten. Ze ontdekten dat de AI-systemen niet simpelweg de studenten kopieerden. Sterker nog, de systemen die de meeste vragen goed hadden, waren vaak de systemen die het meest verschilden van de meerderheid van de studenten. Deze hoogpresterende machines beantwoordden veel vragen correct die de meeste studenten fout hadden, wat suggereert dat ze toegang hadden tot een ander soort kennis of redeneerproces. Omgekeerd was het systeem met de laagste algemene nauwkeurigheid, GPT-4.1 Auto, degene die het dichtst bij het patroon van de studenten lag. Dit geeft aan dat hoewel de machines krachtig zijn, ze niet noodzakelijkerwijs als mensen denken, en hun fouten niet hetzelfde zijn als menselijke fouten. De studie toonde ook aan dat de machines beter waren in het beantwoorden van vragen die makkelijker waren voor de studenten, wat suggereert dat de moeilijkheid van de vraag zowel mensen als machines op een vergelijkbare manier beïnvloedt.
Ondanks de hoge scores waarschuwen de onderzoekers dat deze resultaten niet betekenen dat de machines klaar zijn om artsen te vervangen of dat ze beschikken over ware klinische competentie. De studie werd uitgevoerd op een specifieke set vragen van een enkele universiteit, en het aantal beeldgebaseerde vragen was relatief klein. De auteurs benadrukken dat hoewel deze tools uitstekend kunnen zijn voor het herhalen van feiten en het voorbereiden op schriftelijke examens, ze nog niet kunnen worden vertrouwd voor het interpreteren van de complexe visuele bevindingen die centraal staan in de oogzorg. Het vermogen om naar het oog van een patiënt te kijken en een diagnose te stellen, is een vaardigheid die meer vereist dan alleen het selecteren van de juiste letter op een toets. Voor nu dienen deze kunstmatige intelligentiesystemen als krachtige studiehulpmiddelen die studenten kunnen helpen leren, maar ze blijven verschillend van het menselijke vermogen om de visuele wereld van de geneeskunde te zien en te begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.