Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
Diese Querschnittsstudie ergab, dass fünf generative KI-Systeme bei textbasierten Fragen zur ophthalmologischen Grundlagenlehre die Medizinstudierenden im vierten Studienjahr signifikant übertrafen, während die meisten Systeme bei bildbasierten Aufgaben Schwierigkeiten hatten, was ihr Potenzial als Bildungswerkzeuge hervorhebt, aber gleichzeitig davor warnt, Prüfungsleistung mit klinischer Kompetenz gleichzusetzen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den Hörsälen der modernen Medizin ist ein neues Kind der Wissenschaft leise in den Vorlesungssaal getreten. Es schläft nicht, es vergisst nicht und es kann tausende Seiten in einer Sekunde lesen. Dies ist die generative künstliche Intelligenz, eine Art von Computerprogramm, das darauf ausgelegt ist, Sprache zu verstehen und Antworten zu generieren, die klingen, als kämen sie von einem Menschen. Diese Systeme, oft als große Sprachmodelle bezeichnet, sind zu gängigen Werkzeugen des Lernens geworden, die Schülern helfen, komplexe Ideen zu erklären oder sich auf Prüfungen vorzubereiten. Doch während diese Maschinen immer besser im Lesen und im logischen Denken werden, bleibt eine entscheidende Frage: Verstehen sie wirklich die visuelle Welt der Medizin? In Feldern wie der Ophthalmologie, der Lehre der Augen, hängt die Diagnose oft davon ab, subtile Muster in Fotografien der Retina oder des Inneren eines Auges zu erkennen. Für einen menschlichen Arzt ist Sehen Glauben. Für eine Maschine ist das Sehen eine viel größere Herausforderung. Da diese Werkzeuge immer stärker in die Ausbildung integriert werden, müssen Pädagogen wissen, ob sie lediglich Wissen nachahmen oder ob sie tatsächlich sehen können, was ein Student sieht.
Um die Antwort zu finden, unterzog ein Team von Forschern der Universität Porto in Portugal fünf der fortschrittlichsten Systeme der künstlichen Intelligenz einem Test gegen Medizinstudierende im vierten Jahr. Die Forscher sammelten 89 Multiple-Choice-Fragen aus echten Ophthalmologie-Prüfungen, die Studierenden im Jahr 2025 gegeben wurden. Diese Fragen deckten ein breites Spektrum an Augenerkrankungen ab, von Glaukom bis hin zu Netzhauterkrankungen. Der Datensatz enthielt 77 Fragen, die allein durch das Lesen von Text beantwortet werden konnten, und 12 Fragen, die erforderten, dass der Testende ein Foto oder ein medizinisches Bild betrachtete, um die richtige Antwort zu finden. Die Forscher speisten dann jede einzelne Frage, zusammen mit dem dazugehörigen Bild, sofern anwendbar, in fünf verschiedene KI-Systeme ein: GPT-4.1 Auto, GPT-5.2 Auto, Gemini 3 Flash, Grok 4.1 Auto und Claude Sonnet 4.5. Die Computer erhielten keine zusätzliche Hilfe, keinen Internetzugriff und keine Möglichkeit, um Klärung zu bitten; sie mussten einfach die beste Antwort aus den fünf vorgegebenen Optionen wählen, genau wie ein Student.
Die Ergebnisse zeigten eine markante Kluft zwischen der Leistung der Maschinen bei Wörtern gegenüber Bildern. Bei den reinen Textfragen agierten die Systeme der künstlichen Intelligenz mit bemerkenswerter Geschicklichkeit. Drei der fünf Systeme beantworteten mehr als 90 Prozent der Fragen korrekt, wobei der leistungsstärkste Akteur, Gemini 3 Flash, eine Genauigkeit von 95,5 Prozent erreichte. Im Vergleich dazu beantworteten die durchschnittlichen Medizinstudierenden etwa 73 Prozent der Fragen richtig. Das bedeutet, dass die besten KI-Systeme bei textbasierten Fragen die überwältignde Mehrheit der menschlichen Studenten übertrafen und damit in den obersten Perzentilen des Kurses rangierten. Die Geschichte änderte sich jedoch völlig, als die Fragen Bilder enthielten. Wenn die Frage das Betrachten eines Bildes eines Auges erforderte, sank die Leistung von vier der fünf KI-Systeme signifikant. Während die Medizinstudierenden ihre Genauigkeit unabhängig davon beibehielten, ob es sich um Text- oder bildbasierte Fragen handelte, hatten die Maschinen Schwierigkeiten, die visuellen Daten zu interpretieren. Beispielsweise sank ein System, das 98,7 Prozent bei Textfragen erzielte, auf 75 Prozent bei Bildfragen. Ein anderes fiel von 96 Prozent auf 67 Prozent. Nur ein System, GPT-4.1 Auto, zeigte keinen signifikanten Unterschied zwischen den beiden Formaten, hatte aber auch die niedrigste Gesamtpunktzahl aller Maschinen.
Die Forscher untersuchten auch, wie die Antworten der Maschinen mit den Antworten der Studenten verglichen sich, um zu sehen, ob sie dieselben Fehler machten. Sie fanden heraus, dass die KI-Systeme nicht einfach die Studenten kopierten. Tatsächlich waren die Systeme, die die meisten Fragen richtig beantworteten, oft diejenigen, die am stärksten von der Mehrheit der Studenten abwichen. Diese leistungsstarken Maschinen beantworteten viele Fragen korrekt, die die meisten Studenten falsch beantworteten, was darauf hindeutet, dass sie auf eine andere Art von Wissen oder einem anderen Denkprozess zugriffen. Umgekehrt war das System mit der niedrigsten Gesamtgenauigkeit, GPT-4.1 Auto, jenes, das am engsten mit dem Antwortmuster der Studenten übereinstimmte. Dies deutet darauf hin, dass die Maschinen zwar leistungsfähig sind, aber nicht zwangsläufig wie Menschen denken und dass ihre Fehler nicht dieselben wie die menschlichen Fehler sind. Die Studie zeigte auch, dass die Maschinen besser darin waren, Fragen zu beantworten, die für die Studenten einfacher zu lösen waren, was darauf hindeutet, dass die Schwierigkeit der Frage sowohl Menschen als auch Maschinen in ähnlicher Weise beeinflusst.
Trotz der hohen Punktzahlen mahnen die Forscher zur Vorsicht und betonen, dass diese Ergebnisse nicht bedeuten, dass die Maschinen bereit sind, Ärzte zu ersetzen, oder dass sie über wahre klinische Kompetenz verfügen. Die Studie wurde anhand eines spezifischen Satzes von Fragen einer einzelnen Universität durchgeführt, und die Anzahl der bildbasierten Fragen war relativ gering. Die Autoren betonen, dass diese Werkzeuge zwar exzellent zum Wiederholen von Fakten und zur Vorbereitung auf schriftliche Prüfungen dienen können, man ihnen aber noch nicht zutrauen kann, die komplexen visuellen Befunde zu interpretieren, die zentral für die Augenheilkunde sind. Die Fähigkeit, in das Auge eines Patienten zu blicken und eine Diagnose zu stellen, ist eine Fertigkeit, die mehr erfordert als nur das Auswählen des richtigen Buchstabens in einem Test. Vorerst dienen diese Systeme der künstlichen Intelligenz als kraftvolle Lernhilfen, die Studenten beim Lernen unterstützen können, aber sie bleiben von der menschlichen Fähigkeit verschieden, die Welt der Medizin zu sehen und zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.