Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

In der modernen Klinik ist der Verstand eines Arztes ein mächtiges Werkzeug, das über Jahre hinweg darauf trainiert wurde, die Geschichte eines Patienten, körperliche Anzeichen und Testergebnisse zu einem klaren Bild dessen zu verknüpüren, was nicht stimmt. Dieser Prozess des klinischen Denkens ist das Rückgrat der Medizin, doch es ist auch eine Fähigkeit, deren Beherrschung lange Zeit in Anspruch nimmt. Vor kurzem ist eine neue Art von digitalem Verstand entstanden: große Sprachmodelle. Dies sind Systeme der künstlichen Intelligenz, die auf riesigen Mengen an Text trainiert wurden und in der Lage sind, die menschliche Sprache mit bemerkenswerter Flüssigkeit zu lesen, zu verstehen und zu generieren. Sie haben vielversprechende Ansätze gezeigt, bei allem zu helfen, von dem Schreiben von Briefen bis hin zum Beantworten allgemeiner Fragen. Doch in einem so präzisen und visuellen Bereich wie der Augenheilkunde, in dem eine Diagnose von subtilen Details in einem Bild oder einem spezifischen Muster von Symptomen abhängen kann, bleibt unklar, wie gut diese digitalen Assistenten die Komplexität von Krankheiten wirklich verstehen. Die Frage ist nicht mehr nur, ob sie die Sprache der Medizin sprechen können, sondern ob sie wie ein Spezialist denken können, wenn sie mit einem schwierigen Fall konfrontiert werden.

Ein Team von Forschern unternahm den Versuch, diese Frage zu testen, indem es zwei der fortschrittlichsten verfügbaren Systeme der künstlichen Intelligenz einsetzte: DeepSeek-R1 und GPT-4o. Sie entschieden sich, sich auf die Ophthalmologie zu konzentrieren, den Zweig der Medizin, der sich dem Auge widmet, da diese ein hohes Maß an spezialisiertem Wissen und die Fähigkeit erfordert, viele verschiedene Informationen abzuwägen. Um einen fairen und strengen Test durchzuführen, baten die Forscher die Computer nicht, echte Patienten oder tatsächliche Augen-Scans zu betrachten. Stattdessen verwendeten sie dreiunddreißig standardisierte Fallstudien aus einer nationalen Datenbank, die zur Ausbildung und Prüfung von Augenärzten in China verwendet wird. Diese Fälle deckten ein breites Spektrum an Erkrankungen ab, von Netzhauterkrankungen und Glaukom bis hin zu Verletzungen und Tumoren, welche die Arten von Szenarien repräsentieren, denen ein Spezialist in seinem täglichen Arbeitsalltag begegnen könnte. Die Forscher baten beide Modelle der künstlichen Intelligenz, die Rolle erfahrener Augenärzte einzunehmen. Sie stellten den Text jedes Falls zur Verfügung und forderten eine Diagnose, eine Liste anderer möglicher Erkrankungen, die die Symptome erklären könnten, sowie einen Behandlungsplan an.

Um die Ergebnisse objektiv zu gestalten, bewerteten drei erfahrene, zertifizierte Augenärzte die Antworten, die von den beiden Systemen der künstlichen Intelligenz geliefert wurden. Die Experten wussten nicht, welches Modell welche Antwort geschrieben hatte. Sie bewerteten jede Antwort basierend auf zwei Hauptkriterien: Genauigkeit und Vollständigkeit. Die Genauigkeit maß, wie korrekt der medizinische Rat war, während die Vollständigkeit maß, ob die Antwort alle notwendigen Details abdeckte, ohne etwas auszulassen. Die Experten verwendeten ein einfaches Bewertungssystem und vergaben Punkte dafür, wie gut die Antworten mit den standardmäßigen, korrekten Lösungen aus der Trainingsdatenbank übereinstimmten. Dieser Prozess ermöglichte es den Forschern, die Leistung der beiden digitalen Geister direkt gegen den Goldstandard menschlicher Expertise zu vergleichen.

Die Ergebnisse zeigten einen deutlichen Unterschied zwischen den beiden Systemen. Über alle untersuchten Fälle hinweg lieferte DeepSeek-R1 konsistent Antworten, die genauer und vollständiger waren als die von GPT-4o. Wenn die Experten die spezifische Aufgabe der Identifizierung der korrekten Krankheit betrachteten, erhielt DeepSeek-R1 eine durchschnittliche Punktzahl von 8,04 von 10, während GPT-4o 6,46 erreichte. Die Lücke war noch größer, als die Modelle gebeten wurden, andere mögliche Erkrankungen aufzulisten, eine Aufgabe, die als Differenzialdiagnose bekannt ist. Hier erreichte DeepSeek-R1 eine Punktzahl von 7,52 im Vergleich zu 5,50 für GPT-4o. In Bezug auf die Behandlungspläne übertraf DeepSeek-R1 das andere Modell erneut mit einem Wert von 7,62 gegenüber 6,65. Der Unterschied lag nicht nur in den endgültigen Zahlen; die Experten stellten auch fest, dass die Antworten von DeepSeek-R1 gründlicher waren und mehr der erforderlichen Elemente in ihren Erklärungen abdeckten.

Die Studie ergab, dass der Vorteil von DeepSeek-R1 in Bereichen der Augenheilkunde am ausgeprägtesten war, die komplexes, mehrstufiges Denken erfordern. Erkrankungen wie Netzhautkrankheiten, Glaukom, Erkrankungen des Sehnervs sowie Probleme mit der Augenstellung und der Sehentwicklung zeigten die größten Leistungsunterschiede. Dies sind die Arten von Fällen, in denen ein Arzt viele verschiedene Hinweise synthetisieren muss, um zu einem Schluss zu gelangen. Im Gegensatz dazu war der Unterschied zwischen den beiden Modellen bei Erkrankungen mit offensichtlicheren oder deutlicheren Anzeichen, wie etwa bestimmten Augenverletzungen oder Oberflächenerkrankungen, geringer. Dies deutet darauf darauf hin, dass die spezifische Art und Weise, wie DeepSeek-R1 trainiert wurde – mit einem starken Fokus auf fortgeschrittenes Denken –, ihm in Situationen einen Vorteil verschaffen kann, in denen die Antwort nicht sofort offensichtlich ist und eine sorgfältige Deduktion erfordert.

Trotz dieser vielversprechenden Ergebnisse waren die Forscher vorsichtig, ihre Ergebnisse als vorläufigen Schritt und nicht als endgültiges Urteil darzustellen. Die Studie war dadurch begrenzt, dass sie nur textbasierte Fälle verwendete, was bedeutet, dass die Systeme der künstlichen Intelligenz niemals tatsächliche Bilder von Augen sahen, welche für eine reale Diagnose entscheidend sind. Auch die Stichprobengröße von dreiunddreißig Fällen war relativ klein, und die Bewertung stützte sich auf die subjektiven Urteile von drei menschlichen Experten. Die Autoren betonten, dass diese Ergebnisse nicht bedeuten, dass eines der Systeme der künstlichen Intelligenz bereit ist, einen menschlichen Arzt zu ersetzen oder direkt in einem Krankenhaus Entscheidungen für Patienten zu treffen. Die Leistung dieser Modelle kann sich schnell ändern, wenn sie aktualisiert werden, und die spezifischen Versionen, die Anfang 2025 getestet wurden, spiegeln möglicherweise nicht die Fähigkeiten zukünftiger Systeme wider.

Letztendlich dient diese Arbeit als wichtiger Orientierungspunkt für das Verständnis dessen, wo die künstliche Intelligenz im spezialisierten Bereich der Augenheilkunde steht. Sie zeigt, dass eines der neueren Modelle, DeepSeek-R1, eine stärkere Fähigkeit gezeigt hat, komplexe medizinische Fälle durch logisches Denken zu durchdringen, als das etablierte GPT-4o in diesem spezifischen Kontext. Die Studie kommt jedoch zu dem Schluss, dass noch viel Arbeit geleistet werden muss. Zukünftige Forschung muss diese Systeme mit echten Bildern und in lebenden klinischen Umgebungen testen, um zu sehen, ob sie Ärzte in der unordentlichen, komplexen Realität der Patientenversorgung tatsächlich unterstützen können. Vorerst deuten die Ergebnisse darauf hin, dass die künstliche Intelligenz zwar ein mächtiges Werkzeug für das medizinische Denken wird, sie aber noch ein Arbeitsprozess ist und ihre Rolle in der Klinik von kontinuierlicher Validierung und der sorgfältigen Integration mit menschlicher Expertise abhängen wird.