Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

In de moderne kliniek is de geest van een arts een krachtig instrument, jarenlang getraind om het verhaal van een patiënt, fysieke symptomen en testresultaten te verbinden tot een helder beeld van wat er mis is. Dit proces van klinische redenering is de ruggengraat van de geneeskunde, maar het is ook een vaardigheid die lang nodig heeft om te beheersen. Onlangs is er een nieuw soort digitale geest opgekomen: grote taalmodellen. Dit zijn kunstmatige intelligentiesystemen die getraind zijn op enorme hoeveelheden tekst en in staat zijn om menselijke taal te lezen, te begrijpen en te genereren met opmerkelijke vloeiendheid. Ze hebben veelbelovende resultaten laten zien bij het helpen met alles van het schrijven van brieven tot het beantwoorden van algemene vragen. Maar in een veld dat zo precies en visueel is als de oogheelkunde, waar een diagnose kan afhangen van subtiele details in een afbeelding of een specifiek patroon van symptomen, blijft het onduidelijk hoe goed deze digitale assistenten de complexiteit van ziekten werkelijk begrijpen. De vraag is niet langer alleen of ze de taal van de geneeskunde spreken, maar of ze kunnen denken als een specialist wanneer ze geconfronteerd worden met een moeilijke casus.

Een team van onderzoekers zette zich schare om deze vraag te testen met behulp van twee van de meest geavanceerde kunstmatige intelligentiesystemen die beschikbaar zijn: DeepSeek-R1 en GPT-4o. Ze kozen ervoor om zich te concentreren op de oogheelkunde, de tak van de geneeskunde die gewijd is aan het oog, omdat dit een hoog niveau van gespecialiseerde kennis en het vermogen vereist om veel verschillende stukjes informatie af te wegen. Om een eerlijke en rigoureuze test te creëren, vroegen de onderzoekers de computers niet om naar echte patiënten of werkelijke oogscans te kijken. In plaats daarvan gebruikten ze drieëndertig gestandaardiseerde casestudies afkomstig uit een nationale database die wordt gebruikt voor de opleiding en examinering van oogartsen in China. Deze casussen bestreken een breed scala aan aandoeningen, van netvliesziekten en glaucoom tot letsels en tumoren, die de scenario's vertegenwoordigen die een specialist in zijn dagelijkse werk zou kunnen tegenkomen. De onderzoekers vroegen beide kunstmatige intelligentiemodellen om op te treden als ervaren oogartsen. Ze leverden de tekst van elke casus aan en vroegen om een diagnose, een lijst met andere mogelijke aandoeningen die de symptomen zouden kunnen verklaren, en een behandelplan.

Om de resultaten objectief te waarborgen, beoordeelden drie ervaren, gecertificeerde oogartsen de antwoorden die door de twee kunstmatige intelligentiesystemen waren gegeven. De experts wisten niet welk model welk antwoord had geschreven. Ze scoorden elk antwoord op basis van twee hoofdcriteria: nauwkeurigheid en volledigheid. Nauwkeurigheid mat hoe correct het medische advies was, terwijl volledigheid mat of het antwoord alle noodzakelijke details dekte zonder iets weg te laten. De experts gebruikten een eenvoudig scoresysteem, waarbij punten werden gegeven voor hoe goed de antwoorden overeenkwamen met de standaard, correcte oplossingen uit de trainingsdatabase. Dit proces stelde de onderzoekers in staat om de prestaties van de twee digitale geesten direct te vergelijken met de gouden standaard van menselijke expertise.

De resultaten toonden een duidelijk verschil tussen de twee systemen. Over alle beoordeelde casussen heen leverde DeepSeek-R1 consequent antwoorden die nauwkeuriger en vollediger waren dan die van GPT-4o. Wanneer de experts keken naar de specifieke taak van het identificeren van de juiste ziekte, kreeg DeepSeek-R1 een gemiddeld cijfer van 8,04 op 10, terwijl GPT-4o een 6,46 scoorde. De kloof was nog groter toen de modellen werden gevraagd om andere mogelijke aandoeningen op te sommen, een taak die bekend staat als differentiaaldiagnose. Hier behaalde DeepSeek-R1 een score van 7,52 vergeleken met 5,50 voor GPT-4o. Wat betreende behandelplannen presteerde DeepSeek-R1 opnieuw beter dan het andere model, met een score van 7,62 tegenover 6,65. Het verschil zat niet alleen in de definitieve cijfers; de experts merkten ook op dat de antwoorden van DeepSeek-R1 grondiger waren en meer van de vereiste elementen in hun uitleg dekten.

De studie vond dat het voordeel van DeepSeek-R1 het meest uitgesproken was in gebieden van de oogheelkunde die complexe, meerstapsdenkprocessen vereisen. Aandoeningen zoals ziekten van het netvlies, glaucoom, stoornissen van de oogzenuw en problemen met de oogstand en visuele ontwikkeling vertoonden de grootste prestatiekloof. Dit zijn de soorten casussen waarbij een arts veel verschillende aanwijzingen moet synthetiseren om tot een conclusie te komen. In contrast hiermee, voor aandoeningen met meer voor de hand liggende of duidelijke kenmerken, zoals bepaalde oogletsels of oppervlakkige ziekten, was het verschil tussen de twee modellen kleiner. Dit suggereert dat de specifieke manier waarop DeepSeek-R1 is getraind, met een zware focus op geavanceerde redenering, het een voorsprong kan geven in situaties waarin het antwoord niet onmiddellijk duidelijk is en zorgvuldige deductie vereist.

Ondanks deze veelbelovende resultaten waren de onderzoekers voorzichtig om hun bevindingen te presenteren als een voorlopige stap in plaats van een definitief oordeel. De studie werd beperkt door het feit dat deze alleen tekstgebaseerde casussen gebruikte, wat betekent dat de kunstmatige intelligentiesystemen nooit daadwerkelijke beelden van ogen hebben gezien, die cruciaal zijn voor de realistische diagnose. De steekproefomvang van drieëndertig casussen was ook relatief klein, en de evaluatie vertrouwde op de subjectieve oordelen van drie menselijke experts. De auteurs benadrukten dat deze resultaten niet betekenen dat een van beide kunstmatige intelligentiesystemen klaar is om een menselijke arts te vervangen of om direct in een ziekenhuis beslissingen voor patiënten te nemen. De prestaties van deze modellen kunnen snel veranderen naarmate ze worden bijgewerkt, en de specifieke versies die begin 2025 werden getest, weerspiegelen mogelijk niet de capaciteiten van toekomstige systemen.

Uiteindelijk dient dit werk als een belangrijke benchmark voor het begrijpen van waar kunstmatige intelligentie staat in het gespecialiseerde veld van de oogheelkunde. Het demonstreert dat een van de nieuwere modellen, DeepSeek-R1, een sterker vermogen heeft getoond om door complexe medische casussen te redeneren dan de gevestigde GPT-4o in deze specifieke context. Echter, de studie concludeert dat er nog veel werk nodig is. Toekomstig onderzoek moet deze systemen testen met echte beelden en in live klinische omgevingen om te zien of ze artsen werkelijk kunnen ondersteunen in de rommelige, complexe realiteit van de patiëntenzorg. Voor nu suggereren de bevindingen dat hoewel kunstmatige intelligentie een krachtig instrument wordt voor medische redenering, het nog steeds een werk in uitvoering is, en dat de rol ervan in de kliniek zal afhangen van voortdurende validatie en zorgvuldige integratie met menselijke expertise.