Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

Mondkanker is een ernstige aandoening die precieze, gecoördineerde zorg vereist. Wanneer een patiënt wordt gediagnosticeerd, moeten artsen beslissen over een behandelpad dat vaak chirurgie, bestraling of medicatie omvat, afhankelijk van de exacte locatie van de tumor en hoe ver deze zich heeft uitgebreid. Deze beslissingen worden geleid door strikte medische regels, bekend als klinische richtlijnen, die door experts zijn geschreven om ervoor te zorgen dat elke patiënt de best mogelijke zorg krijgt op basis van de nieuwste wetenschap. Onlangs is er een nieuw type computerprogramma opgekomen, een groot taalmodel, dat grote hoeveelheden tekst kan lezen en vloeiende antwoorden op vragen kan schrijven, wat velen ertoe aanzet zich af te vragen of deze programma's artsen kunnen helpen bij het samenvatten van complexe regels of het suggereren van behandelplannen. Echter, het feit dat een computer duidelijk spreekt, betekent niet dat het medische advies correct is. In de hooggespannen wereld van de kankerzorg zou een zelfverzekerd maar foutief antwoord gevaarlijk kunnen zijn, wat het essentieel maakt om te testen of deze digitale hulpmiddelen de medische richtlijnen werkelijk kunnen begrijpen en toepassen.

Een team van onderzoekers van de Jilin Universiteit in China begon dit idee te testen door drie van de meest geavanceerde grote taalmodellen aan de slag te zetten bij gevallen van mondkanker. Ze kozen drie specifieke modellen: GPT-4o, DeepSeek-R1 en Grok-3. Om te zien hoe goed deze programma's presteerden, creëerden de onderzoekers een gestandaardiseerde test gebaseerd op de officiële richtlijnen van het National Comprehensive Cancer Network voor hoofd- en halskanker. De test bestond uit twee hoofdonderdelen. Ten eerste kregen de modellen de opdracht om op te treden als deskundige chirurgen en de regels voor de behandeling van mondkanker uit te leggen aan een persoon zonder medische opleiding. Ze moesten de oorzaken behandelen, hoe de ziekte wordt vastgesteld, en de stappen voor behandeling en herstel. Ten tweede kregen de modellen gestandaardiseerde scenario's en klinische casussen van mondkanker voorgelegd en werd hen gevraagd een volledig beheersplan te bieden, inclusief wat de diagnose zou moeten zijn, hoe de ziekte gestaafd moet worden, en welke chirurgie of bestraling precies gepast zou zijn.

Om de antwoorden te beoordelen, hebben drie ervaren chirurgen op het gebied van orale en maxillofaciale chirurgie de resultaten beoordeeld. Ze scoorden de reacties op een schaal van nul tot tien voor de taak van het samenvatten en op een schaal van nul tot honderd voor de taak van casusbeheer, waarbij ze letten op factoren zoals nauwkeurigheid, helderheid en of het behandelplan de officiële regels volgde. De resultaten lieten zien dat de modellen verschillend presteerden, en geen enkel programma perfect was in alles. Bij de taak van het samenvatten van de richtlijnen voor een algemeen publiek, ontving het DeepSeek-R1-model de hoogste algemene score van 8,8 van de 10, gevolgd door GPT-4o met 8,3 en Grok-3 met 7,8. DeepSeek-R1 scoorde ook het hoogst op specifieke gebieden zoals helderheid en logische samenhang.

Toen de modellen overgingen naar de moeilijkere taak van het beheren van specifieke patiëntencasussen, waren de scores over het algere hoger, maar de verschillen tussen de modellen werden duidelijker. DeepSeek-R1 behaalde opnieuw de hoogste integrale score van 87,44 van de 100. Het presteerde bijzonder goed in het voorstellen van de juiste behandelplannen, het plannen van de omvang van de chirurgie en het beoordelen van de prognose, oftewel de waarschijnlijke uitkomst, voor de patiënt. Grok-3 kwam op de tweede plaats met een score van 77,77, en GPT-4o ontving een score van 68,61. Interessant genoeg kreeg Grok-3 de hoogste score voor het voorstellen van de juiste bestralingsdosis, terwijl DeepSeek-R1 in de meeste categorieën leidde. De onderzoekers merkten ook op dat de tekst-gelijkenisscores, die meten hoe nauw de woorden van de computer overeenkwamen met een referentieantwoord, niet altijd overeenkwamen met de medische nauwkeurigheid beoordeeld door menselijke experts. Dit suggereert dat een computer woorden kan schrijven die erg lijken op het juiste antwoord, maar toch de medische details fout hebben.

Ondanks de hoge scores behaald door het best presterende model, vonden de onderzoekers significante gebreken die voorkomen dat deze hulpmiddelen als onafhankelijke besluitvormers kunnen worden ingezet. Alle drie de modellen verwarden mondkanker soms met keelkanker, een cruciale fout omdat de twee ziekten verschillend worden behandeld. Ze bedachten ook af en toe specifieke details, zoals exacte chirurgische marges of antibioticagebonden schema's, die niet werden ondersteund door de casus van de patiënt of de officiële richtlijnen. De onderzoekers observeerden dat hoewel de modellen informatie goed konden organiseren, ze een gebrek hadden aan het diepe, contextuele begrip dat nodig is om een plan af te stemmen op de unieke situatie van een specifieke patiënt. De studie concludeert dat deze kunstmatige intelligentie-hulpmiddelen moeten worden beschouwd als assistenten die artsen helpen bij het opstellen van plannen of het samenvatten van informatie, in plaats van als autonome artsen die de definitieve beslissing kunnen nemen. De auteurs benadrukken dat menselijke experts de output altijd moeten verifiëren, en zij pleiten voor grotere studies om verder te verfijnen hoe deze technologieën veilig de kankerzorg kunnen ondersteunen.