Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

In de wereld van de kindergeneeskunde bestaat er een aandoening genaamd juveniele idiopathische artritis. Het is een groep ziekten waarbij de gewrichten van een kind zonder duidelijke reden gezwollen en pijnlijk worden, en het kan invloed hebben op hoe ze groeien en bewegen. Omdat de aandoening in veel verschillende vormen voorkomt, moeten artsen zeer zorgvuldig zijn bij het identificeren van de exacte soort die een kind heeft en het kiezen van de juiste behandeling. De regels voor het nemen van deze beslissingen zijn opgeschreven in gedetailleerde gidsen die zijn gemaakt door medische experts. Deze gidsen vertellen artsen wanneer ze met medicijnen moeten beginnen, hoe ze moeten letten op bijwerkingen en hoe ze complexe situaties zoals infecties of oogontsteking moeten afhandelen. Jarenlang waren deze gidsen de vertrouwde kaart voor artsen, maar er is een nieuw soort hulpmiddel aan de horizon verschenen: large language models. Dit zijn computerprogramma's die zijn getraind op enorme hoeveelheden tekst en die antwoorden op vragen kunnen schrijven in vloeiende, mensachtige taal. Ze worden populair voor het vinden van medische informatie, maar niemand wist of ze erop vertrouwd konden worden om de strikte regels van de pediatrische artritiszorg te volgen of dat ze feiten zouden verzinnen die juist klinken maar eigenlijk onjuist zijn.

Een team van onderzoekers in Turkije besloot deze computerprogramma's een serieuze test te onderwerpen. Ze wilden zien of drie van de meest geavanceerde beschikbare modellen vragen over juveniele idiopathische artritis net zo goed konden beantwoorden als een menselijke expert. Hiervoor vroegen ze de computers niet om verhalen te schrijven of over gevoelens te chatten. In plaats daarvan gaven ze hen eenentwintig specifieke vragen gebaseerd op de officiële medische gidsen. Sommige vragen vroegen om eenvoudige feiten, zoals hoe je verschillende soorten van de ziekte van elkaar onderscheidt. Andere vragen gingen over behandelplannen, zoals welk medicijn te geven aan een kind dat niet beter wordt. De moeilijkste vragen waren hypothetische verhalen over patiënten, waarbij de computers moesten uitzoeken wat de beste volgende stap is voor een specifiek kind met een complexe geschiedenis. De onderzoekers vroegen drie verschillende computermodellen om elke vraag te beantwoorden. Om te zorgen dat de test eerlijk verliep, gebruikten ze neutrale labels om de namen van de computers te verbergen en mixten ze de volgorde waarin de antwoorden werden getoond.

Vijf deskundige artsen, specialisten in kindergewrichtsziekten, lazen vervolgens deze antwoorden. Zij wisten niet welke computer welk antwoord had geschreven. Ze beoordeelden elk antwoord op hoe accuraat het was in vergelijking met de officiële gidsen, hoe nuttig het zou zijn in een echte spreekkamer en hoe goed het algemene antwoord was. De resultaten toonden een duidelijk verschil tussen de machines. Eén model, dat de onderzoekers GPT-5.6 Sol noemden, gaf consequent de beste antwoorden. Het scoorde het hoogst op nauwkeurigheid en op bruikbaarheid voor een arts. De andere twee modellen, Gemini 3.1 Pro en Claude Opus 5, presteerden goed maar bleven achter bij de leider. In sommige gebieden, zoals het diagnosticeren van de ziekte, presteerde een van de zwakkere modellen beter dan de andere, maar in andere gebieden, zoals behandelplannen, draaide de volgorde om. Dit bewees dat geen enkele computer perfect was in alles, en dat hun prestaties veranderden afhankelijk van het type vraag dat gesteld werd.

De studie keek ook naar de manier waarop de antwoorden werden geschreven. Eén van de modellen produceerde zeer lange reacties en schreef duizenden woorden over de eenentwintig vragen heen. De onderzoekers verwachtten dat langere antwoorden beter zouden zijn, maar de artsen waren het daar niet mee eens. Het model dat de meeste woorden schreef, kreeg niet de hoogste scores. Sterker nog, het best scorende model was vaak directer. De artsen merkten ook op dat de taal die door alle computers werd gebruikt, vrij moeilijk te lezen was, geschreven op een niveau dat voor een gemiddelde volwassene zonder medische achtergrond lastig te begrijpen zou zijn. Dit suggereert dat hoewel deze hulpmiddelen vloeiende tekst kunnen genereren, ze niet altijd weten hoe ze complexe medische regels voor een algemeen publiek moeten vereenvoudigen.

De belangrijkste bevinding van dit onderzoek is dat deze computerprogramma's een menselijke arts niet kunnen vervangen. Hoewel ze informatie kunnen ophalen en deze in een samenhangend antwoord kunnen ordenen, vervagen ze soms de grens tussen wat een strikte regel is en wat slechts een veelvoorkomend kenmerk van de ziekte is. Ze kunnen een behandeloptie voorstellen die weliswaar mogelijk is, maar niet de beste is, of ze kunnen de details van hoe een ziekte wordt geclassificeerd door elkaar halen. De onderzoekers concludeerden dat deze hulpmiddelen alleen gebruikt mogen worden onder toezicht van een specialist die de feiten kan controleren. De studie toonde aan dat zelfs het beste computermodel een menselijke expert nodig heeft om het werk te verifiëren, vooral wanneer de gezondheid van een kind op het spel staat. De technologie is krachtig, maar in het delicate veld van de pediatrische reumatologie blijft het een hulpmiddel om bij te staan, en niet een zelfstandige beslisser.