Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

Wanneer een man de diagnose prostaatkanker krijgt, gaat het pad dat voor hem ligt vaak gepaard met een belangrijke beslissing: of hij de gehele prostaatklier verwijdert met behulp van een robotgestuurde chirurgische techniek. Deze procedure, bekend als robot-geassisteerde radicale prostatectomie, is een standaardbehandeling voor gelokaliseerde ziekte, maar het brengt een complex web aan informatie met zich mee die een patiënt moet begrijpen. Ze moeten weten hoe de operatie werkt, hoe het herstel eruitziet, hoe het hun vermogen om de blaas te controleren of hun seksuele functie te behouden kan beïnvloeden, en hoe artsen zullen controleren of de kanker terugkeert. In het verleden vertrouwden patiënten op gedrukte brochures of een enkel gesprek met hun chirurg om deze vragen te beantwoorden. Tegenwoordig wenden velen zich tot kunstmatige intelligentie-chatbots voor directe antwoorden. Deze grote taalmodellen kunnen tekst genereren die lijkt op en klinkt als menselijk advies, maar de cruciale vraag blijft: kunnen ze erop vertrouwd worden om een dergelijke levensveranderende medische reis accuraat en duidelijk uit te leggen?

Een team van onderzoekers van het Affiliated Hospital van de North Sichuan Medical College zette zich af om precies deze vraag te testen. Ze richtten zich op drie populaire systemen voor kunstmatige intelligentie: ChatGPT, DeepSeek en Doubao. Het team vroeg de machines niet om een operatie uit te voeren of een specifieke persoon te diagnosticeren; in plaats daarvan behandelden ze de modellen als informatieverschaffers. Ze stelden een lijst samen van vijfentwintig verschillende vragen die een patiënt zou kunnen stellen tijdens verschillende stadia van het zorgproces, van de initiële screening op kanker tot de langdurige follow-up na de operatie. Deze vragen besloegen alles, van het interpreteren van testresultaten tot het begrijpen van de risico's van zenuwschade. De onderzoekers voerden vervolgens elke van deze vijfentwintig vragen in in alle drie de modellen, wat resulteerde in een totaal van vijfenzeventig afzonderlijke reacties. Om een eerlijke test te garanderen, werden de vragen afzonderlijk gesteld in aparte gesprekken, zodat de modellen niet konden leren van eerdere antwoorden in dezelfde chatsessie.

Zodra de reacties waren verzameld, hadden de onderzoekers een manier nodig om de kwaliteit ervan te beoordelen. Ze ronselden drie medische experts die optraden als blinde beoordelaars, wat betekende dat zij niet wisten welke kunstmatige intelligentie welk antwoord had geschreven. Deze experts evalueerden de tekst met behulp van verschillende gevestigde instrumenten die ontworpen zijn om de kwaliteit van patiënteneducatie te meten. Ze keken naar de vraag of de informatie volledig was, of het praktisch advies bood dat een patiënt daadwerkelijk kon gebruiken, en of het op een manier was geschreven die gemakkelijk te begrijpen was. Ze controleerden ook op specifieke fouten, zoals verzonnen feiten of verouderde medische aanbevelingen, en berekenden hoe moeilijk de tekst zou zijn voor een gemiddeld persoon om te lezen. Het doel was om te zien of één machine consequent beter presteerde dan de anderen of dat ze allemaal met dezelfde problemen kampten.

De resultaten toonden aan dat hoewel alle drie de modellen over het algemeen veilige en accurate informatie produceerden, ze duidelijke persoonlijkheden en sterktes hadden. Eén model, ChatGPT, bood consequent het meest actiegerichte advies. Wanneer een patiënt vroeg wat de volgende stap was, was dit model eerder geneigd om duidelijke, stapsgewijze instructies te geven die een persoon kon volgen. Het scoorde ook hoger op maatstaven voor hoe goed de informatie gestructureerd was om de besluitvorming van een patiënt te ondersteunen. Een ander model, DeepSeek, produceerde tekst die merkbaar gemakkelijker te lezen was. De zinnen waren iets minder complex en het vocabulaire was enigszins toegankelijker dan bij de anderen. Toch was zelfs de "gemakkelijkere" tekst van DeepSeek nog steeds geschreven op een niveau dat voor veel volwassenen moeilijk comfortabel te lezen zou zijn, waarbij het het leesniveau overschreed dat normaal gesproken voor publieke gezondheidsinformatie wordt aanbevolen. Het derde model, Doubao, presteerde vergelijkbaar met de anderen wat betreft nauwkeurigheid, maar had meer moeite met leesbaarheid en liet incidenteel belangrijke details weg.

Ondanks deze verschillen toonde de studie aan dat geen enkel model perfect was, en dat geen van hen een vervanging mag zijn voor het advies van een arts. De onderzoekers ontdekten dat hoewel de machines zelden feiten verzonnen of gevaarlijk verouderd advies gaven, ze soms belangrijke informatie weglieten, met name in de reacties van DeepSeek en Doubao. Bovendien waren de menselijke experts die de antwoorden beoordeelden niet altijd het met elkaar eens. Dit gebrek aan overeenstemming suggereert dat het beoordelen van de kwaliteit van medisch advies een moeilijke taak is, zelfs voor getrainde professionals, en dat kleine verschillen in scores tussen de modellen misschien niet zo betekenisvol zijn als ze lijken. De studie benadrukte ook een hardnekkige uitdaging: alle drie de modellen genereerden tekst die te complex was voor de gemiddelde persoon. De medische termen en zinstructuren vereisten een middelbare schoolopleiding of hoger om volledig te kunnen begrijpen, wat een barrière vormt voor veel patiënten die deze informatie het hardst nodig hebben.

De onderzoekers concludeerden dat deze instrumenten voor kunstmatige intelligentie veelbelovend zijn als helpers voor artsen, waarbij ze bijvoorbeeld kunnen dienen als een eerste concept voor educatief materiaal dat een uroloog vervolgens kan beoordelen en verfijnen. Ze kunnen snel uitleg genereren die een breed scala aan onderwerpen dekt, maar ze kunnen nog steeds niet het genuanceerde, gepersonaliseerde gesprek vervangen dat plaatsvindt tussen een chirurg en een patiënt. Een robot kan de risico's van een operatie opsommen, maar kan een patiënt niet in de ogen kijken, de specifieke angsten van een patiënt begrijpen of de unieke balans tussen hun medische geschiedenis en persoonlijke waarden afwegen. Voor nu is het beste gebruik van deze krachtige machines als ondersteuningstool voor clinici, niet als een onafhankelijke bron van medische begeleiding. De studie dient als een herinnering dat, hoewel technologie informatie toegankelijker kan maken, het menselijke element van zorg essentieel blijft om ervoor te zorgen dat informatie niet alleen accuraat is, maar ook echt begrepen wordt.