Large Language Model Responses to Patient Questions About Return to Activities of Daily Living After Knee Arthroplasty: A Multidimensional Evaluation Before and After Plain-Language Prompting
Deze studie evalueert hoe prompts in gewone taal de Turkse reacties van ChatGPT, Gemini en Claude met betrekking tot de terugkeer naar dagelijkse activiteiten na knieartroplastiek beïnvloeden, waarbij werd vastgesteld dat hoewel de leesbaarheid en begrijpelijkheid verbeterden, de volledigheid en de kwaliteit van de behandelingsinformatie vaak afnamen, wat wijst op de noodzaak van professionele beoordeling voordat dergelijke door AI gegenereerde begeleiding wordt gebruikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Na een grote knieprotheseoperatie gaat de weg naar herstel niet alleen over het genezen van het gewricht; het gaat over het terugvorderen van een leven. Patiënten worden geconfronteerd met een lange lijst praktische vragen: Wanneer mogen ze weer autorijden? Hoe snel kunnen ze de trap op? Welke dagelijkse klusjes zijn veilig om te proberen? Hoewel artsen de eerste routekaart bieden, is de tijd die in het ziekenhuis wordt doorgebracht vaak te kort om elke specifieke zorg te beantwoorden die ontstaat zodend de persoon thuiskomt. Daarom wenden velen zich tot het internet voor begeleiding, waarbij ze steeds vaker kunstmatige intelligentiesystemen om hulp vragen. Deze computerprogramma's, bekend als grote taalmodellen, zijn ontworpen om menselijke taal te begrijpen en antwoorden te genereren die klinken als een deskundige gesprekspartner. Ze beloven de gaten in de patiënteneducatie op te vullen door directe, toegankelijke adviezen te bieden over wanneer en hoe men kan terugkeren naar normale activiteiten.
Echter, een nieuwe studie van onderzoekers uit Turkije stelt een kritische vraag: Is het advies dat deze machines geven eigenlijk goed genoeg om te vertrouwen? De onderzoekers wilden weten of deze kunstmatige intelligenties systemen veilige, volledige en duidelijke instructies konden bieden aan mensen die herstellen van een knieoperatie, en of het vragen aan hen om "eenvoudig te spreken" hun antwoorden beter of slechter zou maken. Ze richtten zich op drie populaire systemen — ChatGPT, Gemini en Claude — en testten deze met echte vragen die patiënten in Turkije daadwerkelijk in zoekmachines typten. Het doel was om te zien of deze tools een betrouwbare partner in het herstel konden zijn of dat ze patiënten wellicht met onvolledige of verwarrende informatie zouden achterlaten.
De onderzoekers zetten een zorgvuldig experiment op om deze systemen te testen. Ze verzamelden twaalf veelvoorkomende vragen die patiënten stellen na een knieoperatie, variërend van pijnbeheersing tot aankleden en rondbewegen in huis. Ze stelden deze vragen aan elk van de drie kunstmatige intelligentiemodellen in hun oorspronkelijke vorm. Daarna vroegen ze dezelfde modellen om de vragen opnieuw te beantwoorden, maar dit keer voegden ze een specifieke instructie toe: "Leg dit uit op een manier die gemakkelijker te begrijpen is." Deze tweede stap was ontworpen om te zien of het dwingen van de machines om eenvoudige taal te gebruiken, hun behulpzaamheid zou verbeteren. Twee fysiotherapeuten, die niet wisten welk model welk antwoord had geproduceerd, lazen vervolgens elk antwoord. Ze beoordeelden de antwoorden op basis van verschillende criteria: of de medische feiten correct waren, of het advies veilig was, hoe compleet de informatie was en hoe gemakkelijk het te lezen en op te volgen was.
De resultaten onthulden een complex beeld van sterktes en zwaktes. Op de meest vitale punten presteerden de kunstmatige intelligentiesystemen zeer goed. Elk gegenereerd antwoord was medisch accuraat en veilig, wat betekent dat geen van de machines advies gaf dat een patiënt zou schaden of de gevestigde medische kennis zou tegenspreken. Dit is een belangrijke bevinding, die suggereert dat deze tools voor algemene veiligheid al behoorlijk betrouwbaar zijn. Echter, toen de onderzoekers keken naar hoe compleet de antwoorden waren, veranderde het verhaal. Wanneer de modellen werden gevraagd hun taal te vereenvoudigen, werden twee van hen — ChatGPT en Claude — feitelijk minder compleet. Ze lieten belangrijke details weg, zoals specifieke tijdlijnen voor herstel of noodzakelijke voorzorgsmaatregelen, in een poging om eenvoudiger te klinken. Het derde model, Gemini, slaagde erin om de antwoorden compleet te houden, zelfs na het vereenvoudigen van de taal, en presteerde hiermee beter dan de anderen op dit specifieke gebied.
De studie vond ook dat hoewel de taal makkelijker te lezen werd, de kwaliteit van de informatie met betrekking tot behandelkeuzes achteruitging. De scores voor hoe goed de antwoorden verschillende behandelopties uitlegden en besluitvorming ondersteunden, daalden aanzienlijk voor ChatGPT en Claude na het verzoek tot vereenvoudiging. Het lijkt erop dat wanneer deze machines proberen eenvoudiger te spreken, ze soms de nuance en diepgang weghalen die patiënten nodig hebben om geïnformeerde keuzes te maken. Bovendien, hoewel de antwoorden makkelijker te lezen werden, waren ze niet noodzakelijkerwijs actiegericht. De onderzoekers vonden dat de instructies over alle modellen heen slechts voor ongeveer zestig procent actiegericht waren. Dit betekent dat hoewel de tekst duidelijk was, deze vaak een gebrek had aan de specifieke, stapsgewijze details die een patiënt nodig heeft om een taak daadwerkelijk veilig uit te voeren, zoals precies hoe een ledemaat te bewegen of hoe vaak een oefening te doen.
De onderzoekers concludeerden dat hoewel deze kunstmatige intelligentietools accurate en veilige algemene informatie kunnen bieden, ze nog niet klaar zijn om het gepersonaliseerde advies van een fysiotherapeut te vervangen. Een machine vragen om in gewone taal te spreken maakt de tekst makkelijker leesbaar, maar het kan ook ervoor zorgen dat het de cruciale details verliest die het advies nuttig en volledig maken. De studie suggereert dat deze tools als een nuttige aanvulling op de patiënteneducatie kunnen dienen, maar dat hun output beoordeeld en afgestemd moet worden door een zorgprofessional voordat een patiënt deze gebruikt om zijn of haar eigen herstel te beheren. De beste aanpak blijft een partnerschap waarbij technologie de initiële informatie levert en een menselijke expert ervoor zorgt dat deze aansluit bij de specifieke behoeften en veiligheidseisen van de individuele patiënt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.