Evaluation of Large Language Models for Post-Cystectomy Sexual Health Counseling in Women: A Pilot Study

Technische Samenvatting: Evaluatie van Large Language Models voor Seksuele Gezondheidsbegeleiding bij Vrouwen na Cystectomie

Probleemstelling
Vrouwen met musculoskeletale blaaskanker (MIBC) worden geconfronteerd met disproportioneel slechte overlevingskansen en hoge percentages seksuele dysfunctie na een radicale cystectomie. Ondanks het klinische belang van deze kwesties wordt seksuele gezondheidsbegeleiding inconsistent uitgevoerd; vrouwelijke patiënten worden minder vaak dan mannelijke patiënten onderwerp gemaakt aan door de zorgverlener geïnitieerde gesprekken over seksuele functie en psychosociaal welzijn. Hoewel Large Language Models (LLM's) steeds vaker worden ingezet voor patiënteneducatie, blijft hun betrouwbaarheid bij het genereren van richtlijnconforme, empathische en leesbare begeleiding voor deze specifieke, gevoelige populatie onderbelicht. Bestaande literatuur richt zich vaak op klinische nauwkeurigheid, maar verwaarloost de "leesbaarheidskloof", waarbij door AI gegenereerde inhoud vaak de gezondheidsvaardigheden van de algemene bevolking overstijgt, wat bestaande ongelijkheden kan vergroten. Bovendien vormen methodologische beperkingen in eerder onderzoek naar leesbaarheid — specifiek het behandelen van gecorreleerde leesbaarheidsmetrieken als onafhankelijke uitkomsten — een risico op het vergroten van Type I-fouten en het vertroebelen van werkelijke verschillen tussen modellen.

Methodologie
De studie evalueerde drie veelgebruikte LLM's: ChatGPT, Gemini en Perplexity. Het evaluatiekader omvatte de volgende componenten:

• Datageneratie: De modellen werden geprompt met zes klinische vragen afgeleid van de richtlijnen van de American Urological Association (AUA) en de American Society of Clinical Oncology (ASCO) met betrekking tot de zorg na cystectomie. Prompts werden geleverd in twee formaten: langvorm (technische/klinische taal) en kortvorm (lekenstaal). Om overdracht tussen prompts te minimaliseren, werden de reacties gegenereerd in aparte incognito sessies.
• Beoordeling van Adherentie: Twee onafhankelijke beoordelaars scoreerden de 36 gegenereerde reacties (6 vragen × 3 modellen × 2 beoordelaars) aan de hand van een checklist met 4 items gebaseerd op richtlijndomeinen: (1) counseling over complicaties en kwaliteit van leven, (2) discussie over chirurgische opties voor het behoud van de seksuele functie, (3) ondersteunende zorg en mentale gezondheidszorg, en (4) levensstijlmodificaties. Scores werden omgezet naar een proportionele adherentiemetriek (0–1).
• Statistische Analyse (Adherentie): Een lineair gemengd effectenmodel werd toegepast om de richtlijnadherentie te voorspellen als functie van het type LLM, het promptformaat en de beoordelaar, waarbij de klinische vraag als een random intercept werd behandeld om clustering en variantie in moeilijkheidsgraad te corrigeren. Post-hoc paarvergelijkingen werden uitgevoerd met behulp van geschatte marginale gemiddelden (EMM's) met een Tukey-Kramer correctie.
• Leesbaarheid en Dimensionaliteitsanalyse: Vijf standaard leesbaarheidsindices (Flesch Reading Ease, Flesch-Kincaid Grade, Automated Readability Index, SMOG en Coleman-Liau) werden berekend. Om multicollineariteit aan te pakken en latente structuren te identificeren, werden Principal Component Analysis (PCA) en hiërarchische agglomeratieve clustering toegepast op de leesbaarheidsmetrieken.

Belangrijkste Bijdragen

1. Benchmarking van Richtlijnadherentie: De studie biedt een vergelijkende beoordeling van ChatGPT, Gemini en Perplexity specifiek met betrekking tot de begeleiding bij vrouwelijke seksuele dysfunctie na cystectomie, een niche die vaak over het hoofd wordt gezien in bredere medische AI-evaluaties.
2. Impact van Prompt Engineering: Het toont aan dat de framing van de prompt (leentaal versus klinische taal) de kwaliteit van de output significant beïnvloedt, wat de aanname uitdaagt dat complexere klinische prompts leiden tot betere richtlijnadherentie.
3. Methodologische Rigor in Leesbaarheid: Het artikel introduceert een psychometrisch gefundeerde analytische pijplijn met behulp van PCA en hiërarchische clustering. Deze aanpak valideert dat standaard leesbaarheidsmetrieken vaak één onderliggend construct van linguïstische complexiteit meten, wat het gebruik van samengestelde of primaire metrieken (zoals Flesch-Kincaid) ondersteunt in plaats van ze als onafhankelijke variabelen te behandelen.
4. Systeemniveau Evaluatie: De studie conceptualiseert LLM's als "informatiesystemen" die klinische prompts transformeren naar begeleidingsoutputs, waarbij de nadruk ligt op de noodzaak om zowel de nauwkeurigheid van de informatie als de cognitieve belasting (leesbaarheid) die bij de patiënt wordt gelegd, te evalueren.

Resultaten

• Modelprestaties: ChatGPT vertoonde de hoogste adherentie aan klinische richtlijnen (geschatte marginale gemiddelde [EMM] = 0,769), waarmee het Gemini (EMM = 0,499) en Perplexity (EMM = 0,457) significant overtrof. Er werd geen significant verschil gevonden tussen Gemini en Perplexity.
• Effect van de Prompt: Kortvormige prompts in leentaal riepen significant hogere adherentie op (EMM = 0,667) vergeleken met langvormige, door clinici geformuleerde prompts (EMM = 0,483).
• Leesbaarheid: Alle modellen produceerden inhoud die de aanbevolen niveaus voor gezondheidsvaardigheden overschreed. Perplexity genereerde de meest complexe tekst (ongeveer Flesch-Kincaid Grade Level ~16), gevolgd door ChatGPT, waarbij Gemini de laagste graad van complexiteit produceerde (ongeveer Grade 11). Echter, zelfs de "eenvoudigere" outputs bleven boven het aanbevolen zesde leerjaar niveau uit.
• Dimensionaliteit: PCA onthulde dat één dominante component (PC1) 76,7% van de variantie over de vijf leesbaarheidsindices verklaarde, wat bevestigt dat deze metrieken grotendeels een gedeeld onderliggend construct van tekstuele moeilijkheid weerspiegelen.

Betekenis en Claims
Het artikel stelt dat LLM's functioneren als variabele medische informatiesystemen waarvan de outputs sterk afhankelijk zijn van zowel de specifieke modelarchitectuur als de structuur van de invoerprompt. De bevindingen suggereren dat hoewel ChatGPT momenteel de meest richtlijnconforme informatie biedt voor dit specifieke klinische scenario, een hoge linguïstische complexiteit een universele barrière blijft voor de patiëntenbegrip in alle geteste modellen.

De auteurs benadrukken dat de huidige staat van AI in dit domein wordt gekenmerkt door het feit dat "hoge linguïstische complexiteit zichtbaar was over de modellen heen, wat wijst op een barrière voor patiëntenbegrip." Zij concluderen dat hoewel LLM's potentieel hebben om de begeleiding aan te vullen, de inzet ervan in gevoelige contexten zoals de seksuele gezondheid na cystectomie behoefte heeft aan behoedzame, door clinici gesuperviseerde controle. De studie claimt niet dat LLM's klaar zijn voor autonoom klinisch gebruik, maar stelt dat ze dienen als instrumenten waarvan de betrouwbaarheid sterk varieert op basis van modelselectie en promptontwerp. Het onderzoek onderstreept de noodzaak om zowel de inhoud (richtlijnadherentie) als de vorm (leesbaarheid) van door AI gegenereerde gezondheidsinformatie te evalueren om de versterking van bestaande gezondheidsverschillen te voorkomen.