Technische Samenvatting: Het simuleren van patiënten met eetstoornissen met LLM's

Probleemstelling

Large language models (LLM's) worden steeds vaker ingezet als proxies voor menselijke participanten in klinische training, onderzoek en experimentele onderwerpen. Een cruciale, maar nog onvoldoende onderzochte voorwaarde voor deze toepassingen is persona-stabiliteit: het coherente behoud van een toegewezen psychologisch profiel binnen en over gesprekken heen. Als het psychologische profiel van een gesimuleerde patiënt halverwege een gesprek afwijkt of onvoorspelbaar verschuift over verschillende sessies, worden de daaruit voortvloeiende conclusies over sociale fenomenen, klinische competentie of behandelingseffecten artefacten van modelinconsistentie in plaats van genuante bevindingen.

Huidige evaluatieparadigma's slagen er niet in deze fouten te detecteren. Systemen voor gesimuleerde patiënten worden doorgaans geëvalueerd op dialoogrealisme of diagnostische nauwkeurigheid, terwijl persona-benchmarks vaak gericht zijn op fictieve settings of generieke persoonlijkheidskenmerken in plaats van klinisch gefundeerde profielen met gevalideerde instrumenten. Bov�imentatie suggereert bovendien gemengd bewijs: terwijl sommige benchmarks stabiele reacties rapporteren, merken anderen op dat het toevoegen van persona's de taakprestaties niet betrouwbaar verbetert, en dat Reinforcement Learning from Human Feedback (RLHF) een vorm van sycophantie (vleierij) kan induceren die zich bij multi-turn dialogen cumuleert.

Deze studie adresseert de specifieke kloof in het evalueren van de psychologische validiteit en temporele stabiliteit van door LLM's gesimuleerde patiënten met eetstoornissen (ES). ES zijn psychiatrische aandoeningen met hoge mortaliteitscijfers en significante trainingstekorten onder clinici. Hoewel AI-gesimuleerde patiënten met ES veelbelovend zijn gebleken bij het verminderen van angst bij trainees, blijft hun psychologische stabiliteit ongeëvalueerd.

Methodologie

Experimenteel Ontwerp

De auteurs operationaliseren stabiliteit via twee complementaire experimenten met zes LLM's (Claude Sonnet 4.6, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Flash, GPT OSS 120B, Llama 3.3 70B) en vijf ES-persona's afgeleid van gepubliceerde casusbeschrijvingen (Bulimia Nervosa, Anorexia Nervosa Binge-Purge, Binge Eating Disorder/Night Eating Syndrome, Binge Eating Disorder, en Purging Disorder).

1. Experiment I (Stabiliteit tussen gesprekken): Elk model genereert een narratief in de eerste persoon waarin drie eetgerelateerde situaties worden beschreven en voltooit zelfrapportage-instrumenten. Onafhankelijke LLM-raters (drie modellen van verschillende providers) voltooien vervolgens dezelfde instrumenten op basis van uitsluitend het narratief, zonder toegang tot de oorspronkelijke persona-instructies. Dit test de consistentie over onafhankelijke runs ($N=50$ per conditie).
2. Experiment II (Stabiliteit binnen een gesprek): De doel-LLM voert een neutrale conversatie van 9 uitwisselingen met een gescript partner. Zelfrapportage en observatiebeoordelingen worden getriggerd na drie topicblokken (uitwisselingen 3, 6 en 9) om drift over de tijd te detecteren ($N=20$ per conditie).

Persona-constructie en Prompt-rijkdom

Om de noodzaak van gedetailleerde prompts te testen, manipuleert de studie de prompt-rijkdom over drie niveaus gebaseerd op Fairburn's transdiagnostisch model:

• Volledige Casusbeschrijving (Full Vignette): Volledige klinische casusbeschrijvingen inclusief demografie, geschiedenis, trauma en sociale context (exclusief beoordelingsscores).
• Kernmechanismen van Onderhoud (Core Maintaining Mechanisms): Alleen actieve onderhoudsfactoren (bijv. dieetrestrictie, binge-purge cycli, lichaamscontrole) zonder biografische context.
• Minimaal (Minimal): Diagnostische label, leeftijd, geslacht, BMI en gekwantificeerde gedragsfrequenties alleen.

Meting

De primaire uitkomstmaat is de Eating Disorder Examination Questionnaire (EDE-Q), een gevalideerd instrument met 28 items op een schaal van 0–6. Ground-truth (GT) scores zijn beschikbaar voor alle vijf de gevallen. Een duaal beoordelingskader wordt gehanteerd:

• Zelfrapportage: De persona voltooit de vragenlijst op basis van het gegenereerde narratief.
• Observatieratings: Drie onafhankelijke LLM-raters evalueren het transcript vanuit het perspectief van het individu.
• Secundaire Maten: De Clinical Impairment Assessment (CIA) en de Eating Attitudes Test (EAT-26) worden gelijktijdig afgenomen voor convergentievaliditeit.

Belangrijkste Bijdragen

1. Duaal Beoordelingskader: Een nieuwe methodologie die zowel de zelfrapportage van de persona als onafhankelijke observatieratings meet met gevalideerde klinische instrumenten (EDE-Q) met aggregatie van multi-provider raters om de bias van "LLM-als-beoordelaar" te mitigeren.
2. Theoretisch Gefundeerde Prompt-manipulatie: Een systematische variatie van prompt-rijkdom gebaseerd op het model van Fairburn, waarbij onderscheid wordt gemaakt tussen actieve onderhoudsmechanismen en predisponerende factoren, om het minimale benodigde informatiegehalte voor een plausibele simulatie te bepalen.
3. Evaluatie van Stabiliteit en Accuratesse: Een uitgebreide evaluatie over zes LLM's en vijf ES-persona's, waarbij variantie-decompositie wordt gebruikt om de relatieve bijdragen van modelidentiteit, de specifieke persona-casus en prompt-rijkdom aan de scorevariatie te identificeren.

Resultaten

Stabiliteit

• Tussen gesprekken: LLM's vertonen een opmerkelijk hoge stabiliteit. De coëfficiënten van variatie bedragen gemiddeld 2–4% voor vijf van de zes modellen, en 30% van de item-conditie combinaties produceert identieke scores over alle 50 onafhankelijke runs. Dit bijna deterministische gedrag is het meest uitgesproken voor cognitief-affectieve items (vorm- en gewichtszorg).
• Binnen gesprekken: Het uitbreiden van de conversatie naar 9 uitwisselingen verbetert de accuratesse niet significant; in plaats daarvan driften de scores voor vier van de vijf modellen omhoog (toenemende ernst) tijdens de dialoog, waardoor ze verder van de ground-truth af komen te liggen.

Accuratesse en Overshoot

• Systematische Overshoot: Alle modellen overschatten systematisch de ground-truth ernst met 12–30% van het schaalbereik (0,7–1,8 punten op een 0–6 schaal).
• Ernst-afhankelijke Compressie: De overshoot is het meest ernstig bij matige gevallen. Bijvoorbeeld, Purging Disorder (GT = 2,64) wordt opgeblazen met +1,44 tot +2,73 punten, terwijl Bulimia Nervosa (GT = 5,25) binnen ±0,43 punten wordt gereproduceerd.
• Rang-inversies: LLM's falen in het correct rangschikken van de ernst. In vier van de zes modellen scoort Anorexia Nervosa Binge-Purge (GT = 4,30) hoger dan Bulimia Nervosa (GT = 5,25), ondanks de lagere ground-truth ernst.

Mechanisme: Selectieve Stereotypering

De studie identificeert selectieve stereotypering als het mechanisme dat deze fouten drijft:

• Gedragitems: Items die concrete gedragingen meten (bijv. dieetrestrictie) differentiëren de gevallen effectief en reageren op de specifie van de casus.
• Cognitief-affectieve Items: Items die lichaamsontevredenheid en gewichtspreoccupatie meten (vormzorg, gewichtszorg) vervallen standaard naar het plafond (nabij de maximumscore), ongeacht de ernst van de casus.
• Gevolg: Omdat de cognitief-affectieve items voor alle ES-diagnoses verzadigen op het plafond, wordt de globale score bijna volledig gedreven door de gedragsmatige restrictie-subschaal. Dit leidt tot rang-inversies waarbij gevallen met extreme dieetrestrictie (zelfs als ze minder ernstig zijn in totaal) hoger scoren dan gevallen met minder restrictie maar een hogere algehele pathologie.

Prompt-rijkdom

Prompt-rijkdom draagt verwaarloosbaar (1%) bij aan de scorevariatie. Versimpelde prompts (Minimal) lokken bijna equivalente reacties uit als volledige klinische casusbeschrijvingen, wat suggereert dat de overshoot voortkomt uit pretraining-priors in plaats van onvoldoende context.

Betekenis en Claims

Het artikel concludeert dat LLM's paradoxaal genoeg te stabiel én te inaccuraat zijn. Hoewel ze consistente persona's behouden, weerspiegelt deze stabiliteit een stabiliteit van bias in plaats van trouw aan de klinische realiteit.

• De "Missing Middle": LLM's kunnen ernstige eetpathologie verbeelden, maar missen een representatie van matige klinische presentaties. Dit creëert een "missing middle" waarbij de geaggregeerde validatie adequaat kan lijken, terwijl kritieke fouten in de ernst-ranges die het meest relevant zijn voor klinische training worden gemaskeerd.
• Beperkingen van Kalibratie: Omdat de rangorde van de gevallen niet-monotoon is (bijv. AN-BP > BN ondanks lagere GT-ernst), kunnen eenvoudige post-hoc kalibraties of monotone transformaties de outputs niet corrigeren. De distortie vindt plaats op het niveau van de subschalen.
• Implicaties voor Implementatie: De bevindingen suggeren dat huidige LLM's nog niet in staat zijn om geldige proxies te zijn voor de gradatie van de ernst van eetstoornissen in klinische training of onderzoek. Het verbeteren van de getrouwheid vereist item-niveau klinische verankering tijdens de generatie en representatieve diversiteit die de huidige trainingsdata niet bieden. De studie claimt niet dat LLM's nutteloos zijn voor therapie, maar dat hun gebruik als gesimuleerde patiënten voor het evalueren van klinische competentie of behandelingseffecten momenteel wordt gecompromitteerd door deze systematische stereotypering.

De auteurs stellen expliciet dat hun bevindingen eerder werk over ADHD-simulaties repliceren en uitbreiden, waarbij ze laten zien dat consistente zelfrapportages eerder een consistente onnauwkeurigheid weerspiegelen dan een consistente getrouwheid. Ze pleiten voor toekomstige cross-disorder replicatie met gedragsmatig gegradeerde instrumenten en menselijke baseline-studies om te bepalen of deze overshoot model-specifiek is of inherent is aan gesimuleerde zelfrapportage.