PsychBench: Auditing Epidemiological Fidelity in Large Language Model Mental Health Simulations

Titel

PsychBench: Audit van Epidemiologische Fideliteit in Mental Health-simulaties van Grootte Taalmodellen (LLM's)

1. Het Probleem

Grootte Taalmodellen (LLM's) worden steeds vaker ingezet om patiënten te simuleren voor klinische training, onderzoeksgroepen en mentale gezondheidssteun. Hoewel er veel aandacht is voor "hallucinaties" (feitelijke onjuistheden) en "weigeringen" (veiligheidsfilters die gevoelige inhoud blokkeren), blijft een fundamenteel probleem onopgemerkt: de epidemiologische validiteit op populatieniveau.

De kernaanname dat door LLM's gegenereerde patiënten geldige proxies zijn voor echte menselijke populaties, is nauwelijks getest. Het artikel introduceert het concept van de "Coherence-Fidelity Dissociatie": modellen produceren individuele patiënten die klinisch plausibel en logisch consistent zijn (hoge coherentie), maar die systematisch de verdelingen van de populatie waaruit ze zouden moeten komen, misrepresenteren (lage fideliteit). Dit leidt tot een vertekend beeld van de klinische realiteit, waarbij atypische presentaties worden uitgewist en stereotypen worden versterkt.

2. Methodologie

De studie introduceert PsychBench, de eerste systematische epidemiologische audit van LLM-patiëntsimulaties.

• Experimenteel Ontwerp:

  • Data: 28.800 gegenereerde patiëntprofielen.
  • Modellen: Vier frontier-modellen uit verschillende regio's: GPT-4o-mini (VS), DeepSeek-V3 (China), Gemini-3-Flash (VS) en GLM-4.7 (China).
  • Demografie: 120 intersectieve demografische cohorten, gedefinieerd door ras (5 niveaus), genderidentiteit (4 niveaus), sociaaleconomische status (SES, 3 niveaus) en relatiestatus (2 niveaus).
  • Iteraties: 30 stochastische iteraties per cohort per model om variantie te schatten.
  • Prompt-condities: Twee scenario's: "Klinisch" (derde persoon, gestructureerde invoer) en "Naratief" (eerste persoon, zelfbeschrijving).

• Instrumenten:

  • Gebruik van gevalideerde psychometrische schalen: PHQ-8 (depressie), GAD-7 (angst), AUDIT-C (alcoholgebruik) en PCL-5 (PTSD).
  • Ground Truth: Vergelijking met nationale steekproeven: NHANES (2005–2018) en NESARC-III (2012–2013).

• Statistische Analyse:

  • Stereotype Index (SI): Verhouding tussen de standaarddeviatie van het model en de populatie ($\sigma_{model} / \sigma_{pop}$). Een SI < 1.0 duidt op compressie van de variantie.
  • Netwerkstructuur: Analyse van correlatiematrixen tussen symptomen (Frobenius-norm) om te zien of de onderliggende structuur van psychopathologie per demografische groep verschilt.
  • Drempelstabiliteit: Meting van hoe vaak diagnoses veranderen tussen runs, ondanks hoge continue correlaties.

3. Belangrijkste Bijdragen

1. Framework voor Variantie-Fideliteit: Introductie van de Stereotype Index om kwantitatief vast te stellen hoe modellen de variantie van populaties comprimeren.
2. Analyse van Drempelstabiliteit: Het aantonen dat hoge continue correlaties ($r > 0.90$) niet garanderen dat diagnostische drempels stabiel blijven; meer dan een derde van de gevallen overschrijdt drempels tussen runs.
3. Audit van Netwerkstructuur: Het bewijs dat modellen verschillende symptomale netwerken gebruiken voor verschillende demografische groepen, wat wijst op fundamenteel verschillende representaties van psychopathologie.
4. Systematische Kalibratiebias: Het identificeren van een asymmetrische bias: overgeneralisatie van ernst voor de meeste groepen, maar systematische onderdrukking van nood bij transgenders.
5. Validatie van Klinische Logica: Het bevestigen dat modellen intern logisch consistent zijn (geen DSM-5 fouten), waardoor het falen puur op populatieniveau ligt.

4. Resultaten

A. Variantiecompressie (Stereotype Index)

Modellen comprimeren de variantie van de populatie aanzienlijk, waardoor de "staarten" van de verdeling (extreme gevallen) verdwijnen.

• Sociaaleconomische Status (SES): Zware compressie (SI = 0.53–0.55). Modellen genereren slechts de helft van de variantie die in de werkelijkheid bestaat.
• Gender: Substantiële compressie (SI = 0.61–0.69).
• Ras: Matige compressie (SI = 0.83–0.88), behalve bij Aziatische populaties waar de variantie iets werd uitgebreid (mogelijk een overcorrectie van de "Aziatische Paradox").
• Modelverschil: DeepSeek-V3 comprimeerde het meest (62% verlies), GLM-4.7 het minst (14% verlies).

B. Drempelinstabiliteit

Ondanks een test-hertest correlatie van $r = 0.91$, overschrijdt 36,66% van de gesimuleerde patiënten diagnostische drempels tussen twee runs.

• De onstabielste instrumenten zijn depressie (PHQ-8) en angst (GAD-7) met flip-rates van ~34%, terwijl PTSD (PCL-5) veel stabieler is (5%).
• Klinische invoer (gestructureerd) leidt tot 34% meer drempeloverschrijdingen dan persoonlijke narratieven.

C. Netwerkstructuur Divergentie

De correlatiestructuur tussen symptomen verschilt significant tussen demografische groepen, verder dan wat door meetfouten kan worden verklaard.

• Transgender populaties: Toonden de grootste divergentie ($d_F = 1.14$), 3 tot 5 keer groter dan raciale verschillen. Dit suggereert dat modellen depressie fundamenteel anders structureren voor transgenders dan voor cisgender personen.
• Ras: Aziatische en zwarte groepen toonden ook significante structurele divergentie ten opzichte van witte groepen.

D. Kalibratiebias en Stereotypering

• Overgeneralisatie: Voor de meeste groepen (wit, zwart, Hispanic, cisgender) overschatten modellen de depressie-ernst met +3,6 tot +6,1 punten (Cohen's $d$ = 1.13–1.91). Dit komt waarschijnlijk door training op klinische corpora met een hogere basisrate.
• Transgender Onderdrukking: Voor transgender vrouwen keert het patroon om. Modellen onderschatten de ernst met -5,42 punten ($d = -1.55$). Ze vangen slechts 8% tot 46% van de verwachte "minority stress" verhoging.
• Symptoomstereotypen: Modellen attribueren symptomen op basis van demografie in plaats van klinische presentatie:
  • Irritabiliteit wordt vaker toegeschreven aan zwarte mannen (37% vs 22% voor witte mannen).
  • Vermoeidheid wordt vaker toegeschreven aan vrouwen (32% vs 24% voor mannen).

E. Contextuele Effecten

Klinische invoer (derde persoon) resulteert in hogere ernstschattingen en grotere variantiecompressie dan persoonlijke invoer (eerste persoon), wat impliceert dat gestructureerde data sterker stereotyperende mechanismen activeert.

5. Betekenis en Conclusie

De studie concludeert dat LLM's voor mentale gezondheid een subtiele maar gevaarlijke falingsmodus introduceren: ze produceren patiënten die er "goed uitzien" (klinisch plausibel) maar die de werkelijke populatie niet vertegenwoordigen.

• Risico voor de Algemeenheid: Voor de meeste gebruikers leidt dit tot onnodige pathologisering van normale distress (overdiagnose).
• Risico voor Kwetsbare Groepen: Voor transgender gebruikers en andere gemarginaliseerde groepen leidt dit tot algoritmische uitwissing van echte nood. Veiligheidsoptimalisaties (RLHF) lijken valid distress-signalen te onderdrukken om "harm" te voorkomen, wat resulteert in een gevaarlijke onderbehandeling.
• Validatieprobleem: Standaard validatiemethoden (die kijken naar individuele plausibiliteit of hoge correlaties) detecteren dit falen niet. Er is een verschuiving nodig naar populatiegebaseerde validatie met metrics zoals de Stereotype Index en netwerkdivergentie.
• Aanbevelingen: Ontwikkelaars moeten trainingsdata cureren om atypische presentaties te over-samplen, veiligheidsfilters auditeren op "harm erasure" (uitwissing van nood), en validatie protocols per demografische subgroep toepassen in plaats van op aggregate niveau.

Kortom: de modellen zijn betrouwbaar in hun fouten, maar die fouten zijn systematisch en hebben ernstige klinische en ethische gevolgen voor de representatie van mentale gezondheid in de AI.