Analyzing LLM Reasoning to Uncover Mental Health Stigma

1. Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in toepassingen op het gebied van mentale gezondheid (bijvoorbeeld therapie-chatbots), vertonen ze aanzienlijke stigmatisering ten opzichte van individuen met psychische aandoeningen. Eerdere evaluaties, zoals die van Moore et al. (2025), maakten voornamelijk gebruik van Meerkeuzevragen (MCQ's) om stigmatisering te meten.

De auteurs identificeren een kritieke beperking in deze aanpak:

• Verborgen logica: MCQ's evalueren alleen de uiteindelijke output. Een LLM kan een "niet-stigmatiserend" antwoord selecteren terwijl het tegelijkertijd redeneringen genereert die schadelijke stereotypen, logische drogredenen of subtiele vooroordelen bevatten.
• Onbetrouwbare redenering: Modellen kunnen via gebrekkige logica tot het juiste antwoord komen (bijvoorbeeld een patiënt alleen accepteren omdat hun aandoening behandelbaar is, wat impliceert dat chronische aandoeningen rechtvaardigen om afgewezen te worden).
• Safetywashing: Uitsluitend vertrouwen op uitkomstgerichte metrics kan een vals gevoel van veiligheid creëren ("safetywashing"), waarbij modellen veilig lijken in benchmarks maar stigmatiserende interne logica in zich dragen die tot uiting kan komen in open-ended, real-world interacties.

2. Methodologie

De studie introduceert een raamwerk om de intermediaire redeneerstappen (Chain-of-Thought) van LLM's te analyseren, in plaats van alleen hun uiteindelijke antwoorden.

A. Uitgebreide Benchmark

De auteurs breidden een bestaande benchmark voor stigmatisering van mentale gezondheid uit (oorspronkelijk gebaseerd op de U.S. National Stigma Studies) om de volgende elementen op te nemen:

• Nieuwe aandoeningen: Toevoeging van vier klinisch significante aandoeningen: Borderline Persoonlijkheidsstoornis (BPD), Eetstoornissen (ED), Bipolaire Stoornis (BD) en Psychose (PSY).
• Vraagset: Uitbreiding van 7 naar 14 vragen per casus, inclusief nieuwe vragen over de waarschijnlijkheid van zelfverwonding en causale toewijzingen (bijvoorbeeld "slecht karakter" versus "chemische onevenwichtigheid").
• Casussen: Beschrijvingen van fictieve personen met symptomen maar zonder expliciete diagnostische labels, die in totaal 8 aandoeningen bestrijken.

B. Evaluatiemodi

De studie vergeleek vier verschillende evaluatiemodi over acht LLM's (waaronder de families Claude, Llama, DeepSeek en GPT-OSS):

1. Vanilla: Het model fungeert als therapeut maar geeft alleen het uiteindelijke MCQ-antwoord (geen redenering).
2. CoT (Chain-of-Thought): Het model fungeert als therapeut, genereert redenering en geeft vervolgens het uiteindelijke antwoord.
3. Stigmatiserende Redenering (SR): Beoordeelt de redeneringstekst zelf op stigmatiserende sporen, ongeacht het uiteindelijke antwoord.
4. Niet-Therapeut (NT): Een controlegeval waarbij het model de instructie krijgt niet de rol van therapeut te spelen, om persona-geïnduceerde vooroordelen te isoleren.

C. Stigma-taxonomie

In samenwerking met klinisch psychologen ontwikkelden de auteurs een gedetailleerde, klinisch onderbouwde taxonomie van stigmatiserende redeneerpatronen. Via iteratieve verfijning en expertannotatie stelden ze zes hoofdcategorieën vast (oorspronkelijk acht, waarvan twee niet werden opgeroepen):

1. Gevaarlijkheid/Dreiging: Aannames van geweld, onvoorspelbaarheid of gebrek aan controle.
2. Incompetentie/Onbekwaamheid: Aannames van verminderde redenering of onvermogen om rollen te vervullen.
3. Pathologisering van het Normale: Het presenteren van normale culturele gedragingen of dagelijkse strijd als symptomen van een mentale ziekte.
4. Sociale Onwenselijkheid en Andersheid: Wens naar sociale afstand, het presenteren van individuen als "abnormaal", of "welwillende andersheid" (performatieve inclusie die uitsluiting maskeert).
5. Last/Drain: Het presenteren van het individu als een economische of sociale kostenpost.
6. Behandelingsstigma: Conditionele acceptatie op basis van het zoeken naar behandeling of het zien van behandeling als incompatibel met een normaal leven.

D. Annotatiepijplijn

• Menselijke Validatie: Klinische experts annoceerden 100 redeneersporen om de taxonomie te valideren, waarbij een aanzienlijke inter-annotator overeenstemming werd bereikt (Cohen's $\kappa$ = 0,748).
• Geautomatiseerde Schaalvergroting: Om de volledige dataset (336 prompts per model) te verwerken, gebruikten de auteurs Claude Opus 4.5 als "LLM-as-a-Judge" om redeneersporen automatisch te taggen. Deze geautomatiseerde rechter werd gevalideerd tegen menselijke annotaties met hoge precisie (96,6%) en recall (93,3%).

3. Belangrijkste Resultaten

A. Redenering onthult verborgen stigma

De meest significante bevinding is dat het evalueren van redenering aanzienlijk meer stigmatisering blootlegt dan MCQ-evaluaties.

• Veel modellen kozen het "correcte" (niet-stigmatiserende) MCQ-antwoord maar bevatten stigmatiserende taal in hun redeneersporen.
• Bijvoorbeeld, een model kan ermee akkoord gaan om vrienden te zijn met een persoon (correct antwoord), maar dit rechtvaardigen door te zeggen: "Ik zou vrienden met hen zijn als ze behandeling krijgen", wat anders afwijzing impliceert.
• SR-modus versus MCQ: De modus "Stigmatiserende Redenering" detecteerde aanzienlijk hogere rates van vooroordelen over alle modellen heen in vergelijking met de "Vanilla"- of "CoT"-modi voor het uiteindelijke antwoord.

B. De paradox van de "Therapeut-persona"

• In tegenstelling tot verwachtingen, leidde het prikkelen van modellen om een therapeut-persona aan te nemen vaak tot toegenomen stigmatiserende redenering.
• Modellen in de rol van therapeut waren eerder geneigd om normaal gedrag te pathologiseren (bijvoorbeeld het interpreteren van dagelijkse stress of religieuze praktijken als symptomen van een mentale ziekte) in vergelijking met de controlegroep zonder therapeut.
• Dit suggereert dat huidige LLM's de nuance missen om onderscheid te maken tussen klinische diagnose en normale menselijke variatie wanneer ze worden gedwongen een diagnostische rol aan te nemen.

C. Aandoening-specifieke patronen

• Hoge stigmatisering: Eetstoornissen, Bipolaire Stoornis, Alcoholafhankelijkheid en Schizofrenie kregen het hoogste aantal stigma-tags.
• Specifieke vooroordelen:
  • Schizofrenie/Alcohol: Gedomineerd door aannames van "Gevaarlijkheid".
  • Eetstoornissen: Gedomineerd door "Incompetentie" en "Pathologisering" (het presenteren van dieet als een falen van wilskracht).
  • Dagelijkse problemen (Controle): Zelfs voor casussen die normale levenshoogten en -diepten beschrijven, pathologiseerden modellen het gedrag vaak, een bevinding die door evaluaties die alleen het uiteindelijke antwoord bekijken, gemist werd.

D. Modelconsistentie

• Stigmatiseringspatronen waren zeer consistent over verschillende modelfamilies (Claude, Llama, DeepSeek, GPT), wat suggereert dat het probleem voortkomt uit gedeelde trainingsdata en optimalisatiedoelen in plaats van specifieke modelarchitecturen.
• Claude Opus 4.5 toonde iets betere prestaties in het vermijden van de pathologisering van normale ervaringen in vergelijking met andere modellen.

4. Belangrijkste Bijdragen

1. Eerste analyse op niveau van redenering: Het eerste onderzoek dat systematisch de interne logica van LLM's analyseert met betrekking tot stigmatisering van mentale gezondheid, en aantoont dat uiteindelijke antwoorden ontoereikend zijn voor veiligheidsevaluatie.
2. Klinische taxonomie: Introductie van een gestructureerde, klinisch gevalideerde taxonomie voor het identificeren van subtiele en openlijke stigmatiserende redeneerpatronen in AI.
3. Uitgebreide benchmark: Publicatie van een uitgebreide benchmark die aanvullende psychologische aandoeningen (BPD, ED, BD, Psychose) en een rijker set vragen bestrijkt.
4. Methodologische verschuiving: Een oproep om voorbij te gaan aan "safetywashing" via MCQ's en redeneringsniveau-analyse te adopteren als standaard voor AI-veiligheid in hoog-risicodomeinen zoals de gezondheidszorg.

5. Betekenis en Implicaties

• Risico van safetywashing: Het paper benadrukt dat modellen die huidige veiligheidsbenchmarks doorstaan, in de praktijk nog steeds gevaarlijk kunnen zijn omdat hun interne redenering berust op schadelijke stereotypen.
• Persona-gevoeligheid: De bevinding dat "therapeut-persona's" meer vooroordelen kunnen induceren (specifiek over-pathologisering) daagt de gebruikelijke industriële praktijk uit om modellen de instructie te geven "als therapeut te handelen".
• Toekomstige richtingen: De auteurs betogen dat het oplossen van LLM's voor mentale gezondheid meer vereist dan alleen outputfiltering of betere prompting; het vereist waarschijnlijk veranderingen in onderliggende trainingsdoelen om de afhankelijkheid van gegeneraliseerde stereotypen te verminderen en het onderscheid tussen normale menselijke variatie en pathologie te verbeteren.
• Publicatie van middelen: De auteurs geven de geannoteerde dataset en code vrij om toekomstige inspanningen voor mitigatie en de ontwikkeling van gespecialiseerde classifiers voor het detecteren van stigmatiserende sporen te faciliteren.

Beperkingen

• De studie is gebaseerd op gestructureerde MCQ's en casussen, die mogelijk de complexiteit van open-ended, multi-turn therapeutische gesprekken niet volledig vastleggen.
• Twee stigma-categorieën ("Chronisiteit/Hoopeloosheid" en "Zwakheid/Moraal falen") werden niet opgeroepen in de studie, hoewel de auteurs opmerken dat dit mogelijk te wijten is aan beperkingen in het vraagontwerp in plaats van modelrobustheid.
• De geautomatiseerde annotatiepijplijn is, hoewel accuraat, rekenkundig duur, wat wijst op de behoefte aan kleinere, gespecialiseerde modellen voor toekomstige detectie op grote schaal.