Language Shapes Mental Health Evaluations in Large Language Models

Deze studie toont aan dat grote taalmodellen zoals GPT-4o en Qwen3 bij mentaliteitsbeoordelingen systematisch meer stigma vertonen en ernst van depressie onderschatten wanneer ze in het Chinees worden geprompt in plaats van in het Engels.

De kern

Titel: Waarom een AI anders reageert op Nederlands of Engels (en waarom dat belangrijk is voor mentale gezondheid)

Stel je voor dat je een zeer slimme, digitale psycholoog hebt die in twee talen spreekt: Engels en Chinees. Je zou denken dat deze AI, omdat het dezelfde "hersenen" heeft, precies hetzelfde zou denken en voelen, ongeacht welke taal je gebruikt. Maar dit onderzoek laat zien dat dit niet zo is. Het is alsof je dezelfde persoon vraagt om een oordeel te vellen, maar je doet dat eerst in een koud, zakelijk kantoor (Engels) en daarna in een warme, traditionele familiekring (Chinees). Het antwoord verandert, niet omdat de persoon anders is, maar omdat de context anders voelt.

Hier is wat de onderzoekers hebben ontdekt, vertaald naar alledaags taalgebruik:

1. De "Schaamte-Test": Hoe de AI over mentale gezondheid denkt

De onderzoekers hebben de AI (GPT-4o en Qwen3) een reeks vragen laten beantwoorden over mentale gezondheid, zoals depressie of angst. Ze gebruikten bekende vragenlijsten die meten hoeveel "stigma" (een negatief oordeel of schande) er tegenover mentale problemen bestaat.

• De Analogie: Stel je voor dat je een groep mensen vraagt: "Zou je iemand met een depressie als buurman willen?"
  • In het Engels antwoordde de AI: "Ja, dat is prima, geen probleem."
  • In het Chinees antwoordde de AI: "Hmm, misschien liever niet, dat is wat ongemakkelijk."
• Het Resultaat: De AI was in het Chinees veel strenger en negatiever. Ze toonde meer angst, meer schaamte en meer afstand. Of het nu ging over wat de maatschappij denkt, wat jij zelf zou denken, of wat een arts zou denken: in het Chinees was de AI kritischer en veroordelender dan in het Engels. Het is alsof de AI een andere "bril" opzet die in het Chinees donkerder is.

2. De "Alarmbel": Herkent de AI gevaar?

Vervolgens hebben ze de AI getest op haar vermogen om gevaarlijke of stigmatiserende teksten te herkennen (bijvoorbeeld in een chatgesprek).

• De Analogie: Stel je voor dat de AI een brandweerman is die moet beslissen of er een brand is.
  • In het Engels schreeuwt de brandweerman: "Brand! Brand!" zodra hij een vonk ziet.
  • In het Chinees zegt hij: "Nou, het is misschien wel een vonk, maar laten we even wachten."
• Het Resultaat: De AI was in het Chinees veel minder snel om te zeggen: "Dit is schadelijk of stigmatiserend." Ze negeerde meer rode vlaggen. Dit betekent dat als je een AI gebruikt om schadelijke content te filteren, die AI in het Chinees misschien veel meer giftige berichten laat passeren dan in het Engels.

3. De "Weegschaal": Hoe zwaar is de depressie?

Tot slot hebben ze de AI gevraagd om de ernst van depressie te beoordelen op basis van een verhaal.

• De Analogie: Stel je voor dat je iemand op een weegschaal legt om hun gewicht te meten.
  • In het Engels zegt de weegschaal: "Deze persoon weegt 80 kg (ernstig)."
  • In het Chinees zegt dezelfde weegschaal: "Deze persoon weegt 60 kg (minder ernstig)."
• Het Resultaat: De AI neigde er in het Chinees toe om de ernst van depressie te onderschatten. Ze zagen minder gevaar en minder zware symptomen dan er eigenlijk waren. Het is alsof de AI in het Chinees een "minimale" bril opzet die problemen kleiner maakt dan ze zijn.

Waarom is dit belangrijk?

Dit onderzoek is als een waarschuwing voor de wereld. We gebruiken AI steeds vaker om mensen te helpen met hun mentale gezondheid, om chatbots te maken, of om te beslissen wie hulp krijgt.

• Het Gevaar: Als een AI in het Engels zegt: "Je hebt hulp nodig, dit is ernstig," maar in het Chinees zegt: "Het valt wel mee, maak je geen zorgen," dan krijgen mensen in die verschillende talen een heel ander lot.
• De Leerles: Taal is niet alleen maar een vertaalsleutel; het is een bril die kleurt hoe de AI de wereld ziet. Als we AI systemen wereldwijd inzetten, moeten we beseffen dat ze niet in alle talen even eerlijk of even nauwkeurig zijn.

Kortom: Een AI is niet neutraal. De taal die je gebruikt, bepaalt hoe de AI oordeelt over je mentale gezondheid. In het Chinees (in dit onderzoek) was de AI strenger in zijn oordeel, maar ook minder alert op gevaar en geneigd om problemen kleiner te maken. Voor ontwikkelaars betekent dit: test je AI niet alleen in het Engels, maar in alle talen waarin je hem gebruikt, anders kun je onbedoeld mensen in de steek laten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "Language Shapes Mental Health Evaluations in Large Language Models" in het Nederlands.

Titel: Taal vormt mentale gezondheidsbeoordelingen in Grootte Taalmodellen (LLM's)

Auteurs: Jiayi Xu en Xiyang Hu (Universiteit van North Carolina en Arizona State University)
Gepubliceerd: 6 maart 2026 (arXiv:2603.06910)

---

1. Het Probleem

Grootte Taalmodellen (LLM's) worden wereldwijd steeds vaker ingezet voor mentale gezondheidszorg, van chatbots tot klinische besluitvorming. Hoewel deze modellen meertalig zijn, is er onvoldoende bekend over de consistentie van hun evaluaties over verschillende talen heen.

De kernvraag van dit onderzoek is of de taal van de prompt (de instructie) systematisch de evaluatie van mentale gezondheid beïnvloedt. Specifiek wordt onderzocht of een model andere oordelen velt over stigma en de ernst van depressie wanneer het in het Chinees wordt geprompt versus het Engels. Als dit het geval is, kan dit leiden tot ongelijke behandelingen, verkeerde triage en onrechtvaardige interventies voor gebruikers in verschillende taalgemeenschappen.

2. Methodologie

Het onderzoek focust op twee wijdverspreide meertalige modellen: GPT-4o en Qwen3. De studie is opgebouwd uit twee fasen: een evaluatie op construct-niveau (houding) en een evaluatie op beslissingsniveau (gedrag).

Experimenteel Ontwerp

• Talen: Vergelijking tussen Chinees en Engels.
• Instellingen: Alle modellen werden benaderd via API met een temperatuur van 0.0 om deterministische antwoorden te garanderen. Demografische variabelen (geslacht, ras) in de stimuli werden verwijderd om alleen het taal-effect te isoleren.
• Fase 1: Evaluatie van Stigma-oriëntatie (Construct-niveau)
  • Er werden gevalideerde psychometrische schalen gebruikt om de houding van het model te meten.
  • Dimensies: Sociaal stigma (publieke perceptie), zelfstigma (geïnternaliseerde schaamte) en professioneel stigma (houding van zorgverleners).
  • Instrumenten: Devaluing-Discrimination Scale (DDS), Mental Illness Stigma Scale (MISS), Vignette-based measures, Depression Stigma Scale (DSS), Self-Stigma of Seeking Help Scale (SSOSH) en Opening Minds Scale for Health Care Providers (OMS-HC).
  • Het model moest stellingen beoordelen op een Likert-schaal.
• Fase 2: Downstream Beslissingstaken
  • Taak A: Binaire Stigma-detectie: Het model moest bepalen of een tekstfragment stigmatiserende inhoud bevatte (Ja/Nee).
  • Taak B: Depressie-ernst classificatie: Het model moest de ernst van depressie op basis van een sociale media-post classificeren in vier niveaus: minimaal, mild, matig en ernstig.
• Statistiek: Er werden gepaarde McNemar-tests en bootstrap-resampling gebruikt om significante verschillen tussen de talen te detecteren. Elke sample werd 30 keer verwerkt om variabiliteit te minimaliseren.

3. Belangrijkste Resultaten

A. Systematische Verschillen in Stigma-oriëntatie

Over alle gemeten dimensies heen produceerden beide modellen hoger stigma-gerelateerde scores wanneer ze in het Chinees werden geprompt vergeleken met het Engels.

• GPT-4o: Toonde significant hogere scores voor publiek stigma, persoonlijk stigma, zelfstigma en professioneel stigma in het Chinees.
• Qwen3: Toonde een vergelijkbaar patroon, met significant hogere stigma-scores in het Chinees.
• Conclusie: De taal van de prompt verschuift de normatieve houding van het model; Chinees prompten activeert een meer stigmatiserend evaluatief kader.

B. Impact op Downstream Beslissingen

De verschuiving in oriëntatie vertaalde zich naar concrete verschillen in besluitvorming:

1. Stigma-detectie (Sensitiviteit):

   • Modellen waren minder gevoelig (lagere recall) voor stigmatiserende content wanneer ze in het Chinees werden geprompt.
   • GPT-4o: Recall daalde van 0,466 (Engels) naar 0,428 (Chinees).
   • Qwen3: Recall daalde van 0,547 (Engels) naar 0,441 (Chinees).
   • De precisie bleef stabiel, wat betekent dat het model niet vaker fouten maakte door "ja" te zeggen, maar wel vaker stigmatiserende content over het hoofd zag in het Chinees.

2. Depressie-ernst classificatie (Kalibratie):

   • Er was een systematische onderschatting van de ernst van depressie in het Chinees.
   • GPT-4o: Chinese prompts leidden tot veel meer gevallen van onderschatting (43 gevallen) vergeleken met Engels (11 gevallen). Engels neigde juist iets meer naar overschatting.
   • Qwen3: Toonde een vergelijkbare, maar sterkere verschuiving naar onderschatting in het Chinees (46 vs 17).
   • Dit effect was het meest uitgesproken bij gevallen van "matige" en "ernstige" depressie, wat suggereert dat de beslissingsdrempel in het Chinees verschuift naar een lagere ernst.

4. Belangrijkste Bijdragen

1. Uitbreiding van Cross-linguïstisch Onderzoek: Het paper bewijst dat taalkundige variatie in LLM's niet beperkt blijft tot algemene waarden of cognitieve stijlen, maar ook kritieke, sociaal gevoelige domeinen zoals mentale gezondheid beïnvloedt.
2. Link tussen Houding en Gedrag: Het onderzoek koppelt construct-niveau bias (stigma-houding) direct aan beslissingsniveau bias (fouten in classificatie). Het toont aan dat een verandering in evaluatieve oriëntatie leidt tot verschuivingen in effectieve beslissingsdrempels.
3. Empirisch Bewijs voor Taal-afhankelijke Bias: Het biedt kwantitatief bewijs dat dezelfde LLM, afhankelijk van de gebruikte taal, fundamenteel verschillende oordelen velt over dezelfde mentale gezondheidsproblemen, wat risico's oplevert voor eerlijkheid en veiligheid.

5. Significantie en Implicaties

• Veiligheid en Eerlijkheid: Als AI-systemen in het Chinees minder gevoelig zijn voor stigmatiserende taal of de ernst van depressie onderschatten, kunnen gebruikers in die taalgemeenschap minder bescherming krijgen of minder adequate hulp ontvangen.
• Ontwikkeling van AI: Ontwikkelaars kunnen zich niet meer beperken tot evaluatie in één taal (vaak Engels). Multilinguale evaluatie moet een standaard worden, met name voor toepassingen in de gezondheidszorg.
• Beleid en Implementatie: Organisaties die LLM's inzetten voor screening of content-moderatie moeten rekening houden met taal-specifieke kalibratie. Het is mogelijk dat specifieke "prompt-tuning" of drempel-aanpassingen nodig zijn per taal om gelijke resultaten te garanderen.
• Sociale Impact: De manier waarop AI mentale gezondheid interpreteert, kan op lange termijn de publieke discussie en de culturele perceptie van psychische problemen in verschillende taalgemeenschappen beïnvloeden.

Conclusie: De taalcontext is geen neutrale container voor LLM-uitvoer, maar een actieve factor die systematisch de evaluatie van mentale gezondheid en de daaruit voortvloeiende beslissingen verandert. Dit vereist een herziening van hoe we AI-systemen testen en inzetten in een meertalige wereld.