Technische Samenvatting: Somatisch in het Oosten, Psychologisch in het Westen?

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in toepassingen voor de geestelijke gezondheidszorg, inclus\u2019 screening, conversationele ondersteuning en klinische besluitvormingsondersteuning. De klinische psychologie heeft echter lang vastgesteld dat depressie zich cultureel verschillend manifesteert: Westerse populaties benadrukken doorgaans psychologische symptomen (bijv. verdriet, verlies van interesse), terwijl veel Oost-Aziatische populaties meer somatische symptomen rapporteren (bijv. vermoeidheid, fysieke pijn). Deze verschillen worden toegeschreven aan cultureel gevormde normen van emotionele expressie en stigma.

Het centrale probleem dat door deze studie wordt aangestipt, is of algemene LLM's deze klinisch vastgestelde cross-culturele patronen reproduceren. Als LLM's onevenredig veel dominante (Westerse) culturele perspectieven reflecteren of er niet in slagen om genuanceerde culturele variaties in symptoomrapportage te vatten, kunnen systemen die op hen gebouwd zijn symptomen verkeerd interpreteren of cultureel specifieke uitingen van depressie over het hoofd zien, wat potentieel kan leiden tot onveilige of ineffectieve interventies voor de geestelijke gezondheidszorg.

Methodologie

De auteurs introduceren een klinisch gefundeerd evaluatiekader om twee hypothesen te testen:

• H1: LLM's zullen vaker psychologische symptomen selecteren voor Westerse culturele persona's en vaker somatische symptomen voor Oostelijke culturele persona's.
• H2: Prompts geschreven in de lokale taal van een land zullen de culturele afstemming bij de selectie van symptomen vergroten vergeleken met Engelse prompts.

Experimenteel ontwerp:

• Modellen: Zes LLM's werden geëvalueerd: Llama-3.1-8B-it, Gemma-7B-it, Qwen-2.5-7B-it, DeepSeek-R1-Distill-Qwen-7B, GPT-4o, en MentaLLaMA-chat-7B (een gefinetuned model voor mentale gezondheid).
• Persona's: Culturele persona's werden geoperationaliseerd op landniveau. Westerse groepen omvatten Amerika, Canada en Australië; Oostelijke groepen omvatten Japan, China en India.
• Taak: Modellen kregen de opdracht om depressiesymptomen te selecteren uit een vooraf gedefinieerde lijst van 14 DSM-5-gebaseerde symptomen (gecategoriseerd als somatisch of psychologisch). De taak werd uitgevoerd onder drie condities: het selecteren van 1, 3 of 5 symptomen per iteratie.
• Promptvariaties:
  • Taal: Engelse Prompts (ENG-P) versus Lokale Taal Prompts (LOC-P) (Japans, Chinees, Hindi).
  • Instructietype: Impliciete Cultuur Prompt (ICP) die algemene context biedt versus Expliciete Cultuur Prompt (ECP) die het model direct instrueert om de culturele achtergrond te overwegen.
• Metrieken:
  • Culturele Afstemming ($\Delta A_x$): Gedefinieerd als het verschil in de waarschijnlijkheid van het selecteren van somatische symptomen tussen Oostelijke en Westerse persona's ($P(somatisch | P_{Oostelijk}) - P(somatisch | P_{Westelijk})$). Een positieve waarde duidt op afstemming met klinische bevindingen.
  • Persona Sensitiviteit: Gemeten via de cosinusovereenkomst tussen de distributies van symptoomselectie voor Westerse en Oostelijke persona's. Een lagere gelijkenis duidt op een hogere sensitiviteit voor culturele cues.
  • Determinisme: Beoordeeld met behulp van Gini-coëfficiënten om de concentratie van symptoomselectie te meten.

Belangrijkste Resultaten

1. Falen in het reproduceren van klinische patronen (H1)
Onder Engelse prompts (ENG-P) faalden de meerderheid van de LLM's in het reproduceren van de verwachte culturele patronen. Van de 30 geteste instellingen (5 modellen $\times$ 3 keuzecondities $\times$ 2 prompttypen) vertoonden slechts drie configuraties patronen die consistent zijn met de klinische bevindingen.

• De meeste modellen vertoonden kleine absolute waarden van culturele afstemming ($\Delta A_x$), vooral in multi-choice condities (3 en 5 keuzes), waar de verschillen marginaal waren (0,03\text{--}0,05).
• Modellen vertoonden sterke, cultuurinvariante hiërarchieën van symptoomvoorkeur. Bijvoorbeeld, "Verminderde energie/vermoeidheid" (somatisch) en "Sombere stemming" (psychologisch) werden consequent als de meest geselecteerde symptomen beschouwd, ongeacht de culturele persona, wat vaak de culturele cues oversteeg.
• MentaLLaMA, het specifieke model voor mentale gezondheid, slaagde er niet in geldige outputs te genereren vanwege veiligheidsinstellingen (safety alignment).

2. Beperkte impact van lokale talen (H2)
Prompten in lokale talen (LOC-P) verbeterde de afstemming in sommige configuraties, maar ondersteunde H2 niet universeel.

• 15 van de 30 instellingen vertoonden een verhoogde afstemming onder LOC-P.
• DeepSeek vertoonde een statistisch significante toename in afstemming bij prompts in de lokale taal, terwijl GPT een afname in afstemming vertoonde.
• Statistische analyse (gepaarde t-testen) gaf aan dat hoewel de afstemming over het algemeen licht toenam, het resultaat niet statistisch significant was ($p=0,90$). De effectiviteit van taal-cues hing sterk af van het specifieke model, de keuzeconditie en het type prompt.

3. Lage Persona Sensitiviteit en Determinisme

• Sensitiviteit: Modellen vertoonden een lage sensitiviteit voor culturele persona's onder ENG-P, met cosinusovereenkomstwaarden tussen de Westerse en Oostelijke distributies variërend van 0,77 tot 1,00. Dit suggereert dat interne modeltendensen culturele instructies overruelen.
• Determinisme: Modellen zoals Gemma, Qwen en DeepSeek vertoonden hoge Gini-coëfficiënten, wat aangeeft dat ze herhaaldelijk een beperkte set symptomen selecteerden. Dit determinisme leidde vaak tot een onderrepresentatie van specifieke symptomen (bijv. suïcidale gedachten werden zelden geselecteerd, waarschijnlijk door veiligheidsfilters).

4. Symptoomhiërarchie
Over alle condities heen gaven modellen de voorkeur aan een specifieke hiërarchie van symptomen (bijv. vermoeidheid, sombere stemming, verlies van interesse) die leek te reflecteren hoe vaak deze symptomen voorkomen in de trainingsdata, in plaats van culturele nuance. Deze hiërarchie oversteeg vaak de invloed van culturele persona's.

Betekenis en Claims

De auteurs stellen dat dit de eerste studie is die onderzoekt of algemene LLM's klinisch gevestigde cross-culturele patronen van depressieve symptomen reproduceren. De betekenis van het werk ligt in de identificatie van kritieke beperkingen in huidige LLM's voor toepassingen in de geestelijke gezondheidszorg:

1. Onvoldoende algemene trainingsdata: Algemene modellen die getraind zijn op web-corpora missen de fundamentele kennis om klinisch gefundeerde, cultureel gevoelige redeneringen te reproduceren.
2. Beperkingen van huidige evaluatiekaders: De studie suggereert dat het vertrouwen op louter brede sociologische benchmarks (zoals de World Values Survey) mogelijk geen domeinspecifieke variaties in de geestelijke gezondheidszorg kan vangen.
3. Risico op mismatch: De bevindingen benadrukken dat huidige LLM's onwaarschijnlijk de noodzakelijke culturele onderscheiden zullen maken wanneer culturele identiteiten enkel via prompt-gebaseerde persona's worden geïntroduceerd. Dit vormt een risico voor AI-gestuurde diagnostische tools of chatbots die symptomen voor gebruikers uit verschillende culturele achtergronden verkeerd zouden kunnen interpreteren.
4. Noodzaak voor robuuste culturele redenering: Het artikel concludeert dat robuuste benaderingen nodig zijn om cultureel gevoelige klinische kennis in de ontwikkeling van LLM's te integreren, aangezien huidige modellen worden gedomineerd door cultuurinvariante symptoomhiërarchieën die culturele cues overstijgen.

De auteurs houden een bescheiden standpunt aan door te erkennen dat hun binaire Oost-West categorisering een vereenvoudiging is en dat de studie dient als een fundamenteel benchmark in plaats van een allesomvattende oplossing voor culturele bias in AI voor de geestelijke gezondheidszorg.