Résumé technique : Somatique à l'Est, Psychologique à l'Ouest ?

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des applications de santé mentale, incluant le dépistage, le soutien conversationnel et l'aide à la décision clinique. Cependant, la psychologie clinique a établi depuis longtemps que la dépression se manifeste différemment selon les cultures : les populations occidentales mettent généralement l'accent sur les symptômes psychologiques (ex. : tristesse, perte d'intérêt), tandis que de nombreuses populations est-asiatiques signalent davantage de symptômes somatiques (ex. : fatigue, douleurs physiques). Ces différences sont attribuées aux normes culturellement façonnées de l'expression émotionnelle et à la stigmatisation.

Le problème central abordé par cette étude est de savoir si les LLM de usage général reproduisent ces schémas interculturels cliniquement établis. Si les LLM reflètent de manière disproportionnée les perspectives culturelles dominantes (occidentales) ou échouent à capturer les nuances des variations culturelles dans le signalement des symptômes, les systèmes construits sur eux pourraient mal interpréter les symptômes ou négliger les expressions culturellement spécifiques de la dépression, ce qui pourrait conduire à des interventions de santé mentale non sûres ou inefficaces.

Méthodologie

Les auteurs introduisent un cadre d'évaluation fondé sur la clinique pour tester deux hypothèses :

• H1 : Les LLM sélectionneront plus souvent des symptômes psychologiques pour les personas culturels occidentaux et des symptômes somatiques pour les personas culturels orientaux.
• H2 : Les prompts rédigés dans la langue locale d'un pays augmenteront l'alignement culturel dans la sélection des symptômes par rapport aux prompts en anglais.

Conception expérimentale :

• Modèles : Six LLM ont été évalués : Llama-3.1-8B-it, Gemma-7B-it, Qwen-2.5-7B-it, DeepSeek-R1-Distill-Qwen-7B, GPT-4o, et MentaLLaMA-chat-7B (un modèle spécialisé en santé mentale).
• Personas : Les personas culturels ont été opérationnalisés au niveau du pays. Les groupes occidentaux comprenaient les Américains, les Canadiens et les Australiens ; les groupes orientaux comprenaient les Japonais, les Chinois et les Indiens.
• Tâche : Les modèles ont été incités à sélectionner des symptômes de dépression à partir d'une liste prédéfinie de 14 symptômes basés sur le DSM-5 (classés comme somatiques ou psychologiques). La tâche a été exécutée sous trois conditions : la sélection de 1, 3 ou 5 symptômes par itération.
• Variations de prompts :
  • Langue : Prompts en anglais (ENG-P) vs Prompts en langue locale (LOC-P) (japonais, chinois, hindi).
  • Type d'instruction : Prompt de culture implicite (ICP) fournissant un contexte général vs Prompt de culture explicite (ECP) instruisant directement le modèle de prendre en compte le contexte culturel.
• Métriques :
  • Alignement culturel ($\Delta A_x$) : Défini comme la différence de probabilité de sélection des symptômes somatiques entre les personas orientaux et occidentaux ($P(somatique | P_{Oriental}) - P(somatique | P_{Occidental})$). Une valeur positive indique un alignement avec les observations cliniques.
  • Sensibilité au persona : Mesurée via la similitude cosinus entre les distributions de sélection de symptômes pour les personas occidentaux et orientaux. Une similitude plus faible indique une sensibilité plus élevée aux indices culturels.
  • Déterminisme : Évalué à l'aide des coefficients de Gini pour mesurer la concentration de la sélection des symptômes.

Résultats clés

1. Échec de la reproduction des schémas cliniques (H1)
Sous les prompts en anglais (ENG-P), la majorité des LLM n'ont pas réussi à reproduire les schémas culturels attendus. Sur 30 configurations testées (5 modèles × 3 conditions de choix × 2 types de prompts), seules trois configurations présentaient des schémas cohérents avec les conclusions cliniques.

• La plupart des modèles ont présenté de faibles valeurs absolues d'alignement culturel ($\Delta A_x$), particulièrement dans les conditions de choix multiples (3 et 5 choix), où les différences étaient marginales (0,03–0,05).
• Les modèles ont affiché des hiérarchies de préférence de symptômes fortes et invariantes culturellement. Par exemple, « Diminution de l'énergie/fatigue » (somatique) et « Humeur dépressive » (psychologique) ont été systématiquement les symptômes les plus sélectionnés, quel que soit le persona culturel, supplantant souvent les indices culturels.
• MentaLLaMA, le modèle spécifique à la santé mentale, n'a pas pu générer de sorties valides en raison des contraintes d'alignement de sécurité.

2. Impact limité des langues locales (H2)
L'utilisation de prompts en langues locales (LOC-P) a amélioré l'alignement dans certaines configurations mais n'a pas universellement soutenu H2.

• 15 configurations sur 30 ont montré un alignement accru sous LOC-P.
• DeepSeek a montré une augmentation statistiquement significative de l'alignement avec les prompts en langue locale, tandis que GPT a montré une diminution de l'alignement.
• L'analyse statistique (tests t appariés) a indiqué que, bien que l'alignement ait légèrement augmenté globalement, le résultat n'était pas statistiquement significatif ($p=0,90$). L'efficacité des indices linguistiques dépendait fortement du modèle spécifique, de la condition de choix et du type de prompt.

3. Faible sensibilité au persona et déterminisme

• Sensibilité : Les modèles ont montré une faible sensibilité aux personas culturels sous ENG-P, avec des valeurs de similitude cosinus entre les distributions occidentales et orientales allant de 0,77 à 1,00. Cela suggère que les tendances internes du modèle l'emportent sur les instructions culturelles.
• Déterminisme : Des modèles comme Gemma, Qwen et DeepSeek ont présenté des coefficients de Gini élevés, indiquant qu'ils sélectionnaient de manière répétée un ensemble limité de symptômes. Ce déterminisme a souvent conduit à une sous-représentation de certains symptômes (ex. : les idées suicidaires étaient rarement sélectionnées, probablement à cause des filtres de sécurité).

4. Hiérarchie des symptômes
Dans toutes les conditions, les modèles ont favorisé une hiérarchie spécifique de symptômes (ex. : fatigue, humeur dépressive, perte d'intérêt) qui semblait refléter la fréquence de ces symptômes dans les données d'entraînement plutôt que la nuance culturelle. Cette hiérarchie a souvent supplanté l'influence des personas culturels.

Signification et affirmations

Les auteurs affirment qu'il s'agit de la première étude examinant si les LLM de usage général reproduisent les schémas interculturels cliniquement établis de la dépression. La portée de ce travail réside dans l'identification des limitations critiques des LLM actuels pour les applications de santé mentale :

1. Insuffisance des données d'entraînement générales : Les modèles de usage général entraînés sur des corpus web manquent des connaissances fondamentales pour reproduire un raisonnement culturellement sensible et ancré cliniquement.
2. Limites des cadres d'évaluation actuels : L'étude suggère que s'appuyer uniquement sur des benchmarks sociologiques larges (comme l'enquête sur les valeurs mondiales) peut ne pas capturer les variations spécifiques au domaine de la santé mentale.
3. Risque de désalignement : Les résultats soulignent que les LLM actuels sont peu susceptibles de faire les distinctions culturelles nécessaires lorsque les identités culturelles sont introduites uniquement via des personas par prompt. Cela pose un risque pour les outils de diagnostic ou les chatbots pilotés par l'IA qui pourraient mal interpréter les symptômes pour des utilisateurs issus de différents contextes culturels.
4. Besoin d'un raisonnement culturel robuste : L'article conclut que des approches plus robustes sont nécessaires pour intégrer des connaissances cliniques culturellement sensibles dans le développement des LLM, car les modèles actuels sont dominés par des hiérarchies de symptômes invariantes culturellement qui l'emportent sur les indices culturels.

Les auteurs maintiennent une position modeste, reconnaissant que leur catégorisation binaire Est-Ouest est une simplification et que l'étude sert de benchmark fondateur plutôt que de solution complète au biais culturel dans l'IA de santé mentale.