Expressing Social Emotions: Misalignment Between LLMs and Human Cultural Emotion Norms

1. Problématique et Contexte

L'augmentation de l'utilisation des Grands Modèles de Langage (LLM) dans des contextes interculturels soulève une question critique : ces modèles capturent-ils fidèlement les nuances de l'expression des émotions humaines, en particulier celles qui servent des fonctions sociales ?

Les émotions sociales ne sont pas universelles ; elles varient systématiquement selon les cultures. Par exemple, les cultures individualistes (comme les États-Unis) tendent à privilégier l'expression d'émotions désengageantes (fierté, colère) qui affirment l'individualité, tandis que les cultures collectivistes (comme l'Amérique latine) favorisent les émotions engageantes (culpabilité, sentiments amicaux) qui renforcent l'interdépendance.

Le problème central identifié par les auteurs est le désalignement culturel : lorsque les LLM échouent à reproduire ces normes, ils risquent de fournir des conseils inappropriés ou de simuler un comportement humain erroné, surtout dans des domaines sensibles comme la santé mentale. L'article met en lumière que même pour des cultures bien représentées dans les données d'entraînement (comme les Américains d'origine européenne), les modèles échouent à capturer les subtilités de l'expression émotionnelle.

2. Méthodologie

Les auteurs ont conçu un cadre d'évaluation psychologique rigoureux pour comparer le comportement de six LLM de pointe avec des données humaines réelles.

• Données de référence (Ground Truth) : L'étude s'appuie sur une étude humaine existante [19] comparant 598 participants (Américains d'origine européenne - EA, et Latino-Américains - LA, provenant du Mexique et du Chili). Les participants ont noté l'intensité de 12 émotions (8 sociales + 4 de base) dans 4 situations quotidiennes sur une échelle de Likert de 1 à 6.
• Modèles évalués : Six modèles frontaux ont été testés : DeepSeek R1, GPT-4o-mini, Gemini 2.5 Flash, Phi 4, Mistral 7B Instruct v0.3 et Qwen 3 32B.
• Protocole expérimental :
  • Personas culturels : Les modèles ont été invités à répondre en adoptant des personas spécifiques (EA, Mexicain, Chilien) avec des descriptions identiques à celles de l'étude humaine.
  • Langue : Les prompts pour les personas latino-américains étaient initialement en espagnol, puis réévalués en anglais lors d'une étude d'ablation.
  • Échantillonnage : Pour chaque prompt, chaque modèle a généré 190 réponses (déterminé par une analyse de stabilité statistique) afin de construire des distributions de réponses comparables à la variance humaine.
  • Analyse statistique : Au lieu de simples moyennes, les auteurs ont utilisé des tests de distribution complète (test de Mann-Whitney U, distance de Wasserstein) pour comparer la structure des distributions de réponses humaines et des modèles.
• Études d'ablation :
  • Température d'échantillonnage : Test de l'impact de l'augmentation de la température sur la diversité des réponses.
  • Langue du prompt : Comparaison des réponses en espagnol vs anglais pour les personas LA.
  • Format de tâche : Introduction d'un format de choix forcé par paires (comparaison directe entre deux émotions ou deux personas) pour voir si cela améliore l'alignement.

3. Résultats Clés

Les résultats révèlent un désalignement systématique et profond entre les LLM et les comportements humains :

• Biais vers les émotions engageantes : Contrairement aux humains (où les EA expriment plus d'émotions désengageantes et les LA plus d'émotions engageantes), tous les modèles expriment significativement plus d'émotions engageantes que désengageantes, et ce, pour tous les personas culturels, y compris les Américains d'origine européenne.
• Inversion des tendances culturelles :
  • Pour les humains, les Latinos sont globalement plus expressifs que les Américains. La plupart des modèles montrent l'inverse (les personas EA sont plus expressifs).
  • Les modèles associent incorrectement les personas EA à une forte expression d'émotions engageantes positives (ex: amitié, fierté positive), un biais qui persiste même lorsque les humains montrent le schéma opposé.
• Homogénéité et déterminisme :
  • Les réponses des LLM sont hautement modales et déterministes. Les modèles utilisent très peu de catégories de l'échelle de notation (souvent seulement 2 ou 3 catégories sur 6), contrairement à la distribution lisse et diversifiée des réponses humaines.
  • Les modèles différents convergent vers des réponses très similaires (corrélation inter-modèle élevée de 0,72 vs 0,47 avec les humains), suggérant une « monoculture algorithmique ».
• Impact des variables d'ablation :
  • Température : Augmenter la température améliore légèrement la diversité des réponses (surtout pour Qwen), mais n'améliore pas l'alignement avec les normes culturelles. Les modèles restent biaisés vers la mauvaise région de l'espace des réponses.
  • Langue : Paradoxalement, passer les prompts pour les personas Latino-Américains de l'espagnol à l'anglais améliore l'alignement culturel. Cela suggère que les connaissances culturelles sur ces groupes sont mieux encodées dans les données d'entraînement anglaises que dans les corpus espagnols.
  • Format de tâche : Le format de choix forcé par paires améliore partiellement l'alignement sur l'expressivité globale, mais échoue à corriger le biais fondamental concernant la préférence des modèles pour les émotions engageantes chez les personas EA.

4. Contributions Principales

1. Cadre d'évaluation psychologique : Introduction d'une méthode rigoureuse comparant les distributions complètes des réponses LLM aux données humaines, au-delà des simples moyennes.
2. Découverte de désalignements subtils : Démonstration que les LLM échouent non seulement pour les cultures minoritaires, mais aussi pour les cultures dominantes (EA) sur des aspects nuancés de l'expression émotionnelle.
3. Analyse de la diversité des réponses : Mise en évidence du fait que les LLM produisent des réponses quasi-déterministes et homogènes, échouant à capturer la variabilité naturelle de la psychologie humaine.
4. Paradoxe linguistique : Révélation que l'utilisation de l'anglais pour simuler des personas non-anglophones peut parfois produire un meilleur alignement culturel que l'utilisation de leur langue maternelle, en raison de la composition des données d'entraînement.

5. Signification et Implications

Ce travail a des implications majeures pour le déploiement des IA dans des contextes affectifs et sociaux :

• Risques pour la santé mentale : L'utilisation de LLM comme agents de soutien thérapeutique ou de conseil sans alignement culturel peut valider incorrectement les expériences émotionnelles des utilisateurs ou produire des réponses intrusives, aggravant les disparités de soins.
• Limites de la simulation humaine : L'étude met en garde contre l'utilisation de LLM comme substituts aux participants humains dans la recherche en sciences sociales, car ils ne reproduisent pas la diversité ni les normes culturelles réelles.
• Nécessité de réalignement : Les auteurs soulignent que l'augmentation de la diversité des données ou de la température ne suffit pas. Des interventions ciblées sur la structure des représentations culturelles et émotionnelles des modèles sont nécessaires.
• Appel à l'action : La communauté doit élargir les audits de profondeur culturelle, en particulier pour les applications à haut risque, afin de garantir que les systèmes d'IA ne laissent aucune culture derrière eux.

En conclusion, l'article démontre que les LLM actuels, malgré leur puissance, possèdent des biais profonds et résistants dans la représentation des émotions sociales, les rendant inadaptés à une interaction interculturelle authentique sans réalignement significatif.