Expressing Social Emotions: Misalignment Between LLMs and Human Cultural Emotion Norms

Título: Expressão de Emoções Sociais: Desalinhamento entre LLMs e Normas Culturais Humanas de Emoção

1. O Problema

A crescente integração de Grandes Modelos de Linguagem (LLMs) em interações humanas exige que eles não apenas dominem múltiplos idiomas, mas também reflitam as normas culturais dos usuários. O problema central abordado neste trabalho é a falha sistemática dos LLMs em capturar padrões culturais de expressão de emoções sociais.

As emoções sociais servem a propósitos específicos na interação humana, variando entre:

• Emoções de Engajamento (Engaging): Promovem interdependência e conexão social (ex.: culpa, sentimentos amigáveis).
• Emoções de Desengajamento (Disengaging): Expressam individualidade e autonomia (ex.: orgulho, raiva).

Culturas coletivistas (como as latino-americanas) tendem a expressar mais emoções de engajamento, enquanto culturas individualistas (como a americana europeia) tendem a expressar mais emoções de desengajamento. O estudo investiga se os LLMs atuais conseguem replicar essas nuances culturais ou se eles impõem um viés cultural uniforme (geralmente ocidental/WEIRD), o que pode levar a conselhos inadequados ou danos em contextos sensíveis, como saúde mental.

2. Metodologia

Os autores desenvolveram um quadro de avaliação psicologicamente informado, comparando dados humanos reais com as respostas de seis LLMs de ponta.

• Base de Dados Humana (Ground Truth): O estudo utiliza dados de uma pesquisa cruzada-cultural original (Salvador et al., 2024) envolvendo 598 participantes de três grupos:
  • Americanos Europeus (EA - EUA).
  • Latino-Americanos (LA - México e Chile).
  • Os participantes avaliaram 12 emoções (8 sociais, 4 básicas) em 4 situações cotidianas em uma escala Likert de 1 a 6.
• Modelos Avaliados: Seis LLMs de última geração (SOTA) foram testados: DeepSeek R1, GPT-4o-mini, Gemini 2.5 Flash, Phi-4, Mistral 7B Instruct e Qwen 3 32B.
• Configuração Experimental:
  • Personas Culturais: Os modelos foram instruídos a atuar como pessoas de culturas específicas (ex: "Você é uma pessoa branca americana...").
  • Idioma: As personas latino-americanas foram testadas originalmente em espanhol e, em ablações, em inglês.
  • Amostragem: Cada prompt foi gerado 190 vezes para construir distribuições de resposta comparáveis aos dados humanos.
  • Métricas de Análise: Em vez de apenas médias, os autores analisaram a distribuição completa das respostas usando:
    • Teste de Mann-Whitney U (para direcionalidade).
    • Distância de Wasserstein (para magnitude da diferença).
    • Entropia de Shannon (para medir a diversidade/variância das respostas).
• Estudos de Ablação: Foram testados fatores como temperatura de amostragem, mudança de idioma do prompt (espanhol para inglês) e formatos de tarefa (escala Likert vs. escolha forçada par a par).

3. Principais Contribuições

1. Novo Quadro de Avaliação: Propõe uma metodologia rigorosa para avaliar o alinhamento cultural de LLMs focando especificamente em emoções sociais (engajamento vs. desengajamento), indo além de emoções básicas.
2. Descoberta de Desalinhamento Crítico: Demonstra que os LLMs falham sistematicamente em replicar as diferenças culturais, mesmo para grupos culturalmente bem representados nos dados de treinamento (como os americanos europeus).
3. Análise de Homogeneidade: Revela que os LLMs produzem respostas altamente determinísticas e modais (concentradas em poucos valores), falhando em capturar a diversidade natural da expressão humana.
4. Paradoxo do Idioma: Descobre que prompts em inglês para personas latino-americanas geram melhor alinhamento cultural do que prompts em espanhol nativo, sugerindo que o conhecimento cultural está codificado de forma mais forte nos dados de treinamento em inglês.

4. Resultados Chave

• Viés Universal de Engajamento: Todos os modelos avaliados expressaram mais emoções de engajamento do que de desengajamento, independentemente da persona cultural.
  • Erro Crítico: Para a persona americana europeia (EA), os humanos expressam mais desengajamento (individualismo), mas os modelos expressam mais engajamento. Isso contradiz diretamente as normas culturais individualistas.
• Falha na Diversidade Cultural:
  • Humanos: Latino-americanos (LA) expressam emoções com maior intensidade geral do que americanos europeus (EA).
  • LLMs: A maioria dos modelos inverteu essa tendência, fazendo com que a persona EA expressasse emoções com mais intensidade do que a LA, ou não mostrou diferença significativa.
• Determinismo e Baixa Variância:
  • Os LLMs utilizam efetivamente apenas 1 a 3 categorias da escala de 6 pontos, enquanto os humanos utilizam cerca de 5 a 6 categorias.
  • As respostas dos modelos são altamente correlacionadas entre si (homogeneidade inter-modelo), formando um "aglomerado" distante da distribuição humana.
• Impacto das Ablações:
  • Temperatura: Aumentar a temperatura gerou ligeiramente mais diversidade, mas não melhorou o alinhamento cultural. Os modelos continuam enviesados para a região "errada" do espaço de resposta.
  • Idioma: Mudar o prompt de espanhol para inglês para personas LA melhorou o alinhamento em algumas hipóteses, indicando que o conhecimento cultural está melhor representado no corpus de treinamento em inglês.
  • Formato de Tarefa: A escolha forçada par a par (forced-choice) melhorou o alinhamento na expressividade geral, mas não resolveu o viés fundamental de associar a persona EA a emoções de engajamento.

5. Significado e Implicações

• Riscos em Aplicações de Alto Impacto: A falha em capturar nuances culturais de emoção é perigosa em áreas como saúde mental. Um chatbot que expressa excessivamente emoções de engajamento (como culpa ou amabilidade forçada) para um usuário individualista pode invalidar sua experiência emocional ou parecer intrusivo.
• Limitações na Simulação Social: O estudo alerta contra o uso de LLMs como substitutos diretos de participantes humanos em pesquisas de ciências sociais, especialmente em contextos afetivos e culturais, pois eles não capturam a variabilidade populacional real.
• Desafio de Alinhamento: O fato de o desalinhamento persistir mesmo em culturas bem representadas (EUA) sugere que o problema não é apenas falta de dados, mas uma representação interna enviesada nos modelos, possivelmente exacerbada por técnicas de ajuste (RLHF) que favorecem respostas "agradáveis" ou socialmente engajadas.
• Direção Futura: A comunidade precisa expandir auditorias de profundidade (depth-auditing) em diversas culturas, indo além da simples verificação multilíngue, para garantir que ferramentas de IA não perpetuem estereótipos ou causem danos em interações interculturais.

Em resumo, o artigo conclui que os LLMs atuais possuem uma capacidade limitada de representar a interação entre eixos culturais e emocionais, falhando sistematicamente em simular a diversidade e as normas específicas de expressão de emoções sociais humanas.