Expressing Social Emotions: Misalignment Between LLMs and Human Cultural Emotion Norms

Resumen Técnico: Desalineación en la Expresión de Emociones Sociales entre LLMs y Normas Culturales Humanas

1. Planteamiento del Problema

La expresión de emociones con fines sociales (como afirmar la independencia o fomentar la interdependencia) es fundamental en las interacciones humanas y varía sistemáticamente según la cultura. A medida que los Modelos de Lenguaje Grandes (LLMs) se utilizan para simular comportamientos humanos en contextos culturalmente matizados, surge una preocupación crítica: ¿Capturan fielmente los LLMs los patrones humanos de expresión de emociones sociales?

El problema central es que, cuando las respuestas de los LLMs no están alineadas culturalmente, su utilidad se ve comprometida. Esto es especialmente peligroso en aplicaciones de alto riesgo (como la salud mental), donde los usuarios podrían actuar sobre consejos culturalmente inapropiados. Aunque existen estudios sobre sesgos culturales en LLMs, la mayoría se centra en emociones básicas o en la clasificación general. Este trabajo se enfoca específicamente en las emociones sociales, que sirven para gestionar las relaciones y el entorno, un área donde la alineación es crucial pero aún poco explorada.

2. Metodología

Los autores proponen un marco de evaluación psicológicamente informado para analizar la expresión de emociones sociales en LLMs a través de una comparación directa con datos humanos.

• Base de Datos Humana (Ground Truth): Se utiliza un estudio humano previo [19] que compara a Europeos Americanos (EA) y Latinoamericanos (LA) (México y Chile).
  • Conceptos Clave: Se distinguen dos tipos de emociones:
    • Emociones de Compromiso (Engaging): Fomentan la interdependencia (ej. culpa, sentimientos amistosos).
    • Emociones de Descompromiso (Disengaging): Expresan la individualidad (ej. orgullo, ira).
  • Hallazgos Humanos: Los LA expresan más emociones de compromiso (colectivismo), mientras que los EA expresan más emociones de descompromiso (individualismo).
• Modelos Evaluados: Se probaron seis LLMs de vanguardia (SOTA) con diversidad de origen y acceso: DeepSeek R1, GPT-4o-mini, Gemini 2.5 Flash, Phi-4, Mistral 7B y Qwen 3 32B.
• Protocolo Experimental:
  • Se asignaron "personas" culturales a los modelos usando los mismos descriptores del estudio humano.
  • Los modelos debieron calificar 12 emociones (8 sociales + 4 básicas) en 4 situaciones cotidianas en una escala Likert de 1 a 6.
  • Muestreo: Cada prompt se generó 190 veces para construir distribuciones de respuesta comparables a las muestras humanas.
  • Variables de Ablación: Se probaron diferentes temperaturas de muestreo, cambios en el idioma del prompt (español vs. inglés para personas LA) y formatos de tarea (elección forzada par a par vs. escala Likert independiente).
• Análisis Estadístico: En lugar de promedios simples, se utilizaron pruebas de distribución completa (U de Mann-Whitney, distancia de Wasserstein) para comparar la estructura de las respuestas humanas y de los modelos.

3. Contribuciones Clave

1. Marco de Evaluación Cultural Específico: Desarrollo de un protocolo riguroso para evaluar la alineación de LLMs en la expresión de emociones sociales (compromiso vs. descompromiso) entre culturas individualistas y colectivistas.
2. Evidencia de Desalineación Sistemática: Demostración de que los LLMs fallan sistemáticamente al replicar patrones culturales humanos, incluso para grupos culturalmente dominantes y bien representados en los datos de entrenamiento (como los europeos americanos).
3. Análisis de Homogeneidad: Identificación de que las respuestas de los LLMs son altamente deterministas y modales, careciendo de la diversidad natural observada en las poblaciones humanas.
4. Investigación de Factores de Alineación: Evaluación de cómo la temperatura, el idioma y el formato de la tarea afectan la alineación, revelando hallazgos contraintuitivos (ej. mejor alineación en inglés que en español para personas latinas).

4. Resultados Principales

• Desalineación en la Dirección de las Emociones:

  • Hallazgo Contraintuitivo: Todos los modelos evaluados expresaron significativamente más emociones de compromiso (engaging) que de descompromiso, tanto para la persona europea americana como para la latinoamericana.
  • Esto contradice directamente los datos humanos, donde los EA expresan más emociones de descompromiso. Sorprendentemente, los modelos fallaron incluso en la cultura (EA) que está más representada en sus datos de entrenamiento.
  • Los modelos asociaron erróneamente a la persona EA con una fuerte expresión de emociones positivas de compromiso (como la amistad), ignorando la tendencia humana a la individualidad en ese grupo.

• Falta de Diversidad (Determinismo):

  • Las distribuciones de respuesta de los LLMs son altamente modales (concentradas en pocos puntos de la escala), mientras que las humanas son suaves y dispersas.
  • Los modelos utilizan efectivamente solo ~3 categorías de respuesta frente a las ~5-6 utilizadas por los humanos. Esto indica que los LLMs no capturan la variabilidad de la población, sino que colapsan hacia respuestas "promedio" o estereotipadas.
  • Existe una alta homogeneidad inter-modelo: diferentes familias de modelos convergen en patrones de respuesta similares, alejándose de la distribución humana.

• Resultados de las Ablaciones:

  • Temperatura: Aumentar la temperatura no mejoró significativamente la alineación ni la diversidad cultural; en algunos casos (Qwen), aumentó la diversidad pero empeoró la alineación.
  • Idioma: Paradójicamente, usar prompts en inglés para personas latinoamericanas mejoró la alineación en comparación con los prompts en español. Esto sugiere que el conocimiento cultural sobre LA está mejor codificado en los datos de entrenamiento en inglés que en los corpora nativos en español.
  • Formato de Tarea: El formato de elección forzada par a par (pairwise) mejoró la alineación en la expresividad general, pero no resolvió el sesgo fundamental de asociar a la persona EA con emociones de compromiso.

5. Significado e Implicaciones

• Riesgos en Despliegue Real: La falta de alineación tiene consecuencias graves para aplicaciones como chatbots de salud mental, asistentes educativos o agentes de servicio al cliente. Un modelo que sobre-expresa emociones de compromiso (interdependencia) podría invalidar las experiencias emocionales de usuarios de culturas individualistas o parecer intrusivo para aquellos que valoran la reserva.
• Limitaciones de los LLMs como Proxies: Los resultados desafían la viabilidad de usar LLMs como reemplazos directos de participantes humanos en investigaciones de ciencias sociales, especialmente en contextos afectivos y culturales matizados. Los modelos no solo tienen sesgos, sino que carecen de la variabilidad psicológica esencial.
• Necesidad de Auditoría Profunda: El trabajo sugiere que la auditoría de modelos debe ir más allá de la "amplitud" (cubrir muchas culturas) hacia la "profundidad" (analizar matices específicos como la expresión emocional social).
• Paradoja del Idioma: El hallazgo de que los prompts en inglés funcionan mejor para personas latinas resalta la necesidad de revisar cómo se construyen los datos de entrenamiento y la representación cultural en corpora multilingües.

En conclusión, el estudio demuestra que los LLMs actuales tienen una capacidad limitada para simular la interacción compleja entre ejes culturales y emocionales, presentando un riesgo significativo si se despliegan en contextos afectivos interculturales sin una re-alineación profunda.