Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation

Resumen Técnico: Evaluación de la Alineación Cultural de los LLMs mediante la Generación de Morales de Historias Multilingües

1. Problema y Motivación

Las historias son fundamentales para transmitir valores culturales, pero su interpretación varía significativamente según el contexto lingüístico y cultural. Aunque los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades avanzadas, existe una preocupación creciente sobre si estos modelos pueden capturar la diversidad interpretativa humana o si, por el contrario, tienden a "aplanar" las diferencias culturales hacia una norma occidental o anglocéntrica.

El problema central abordado es la falta de evaluaciones que vayan más allá de pruebas de conocimiento estático o preguntas de opción múltiple. La mayoría de las métricas actuales no miden la capacidad de un modelo para generar moralidades de historias (lecciones o principios derivados de una narrativa) que reflejen las variaciones sutiles y legítimas que existen entre diferentes comunidades humanas.

2. Metodología

Los autores proponen una nueva tarea de evaluación: la generación de moralidades de historias multilingües. El enfoque se basa en comparar las salidas de los modelos con interpretaciones humanas reales a través de un marco experimental riguroso.

• Construcción del Dataset:

  • Se creó un conjunto de datos paralelo con 14 pares de idioma-cultura (ej. Árabe-Egipto, Japonés-Japón, Inglés-EE. UU., etc.).
  • Se seleccionaron 14 resúmenes de novelas de origen cultural diverso y se tradujeron a los 14 idiomas, creando una estructura cruzada completa (196 pasajes).
  • Generación Humana: Se recolectaron 3 moralidades por par historia-idioma (total 588 anotaciones) mediante la plataforma Prolific, asegurando que los anotadores fueran nativos y residentes en las regiones correspondientes. Se implementaron filtros estrictos para detectar y eliminar contenido generado por IA en las respuestas humanas.
  • Generación por LLM: Se probaron modelos de vanguardia (GPT-4o, Gemini 2.5 Flash) y modelos de código abierto más pequeños (Gemma3, Phi3, Aya, Qwen3). Se utilizaron técnicas de prompting sociodemográfico (simular a un hablante nativo de una cultura específica) y prompting en el idioma original.

• Métodos de Evaluación:

  1. Análisis de Similitud Semántica: Uso de modelos de incrustación (embeddings) multilingües (LaBSE, MiniLM) para calcular la similitud coseno entre moralidades. Se comparó la coherencia intra-grupo (mismos hablantes) y la divergencia inter-grupo (diferentes culturas).
  2. Encuesta de Preferencia Humana: Un estudio 2x2 donde participantes eligieron entre moralidades generadas por humanos o LLMs, variando si la moralidad provenía de su propia cultura o de otra, y si era específica de la historia o genérica.
  3. Categorización de Valores (Schwartz): Uso del marco de Valores Universales de Schwartz (10 dimensiones) para analizar la distribución temática de los valores subyacentes en las moralidades generadas.

3. Contribuciones Clave

• Nueva Tarea de Evaluación: Introducen la generación de moralidades de historias como una tarea de evaluación culturalmente fundamentada, enfocada en la interpretación narrativa en lugar del conocimiento factual.
• Dataset Multilingüe y Paralelo: Creación de un recurso único que vincula resúmenes de historias con interpretaciones humanas y de IA a través de 14 idiomas y culturas, permitiendo un análisis comparativo directo.
• Marco de Evaluación Híbrido: Combinan métricas automáticas (similitud semántica), juicios humanos (preferencia) y análisis de valores teóricos para ofrecer una visión multidimensional del rendimiento de los modelos.

4. Resultados Principales

• Similitud Semántica y Calidad (H3):

  • Los modelos de vanguardia (GPT-4o y Gemini) generan moralidades que son semánticamente más similares a las respuestas humanas que los modelos más pequeños. De hecho, superan la línea base de acuerdo humano intra-idioma, sugiriendo que promedian las tendencias centrales de los datos de entrenamiento.
  • Sin embargo, los modelos pequeños a menudo fallan en alcanzar la calidad semántica de los humanos.

• Falta de Diversidad Cultural (H4):

  • Hallazgo Crítico: Los modelos exhiben una similitud inter-lingüística significativamente mayor que los humanos. Mientras que las interpretaciones humanas varían según la cultura (divergencia), los modelos tienden a producir moralidades casi idénticas independientemente del idioma o la cultura de origen.
  • Esto indica una pérdida de especificidad cultural: los modelos "aplanan" las diferencias interpretativas, convergiendo hacia un conjunto estrecho de valores universalmente compartidos y evitando matices culturales específicos.

• Preferencia Humana:

  • Los participantes mostraron una ligera preferencia por moralidades generadas por su propia cultura, pero preferían consistentemente las moralidades generadas por LLMs sobre las humanas, incluso cuando provenían de otras culturas. Esto sugiere que los LLMs generan respuestas que percibimos como "más apropiadas" o "mejor redactadas", aunque carezcan de autenticidad cultural profunda.

• Análisis de Valores (Schwartz):

  • Los LLMs tienden a sobre-representar valores comunes y prototípicos (como Seguridad, Benevolencia y Autodirección) y sub-representar valores menos frecuentes o más controvertidos (como Poder, Hedonismo).
  • Esto confirma que los modelos priorizan mensajes moralmente "seguros" y ampliamente aceptados, en lugar de capturar la complejidad y el conflicto inherente a la interpretación humana.

5. Significado y Conclusión

El estudio concluye que, aunque los LLMs contemporáneos pueden aproximar las tendencias centrales de la interpretación moral humana y generar respuestas semánticamente coherentes, luchan por reproducir la diversidad que caracteriza la comprensión narrativa humana.

• Implicación para la Alineación: La "alineación cultural" actual en los modelos parece ser una convergencia hacia un promedio global de valores, en lugar de una adaptación genuina a contextos culturales específicos.
• Riesgo de Homogeneización: Existe el riesgo de que el uso generalizado de estos modelos en tareas narrativas (educación, periodismo, entretenimiento) reduzca la diversidad de perspectivas morales, imponiendo una visión del mundo estandarizada.
• Futuro: Se requiere un enfoque de evaluación que no busque una única "moral correcta", sino que modele la distribución de interpretaciones y evalúe la capacidad de los modelos para navegar y respetar las variaciones culturales legítimas.

En resumen, el trabajo demuestra que los modelos actuales son excelentes imitadores de la norma, pero pobres imitadores de la variación cultural, lo que plantea desafíos importantes para su despliegue en contextos multiculturales.