Resumen Técnico: Las personas no son solo sus países

Planteamiento del problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) se convierten en fuentes primarias de información y asesoramiento, comprender su alineación de valores con las poblaciones humanas resulta crítico. La literatura existente sobre la alineación de valores en los LLM se basa predominantemente en encuestas a gran escala (por ejemplo, el World Values Survey) y se centra en comparaciones transnacionales o transculturales. Este enfoque suele tratar a los países como unidades monolíticas, ignorando el papel de las divisiones sociodemográficas (como la educación, los ingresos y la religión) en la creación de disparidades de alineación de valores. Además, el uso repetido de encuestas establecidas como el World Values Survey (WVS) plantea preocupaciones respecto a la contaminación de datos, ya que los LLM pueden haber memorizado estos conjuntos de datos específicos. Existe una falta de investigación que desentrañe las contribuciones del país de residencia frente a los datos sociodemográficos individuales para explicar los patrones de alineación de valores, particularmente dentro de un contexto europeo.

Metodología

El estudio aborda estas brechas aprovechando la 11ª oleada del European Social Survey (ESS), realizada entre 2023 y 2024 en 29 países europeos e Israel.

• Fuente de datos: El análisis utiliza 50,116 encuestados del ESS, incorporando 47 preguntas relacionadas con valores (excluyendo ítems específicos de cada país). Un subconjunto de 21 preguntas corresponde al Portrait Value Questionnaire (PVQ) basado en la teoría de los valores humanos básicos de Schwartz.
• Modelos: El estudio evalúa 10 prominentes LLM comerciales de cuatro proveedores: OpenAI (variantes de GPT-5), Anthropic (variantes de Claude Opus/Sonnet), Mistral (diversos esfuerzos de razonamiento) y DeepSeek (V3/V4).
• Estrategia de prompting: Los modelos fueron instados 20 veces por pregunta en inglés utilizando un esquema estandarizado. Las respuestas fueron mapeadas a categorías de escala Likert. Para asegurar la robustez, las respuestas se agregaron mediante voto de mayoría a través de las llamadas al modelo.
• Definición de la puntuación de alineación: Se calcula una puntuación de alineación ($A_{p,m,q}$) para cada persona $p$ y modelo $m$ en la pregunta $q$ como la distancia normalizada entre la respuesta humana y el voto de mayoría del modelo en la escala Likert, que oscila entre 0 y 1.
• Enfoque analítico:
  1. Desviación agregada: Cálculo de las desviaciones medias entre modelos ($d_{G,M,Q}$) para grupos sociodemográficos y países en relación con la media de la población.
  2. Ponderación de la Inversa de la Propensión (IPW): Reponderación de las muestras de los países para que coincidan con la distribución sociodemográfica combinada del ESS para probar si las diferencias a nivel de país son meramente artefactos de la composición demográfica.
  3. Descomposición de la varianza: Uso de Mínimos Cuadrados Ordinarios (OLS) y Modelos de Gradiente Potenciado (XGBoost) para predecir las puntuaciones de alineación individual. El estudio compara la varianza explicada por $R^2$ por: (i) solo el país de residencia, (ii) solo los sociodemográficos, y (iii) la combinación de ambos.

Resultados clave

1. Disparidades sociodemográficas

Los LLM exhiben una alineación desigual entre los grupos sociodemográficos. El análisis revela que la alineación es significativamente mayor para los grupos con:

• Estatus socioeconómico más alto: Los individuos con mayores niveles de educación, deciles de ingresos más altos y aquellos en ocupaciones de cuello blanco muestran una mejor alineación.
• Antecedentes occidentales: Los encuestados con antecedentes de migración occidental se alinean mejor que aquellos con antecedentes no occidentales.
• Secularismo: Los individuos no religiosos y aquellos con puntuaciones de religiosidad más bajas se alinean mejor que los individuos religiosos, particularmente los musulmanes y los ortodoxos orientales, quienes muestran las desviaciones más negativas.
• Interés político: Un mayor interés político se correlaciona con una mayor alineación.
• Tendencias generacionales: Emerge un patrón en forma de U donde las cohortes más jóvenes y las más longevas se alinean menos bien que los grupos de mediana edad, aunque esto varía según el modelo.

2. Efectos a nivel de país

• Variación geográfica: Existen disparidades significativas entre países. Los países escandinavos y de Europa Central muestran la mayor alineación, mientras que los países de los Balcanes y el Báltico muestran la menor. La diferencia entre los países con mayor y menor alineación (Suecia vs. Bulgaria) es de 0.0896, superando la variación encontrada dentro de cualquier factor sociodemográfico individual.
• Independencia de la composición: El análisis de la Ponderación de la Inversa de la Propensión (IPW) demuestra que reponderar los países para que tengan composiciones sociodemográficas idénticas no reduce significativamente la varianza en las puntuaciones de alineación a nivel de país. Esto indica que el país de residencia explica las disparidades de alineación de forma independiente de la composición sociodemográfica de la población.

3. Descomposición de la varianza

• Factores complementarios: Tanto el país de residencia como los factores sociodemográficos son complementarios para explicar la alineación de valores. La combinación de ambos factores produce la mayor capacidad explicativa.
• Peso relativo: Para el conjunto completo de preguntas, el país de residencia por sí solo explica una cantidad sustancial de la varianza (oscilando entre ~7% y ~28% dependiendo del modelo), lo cual está a la par con el conjunto completo de 15 variables sociodemográficas.
• Sensibilidad del conjunto de preguntas: La capacidad explicativa del país de residencia varía según el tipo de pregunta. Para el conjunto de preguntas más amplio ($Q$), el país es un fuerte predictor. Sin embargo, para las preguntas abstractas del PVQ, la varianza explicada por el país se reduce notablemente para la mayoría de los modelos, lo que sugiere que los valores abstractos están más impulsados por la demografía individual, mientras que las posturas más amplias están más influenciadas por el contexto nacional (clima político/medios de comunicación).

Significado y contribuciones

El artículo reclama tres contribuciones principales:

1. Primera evaluación transnacional sociodemográfica: Proporciona la primera evaluación de la alineación de valores a través de los sociodemográficos utilizando el ESS, ofreciendo una alternativa al potencialmente contaminado WVS.
2. Evidencia de la reproducción de WEIRD: El estudio confirma que los LLM reproducen los patrones globales de alineación hacia poblaciones "WEIRD" (occidentales, educadas, industrializadas, ricas y democráticas). Específicamente, dentro de Europa, los LLM están mejor alineados con individuos más ricos, más educados y más occidentales, lo que potencialmente refuerza los valores de las poblaciones que ya son privilegiadas.
3. Desentrañar geografía y demografía: La investigación establece que el país de residencia es una variable distinta y crítica en la investigación de la alineación. No puede ser reemplazado únicamente por los sociodemográficos, ni puede ser explicado totalmente por ellos. Los dos factores son complementarios, y su importancia relativa cambia según la definición específica de "valores" que se mida (abstractos vs. prácticos).

Los autores concluyen que, si bien los sociodemográficos son cruciales, ignorar el papel específico del contexto nacional conduce a una comprensión incompleta de las disparidades en la alineación de valores. Enfatizan la necesidad de un diseño sensible a los valores que tenga en cuenta estas capas interseccionales de desigualdad.