💬 NLP

PLURAL: A Global Dataset for Value Alignment

El artículo presenta PLURAL, un conjunto de datos a gran escala derivado de la Encuesta de Valores Integrados en 92 países que genera tripletos de preferencias sintéticas para mejorar el alineamiento de los modelos de lenguaje de gran tamaño con diversos valores culturales no occidentales, demostrando mejoras significativas tanto en métricas automatizadas como en evaluaciones humanas.

Autores originales: Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

Publicado 2026-07-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has construido un robot chef superinteligente que puede cocinar un millón de recetas diferentes. Pero hay un inconveniente: este chef fue entrenado casi por completo por un pequeño grupo de personas de un vecindario específico en Occidente. Como resultado, el robot piensa que todos quieren que su comida se sirva con una guarnición de valores occidentales, incluso cuando un cliente de Tokio, Bombay o Río pide algo diferente. El robot puede ser fluido en japonés o portugués, pero su "alma" sigue sintiéndose muy estadounidense. Es como un invitado fluido pero extranjero que habla tu idioma perfectamente, pero no entiende tus tradiciones familiares.

Entra PLURAL, un nuevo proyecto de investigadores de la Universidad de Cornell que intenta solucionar estos puntos ciegos culturales del robot.

La gran idea: Una prueba de sabor global

Los investigadores se dieron cuenta de que, para enseñar a un robot a respetar diferentes culturas, no podían simplemente preguntar a personas al azar en internet lo que les gusta. En su lugar, fueron a la fuente: una encuesta masiva y científicamente rigurosa llamada Integrated Values Survey (IVS). Esta encuesta ha preguntado a más de 156.658 personas en 92 países diferentes sobre sus creencias más profundas: lo que consideran correcto, incorrecto, importante o tonto.

Piensa en el IVS como una gigantesca "prueba de sabor" global donde personas de todos los rincones del mundo calificaron sus sabores de vida favoritos. Pero aquí está el problema: no puedes alimentar a un robot con una hoja de cálculo de respuestas de encuestas. Los robots necesitan historias y conversaciones, no solo casillas de "Sí/No".

El flujo de trabajo mágico: Convirtiendo encuestas en historias

Así, el equipo construyó una "máquina de traducción" de dos etapas para convertir esas secas respuestas de encuestas en 500.000 escenarios de conversación realistas (llamados "trípletas de preferencia").

Etapa Uno (El Traductor): Tomaron las respuestas de una encuesta de una persona real —por ejemplo, un hombre japonés de 66 años que valora el deber familiar por encima del ocio— y le pidieron a una IA que imaginara una situación de la vida real donde esa persona enfrentaría una decisión difícil. La IA generó un prompt como: "Mi amigo quiere jugar al golf, pero mi hija necesita una niñera. ¿Qué hago?".
Etapa Dos (El Narrador): La IA luego escribió dos respuestas. Una respuesta (la "preferida") reflejaba los valores reales de ese hombre japonés (priorizando el deber familiar). La otra respuesta (la "no preferida") reflejaba un punto de vista diferente pero plausible (priorizando el ocio).

Hicieron esto para 20 países diversos, creando una enorme biblioteca de escenarios de "¿qué diría realmente una persona de este país?". Incluso se aseguraron de elegir personas de la encuesta que representaran la mezcla real de edades, géneros y niveles educativos en esos países, para que los datos no fueran solo sobre el mismo tipo de persona una y otra vez.

¿Funcionó? Los resultados de la prueba de sabor

Los investigadores no solo esperaron que funcionara; lo pusieron a prueba de tres maneras:

La comprobación de "¿Es real?": Verificaron que las nuevas historias realmente conservaban el sabor único de cada país. Descubrieron que los datos aún mantenían las diferencias distintivas entre, por ejemplo, Brasil y Japón, e incluso mantuvieron la variedad de opiniones dentro de cada país. No eran solo un montón de estereotipos; era un reflejo rico y desordenado de la diversidad humana real.
El entrenamiento del robot: Tomaron un modelo de lenguaje estándar y lo entrenaron con estos nuevos datos de PLURAL. Probaron al robot utilizando un conjunto diferente de preguntas culturales (el marco GLOBE) que el robot nunca había visto antes. ¿El resultado? El robot entrenado con PLURAL fue un 27,7% mejor al coincidir con el perfil cultural de países como la India, en comparación con otros métodos sólidos. No estaba adivinando; estaba aprendiendo el "vibrante" específico de la cultura objetivo.
El veredicto humano: Pidieron a 176 personas reales de la India, Brasil y Japón que leyeran las respuestas del nuevo robot y las del viejo robot. Los humanos eligieron abrumadoramente las respuestas del robot entrenado con PLURAL como aquellas que se sentían más "típicas" de sus propios valores nacionales. Una persona incluso calificó una respuesta como "esencialmente india", señalando cómo capturaba la forma específica en que las familias usan WhatsApp para mantenerse conectadas.

Lo que NO es (La trampa del "Fluido pero Extranjero")

El artículo es muy claro sobre lo que esto no hace. Argumenta contra la idea de que simplemente hacer que un robot hable un idioma local (como el hindi o el árabe) sea suficiente. Los intentos anteriores crearon modelos "fluidos pero extranjeros" que podían charlar en lenguas locales pero seguían impulsando valores occidentales. PLURAL demuestra que necesitas entrenar al modelo en los valores mismos, no solo en las palabras.

Además, el artículo descarta explícitamente la idea de que puedes simplemente "instruir" (prompt) a un robot para que sea culturalmente consciente diciéndole: "Eres de Brasil". Si bien eso ayuda un poco, no es ni mucho menos tan efectivo como entrenar realmente al robot con miles de ejemplos reales basados en valores.

El inconveniente: El robot todavía se siente un poco "aplastado"

Aquí está la parte donde los investigadores son honestos sobre los límites. Aunque el robot mejoró mucho en la comprensión de diferentes culturas, el proceso de entrenamiento mismo pareció "aplastar" un poco las diferencias.

Imagina los perfiles culturales de diferentes países como puntos dispersos en un campo amplio. Los países reales están lejos unos de otros. Después del entrenamiento, los nuevos "puntos culturales" del robot se movieron en la dirección correcta, pero terminaron agrupados más cerca entre sí de lo que están los países reales. El robot capturó aproximadamente el 18% de la diversidad original. Los investigadores sugieren que esto no es porque los datos fueran malos, sino porque los métodos de entrenamiento actuales (una técnica llamada DPO) tienden a suavizar demasiado las cosas. Es como un filtro de foto que hace que todos se vean un poco más parecidos, incluso si todavía son claramente diferentes.

La conclusión

PLURAL es una biblioteca abierta y gigante de 500.000 historias centradas en valores, basadas en encuestas reales de 20 países (y lista para expandirse a 92). Demuestra que podemos enseñar a los robots a respetar una gama más amplia de valores humanos, alejándolos de una perspectiva occidental única. Es un gran paso hacia un futuro donde nuestros asistentes digitales no solo hablen nuestro idioma, sino que realmente entiendan nuestros corazones y nuestros hogares.

Resumen Técnico: PLURAL: Un conjunto de datos global para la alineación de valores

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) actualmente reflejan desproporcionadamente los valores occidentales y de habla inglesa, lo que genera daños representacionales para los usuarios internacionales, como la homogeneización de los valores culturales en el texto generado. Si bien los esfuerzos recientes se han centrado en modelos de lenguaje "soberanos" para idiomas específicos, estos modelos a menudo siguen siendo "fluentes pero extranjeros", dominando la sintaxis local pero reteniendo sistemas de valores culturales estadounidenses. Los conjuntos de datos de alineación existentes (p. ej., PRISM, Community Alignment) sufren dos limitaciones principales: (1) Alcance: carecen de datos nacionalmente representativos de una amplia gama de países, inclinándose fuertemente hacia sectores occidentales o altamente educados; y (2) Usabilidad: capturan preferencias sobre respuestas de asistentes genéricos en lugar de aislar los valores normativos subyacentes que dan forma a esas preferencias. El desafío central es crear un recurso escalable que capture diversos valores humanos a través de las culturas, produciendo simultáneamente datos adecuados para la alineación en el post-entrenamiento.

Metodología

Los autores presentan PLURAL (Preference Library for Multi-Region Alignment), un conjunto de datos de preferencias sintéticas a gran escala fundamentado en la Encuesta de Valores Integrados (IVS), una encuesta nacionalmente representativa que cubre 92 países con más de 156,000 participantes.

Pipeline de Construcción de Datos

La construcción de PLURAL implica un pipeline de generación de dos etapas diseñado para transformar respuestas de encuesta breves y de opción múltiple en tríos de preferencia realistas $(prompt, respuesta\_preferida, respuesta\_despreferida)$ :

Fundamentación y Filtrado:
- Los autores utilizan la IVS (combinando datos de la World Values Survey y la European Values Study).
- Reconstruyen 59 grupos originales de preguntas de la encuesta para preservar la estructura de la misma.
- Utilizando la jerarquía de creencias de Milton Rokeach, filtran estos grupos para retener solo las creencias prescriptivas (valores normativos sobre lo que la gente debería hacer), excluyendo las creencias descriptivas (percepciones de la realidad) y las primitivas (verdades basadas en la fe). Esto resulta en 41 grupos de preguntas centrados en valores.
Muestreo Estratificado:
- Para asegurar la representatividad, los autores emplean un muestreo proporcional estratificado basado en sexo, edad (cuatro bandas) y educación (tres niveles).
- Un lanzamiento inicial cubre 20 países culturalmente diversos con 100 participantes representativos por país ( $N=2,000$ ), produciendo aproximadamente 500,000 tríos de preferencia.
Generación Sintética (Dos Etapas):
- Etapa 1 (Generación de Tríos): Para cada participante y grupo de preguntas, un LLM recibe el perfil demográfico del participante y sus respuestas de la encuesta. El modelo genera un escenario realista (prompt) y dos respuestas: una alineada con los valores del participante (preferida) y otra que refleja una postura contrastante (despreferida). Se generan cinco tríos por grupo para asegurar la diversidad de escenarios.
- Etapa 2 (Expansión de Respuestas): Una segunda pasada de LLM expande las respuestas breves de la Etapa 1 en respuestas de asistente naturales y conversacionales, manteniendo estrictamente la postura de valor subyacente.
- Control de Calidad: La generación se realiza en inglés para aislar los valores de la variación lingüística. El pipeline utiliza un grupo de LLMs de frontera (GPT-5 Mini, Mistral Large 3, DeepSeek-v3.2) con decodificación estocástica para reducir el sesgo específico del modelo. La verificación manual confirma que los datos son fieles a las respuestas de la IVS y evitan estereotipos genéricos.

Marco de Evaluación

Los autores evalúan PLURAL utilizando tres métodos complementarios a través de cinco países objetivo (India, Brasil, Japón, Malasia, Zimbabue):

Validación a Nivel de Dataset: Verificar que los datos sintéticos preservan las diferencias de valores entre países y la diversidad dentro de cada país observadas en la IVS original. Esto implica entrenar clasificadores para predecir el país a partir de embeddings de valores y comparar las distribuciones de distancia por pares.
Evaluación Automatizada: Ajustar modelos con instrucción (específicamente llama-3.1-8b-instruct) mediante PLURAL usando Optimización de Preferencia Directa (DPO). Los modelos resultantes se evalúan contra el benchmark LLM-GLOBE, que sondea la alineación cultural a través de nueve dimensiones (p. ej., Evitación de la Incertidumbre, Orientación al Desempeño) usando dilemas de respuesta abierta. El rendimiento se mide mediante el Error Absoluto Medio (MAE) frente a las puntuaciones GLOBE reales del país.
Evaluación Humana: Una evaluación ciega por pares con 176 evaluadores en India, Brasil y Japón, preguntándoles que juzguen qué respuesta del modelo es más típica de sus valores nacionales.

Resultados Clave

1. Validez del Dataset

Diferencias entre Países: Un clasificador entrenado en los embeddings de PLURAL logró una precisión del 78.0% en la predicción del país del encuestado (azar = 20%), demostando que se preservan señales significativas de valores específicos de cada país tras la generación sintética.
Diversidad Intra-país: La distribución de las distancias de coseno por pares entre encuestados en PLURAL coincide estrechamente con los datos originales de la IVS (distancia de Wasserstein promedio de 0.051), lo que indica que no hay un "colapso de plantilla" donde individuos diversos sean mapeados a escenarios idénticos.

2. Desempeño de Alineación Automatizada

Alineación Mejorada: Los modelos ajustados con PLURAL superaron consistentemente a las bases fuertes (Vanilla, Demographic Prompting, Aggregate Prompting y Community Alignment DPO).
Reducción de Error: El entrenamiento con PLURAL redujo el Error Absoluto Medio (MAE) relativo a los perfiles GLOBE del país objetivo en un 15.7% (Japón) a 27.7% (India).
Ganancias Dimensionales: Se observaron mejoras en 7 de las 9 dimensiones de GLOBE, particularmente en Jerarquía, Ambición y Coordinación Social. Dimensiones como la Igualdad de Género mostraron cambios mínimos, probablemente debido a conflictos con las normas de seguridad existentes en los modelos base.
Generalización: La señal de valor se transfirió entre familias de modelos, mostrando mejoras en los modelos qwen-2.5-7b y qwen-2.5-14b.

3. Evaluación Humana

Preferencia: Los evaluadores prefirieron el modelo alineado con PLURAL sobre la base Vanilla en un 66% de los casos en general. Se observaron ganancias significativas en India (72%) y Japón (71%).
Feedback Cualitativo: Los evaluadores describieron las respuestas alineadas con PLURAL como "quinteseencialmente indias" o alineadas con "virtudes tradicionales japonesas", notando la captura de artefactos culturales específicos (p. ej., el uso de WhatsApp para la coordinación familiar en la India).

4. Comparación con Baselines

Vs. Prompting: El prompting demográfico y agregado produjo ganancias insignificantes o inconsistentes en comparación con el ajuste fino basado en datos fundamentados.
Vs. Datasets Existentes: PLURAL superó al dataset de Community Alignment (que cubre menos países) y mostró resultados superiores comparados con una base sintética condicionada por diversas personas (PersonaHub) en lugar de datos reales de encuestas.
Preservación de Capacidades: El ajuste fino con PLURAL no degradó las capacidades generales; las puntuaciones de MMLU se mantuvieron estables o mejoraron ligeramente.

Significación y Reivindicaciones

El artículo afirma que PLURAL proporciona una señal escalable y aprendible para el direccionamiento de valores, demostrando que es posible alinear los LLM con las distribuciones de valores de diversas poblaciones utilizando datos de encuestas nacionalmente representativas.

Alineación Pluralista: El trabajo avanza la agenda de la alineación pluralista al ir más allá de los modelos "fluentes pero extranjeros" hacia aquellos que pueden interactuar con la pluralidad de los valores humanos.
Fundamentación en la Realidad: Al fundamentar los datos sintéticos en la IVS, los autores muestran que las respuestas de encuestas del mundo real proporcionan una señal de alineación de valores más fuerte que la generación puramente condicionada por personas.
Limitaciones y Trabajo Futuro: Los autores señalan modestamente que, si bien PLURAL contiene la señal, los métodos actuales de post-entrenamiento (específicamente DPO) comprimen la diversidad entre países, reteniendo solo un ~18% de la variación presente en los perfiles de la realidad. Destacan que la tensión entre la representación cultural y las normas de seguridad (p. ej., Igualdad de Género) sigue siendo un desafío abierto. Posicionan a PLURAL no como una solución final, sino como un recurso que permite a los investigadores estudiar empíricamente cómo navegar valores conflictivos y preservar la pluralidad en futuros sistemas de alineación.