💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

Este artículo presenta los Modelos de Lenguaje Alineados con la Población (PALMs, por sus siglas en inglés), una suite de modelos alineados con poblaciones nacionales específicas mediante el aprovechamiento de razonamientos fundamentados en constructos múltiples para el ajuste de preferencias, lo cual supera significativamente a las líneas base existentes en la simulación de diversos valores culturales, creencias y razonamiento social sin requerir supervisión específica para cada tarea.

Autores originales: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot cómo entender a las personas. En este momento, la mayoría de los robots son como chefs generalistas que han probado un poco de todo, pero que no saben realmente cocinar el plato favorito de una familia específica. Pueden saber qué es la "comida", pero no comprenden del todo por qué una abuela en Italia podría preferir un ragù cocinado a fuego lento mientras que un adolescente en Brasil podría ansiar una feijoada picante. Este es el mundo de los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés): programas informáticos superinteligentes que pueden escribir, charlar y resolver problemas. Pero aquí está la parte difícil: estos robots a menudo actúan como si fueran una única persona promedio. Se pierden las reglas profundas e invisibles que hacen que diferentes grupos de personas piensen y sientan de manera distinta.

Para solucionar esto, los científicos estudian las "preferencias": lo que la gente gusta, cree y valora. Saben que nuestras elecciones no son aleatorias; están moldeadas por nuestras personalidades (¿somos aventureros o cautelosos?), nuestra cultura (¿valoramos al grupo o al individuo?) y nuestra brújula moral (¿qué nos parece justo o correcto?). La gran pregunta que se hacen los investigadores es: ¿Cómo enseñamos a un robot a dejar de actuar como un "humano promedio" genérico y empezar a actuar como una persona específica de un lugar específico, con todos sus rasgos únicos y su trasfondo cultural? Si podemos hacer eso, estos robots podrían ser mucho mejores para ayudarnos, entendernos e incluso simular cómo reaccionarían personas reales ante nuevas ideas.

Aquí es donde entra en juego un nuevo equipo de investigadores con una solución ingeniosa llamada PALMs (Modelos de Lenguaje Alineados con la Población). Piensa en un robot estándar como un estudiante que intenta memorizar las respuestas de un examen simplemente mirando la nota final. Puede que obtenga la respuesta correcta, pero no entiende realmente por qué es correcta. Los investigadores detrás de los PALMs se dieron cuenta de que, para entender verdaderamente a una población, el robot necesita aprender la "receta secreta" detrás de las respuestas. No se limitaron a alimentar al robot con datos sobre lo que la gente decía; le enseñaron a escribir un "diario de razonamiento" antes de dar una respuesta.

Así fue como lo hicieron: crearon cinco versiones especiales de robots, una para cada uno de cinco países: EE. UU., India, Brasil, Francia e Italia. Pero en lugar de decirle al robot: "Eres estadounidense", le dieron un conjunto de herramientas mucho más profundo. Le enseñaron a pensar utilizando cinco lentes específicos, como si fueran unos lentes especiales que cambian la visión:

Personalidad: ¿La persona es abierta a nuevas ideas o le gusta la rutina?
Cultura: ¿Valoran la independencia o mantenerse unidos como grupo?
Valores: ¿Qué los motiva? ¿Es la libertad, la seguridad o ayudar a los demás?
Creencias sobre el mundo: ¿Ven el mundo como un lugar seguro y emocionante o como uno peligroso y caótico?
Moralidad: ¿Qué consideran justo o sagrado?

El robot fue entrenado para escribir una historia corta utilizando estos cinco lentes para explicar por qué una persona de ese país elegiría una respuesta determinada. Por ejemplo, si un brasileño prefiere un cierto tipo de música, el robot no solo dice "Le gusta". Escribe una pequeña nota diciendo: "Debido a que esta persona valora la comunidad y el disfrute sensorial (Cultura y Valores), y ve el mundo como un lugar lleno de oportunidades divertidas (Creencias sobre el mundo), esta música le resulta adecuada". El robot practicó esto una y otra vez, aprendiendo a esconder estas "notas de razonamiento" dentro de su cerebro para poder usarlas automáticamente después.

Los resultados fueron sorprendentemente buenos. Cuando los investigadores probaron estos nuevos robots, descubrieron que los PALMs eran mucho mejores entendiendo a las personas que los viejos robots genéricos. De hecho, en los cinco países, los nuevos modelos mejoraron su precisión en un promedio del 8,59% en comparación con los mejores métodos anteriores. Esto sugiere que fundamentar el aprendizaje de un robot en teorías psicológicas y culturales profundas funciona mucho mejor que simplemente mostrarle datos superficiales o etiquetas demográficas simples como "edad" o "género".

El artículo también comprobó si estos robots podían hacer otras cosas, como actuar como un "modelo de recompensa personalizado" (decidir qué le gustaría a una persona específica) o simular cómo reaccionaría un grupo ante una nueva política. En estas pruebas, los PALMs volvieron a superar a la competencia, mostrando mejoras del 5,19% en recompensas personalizadas y del 6,34% en simulaciones de población. Incluso cuando se les pidió resolver acertijos sociales sobre emociones e intenciones humanas (una tarea llamada Social IQA), los robots mejoraron, alcanzando una precisión del 80,23% en la prueba.

Sin embargo, los investigadores advierten que esto no es una solución máica para todo. Descubrieron que el simple hecho de alimentar al robot con más datos de encuestas sin este enfoque de "diario de razonamiento" en realidad empeoraba las cosas en algunos casos, haciendo que el robot perdiera su capacidad de ver diferentes perspectivas. También admiten que tratar a todo un país como un único grupo es una simplificación; dentro de cada país existen muchas regiones y culturas diferentes que su modelo aún no captura por completo. Pero la conclusión principal es clara: si quieres que un robot entienda verdaderamente a un grupo de personas, tienes que enseñarle a pensar como ellos, no solo a hablar como ellos. Al darle al robot una forma estructurada de razonar a través de la personalidad y la cultura, obtenemos una imagen mucho más clara del diverso mundo humano.

Resumen Técnico: Modelos de Lenguaje Alineados con la Población (PALMs)

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) se utilizan cada vez más para simular el comportamiento de usuarios individuales, pero tienen dificultades para representar fielmente la variación sistemática en valores, creencias y normas culturales que distinguen a una población de otra. Los enfoques actuales suelen depender de un prompting demográfico superficial (por ejemplo, "actúa como un brasileño de 30 años") o del ajuste fino (fine-tuning) directo sobre datos de encuestas conductuales. El artículo argumenta que estos métodos fallan porque optimizan distribuciones de respuesta superficiales en lugar de capturar los constructos psicológicos y culturales subyacentes que moldean conjuntamente el juicio humano. En consecuencia, los modelos suelen sobrerrepresentar los puntos de vista mayoritarios o colapsar en representaciones genéricas cuando se ajustan directamente sobre las respuestas observadas, fallando en preservar la rica estructura compositiva de las preferencias humanas.

Metodología

Los autores presentan los Modelos de Lenguaje Alineados con la Población (PALMs), un marco que alinea los LLMs a poblaciones específicas mediante el anclaje del aprendizaje de preferencias en razonamientos multiconstrucción. La metodología opera bajo la premencia de que las preferencias humanas emergen de la interacción entre la psicología a nivel individual y la variación cultural a nivel de grupo.

1. Espacio de Constructos

El enfoque utiliza cinco familias establecidas de la teoría de las ciencias sociales para formar un espacio latente de razonamiento:

Personalidad (OCEAN): Rasgos individuales (Apertura, Responsabilidad, Extraversión, Amabilidad, Neuroticismo).
Dimensiones Culturales (Hofstede): Tendencias a nivel de grupo (por ejemplo, Individualismo vs. Colectivismo, Distancia de Poder).
Valores Humanos (Schwartz): Prioridades motivacionales (por ejemplo, Autodirección, Seguridad, Benevolencia).
Creencias Primordiales sobre el Mundo (Clifton): Suposiciones individuales sobre el mundo (por ejemplo, Seguro vs. Peligroso, Atractivo vs. Aburrido).
Fundamentos Morales (Haidt): Intuiciones éticas (por ejemplo, Cuidado/Daño, Justicia/Injusticia, Lealtad/Traición).

2. Pipeline de Entrenamiento

Los PALMs se entrenan mediante un proceso de dos etapas sobre el conjunto de datos de Alineación Comunitaria (Community Alignment dataset), que cubre cinco países: EE. UU., India, Brasil, Francia e Italia.

Etapa 1: Ajuste Fino Supervisado (SFT): Un modelo base (Llama-3.1-8B-Instruct) se ajusta mediante instancias de preferencia condicionadas por persona $(p, q, a^+)$ para inicializar la predicción de preferencias.
Etapa 2: Optimización de Preferencias con Supervisión Latente: La innovación central consiste en la Optimización de Preferencias Directa (DPO) aumentada con razonamientos anclados en constructos.
- Para cada par de preferencias, un LLM externo (Qwen2.5-7B-Instruct) genera razonamientos sintéticos. Estos razonamientos descomponen la decisión de preferencia a través de las cinco familias de constructos, explicando por qué un perfil demográfico específico preferiría $a^+$ sobre $a^-$ .
- Durante el DPO, estos razonamientos se insertan en el contexto del prompt pero se enmascaran de la función de pérdida. El modelo no es entrenado para generar explícitamente los tokens del razonamiento; en su lugar, los razonamientos sirven como un sesgo inductivo estructurado y latente para moldear las representaciones internas de preferencia del modelo.
- Esto contrasta con los razonamientos "genéricos" (sin anclaje en constructos) o el ajuste fino conductual directo, que los autores argumentan carecen de la señal estructural necesaria.

3. Inferencia

En el momento de la inferencia, el modelo es instigado con una persona de usuario y una consulta. Genera internamente un razonamiento anclado en constructos (antes de producir la salida final) para guiar su decisión de preferencia. Los tokens del razonamiento no son requeridos como entrada durante la inferencia, lo que permite al modelo generalizar sin anotación externa.

Contribuciones Clave

Marco PALMs: La introducción de una suite de modelos alineados a poblaciones específicas utilizando razonamientos multiconstrucción anclados en la teoría psicológica y cultural como supervisión latente.
Superioridad de los Razonamientos Anclados en Constructos: Evidencia empírica que demuestra que el anclaje del aprendizaje de preferencias en constructos psicológicos y culturales supera tanto al prompting demográfico como al ajuste fino conductual (incluyendo modelos especializados en cultura como CultureLLM).
Generalización a Tareas de Destino: Demostración de que los PALMs generalizan a aplicaciones de destino —modelado de recompensa personalizado, simulación de población y razonamiento social— sin supervisión específica de la tarea, sugiriendo que las representaciones ancladas en constructos capturan estructuras latentes transferibles de la diversidad humana.

Resultados

Los autores evaluaron los PALMs a través de cuatro dimensiones: personalidad, valores/creencias, normas culturales y moralidad, utilizando las distribuciones humanas reales de las poblaciones objetivo.

Alineación Intra-dominio: Los PALM superaron consistentemente a todos los modelos de referencia (incluyendo Llama-3.1-8B-Instruct zero-shot, Gemini-2.5-Flash y CultureLLM) en todas las cinco poblaciones. El modelo PALM completo logró una mejora relativa promedio del 8.59% sobre el mejor modelo de referencia. Notablemente, la configuración "SFT + DPO + Genérico" (usando razonamientos sin anclaje en constructos) funcionó mejor que el DPO estándar pero peor que los PALM, aislando la contribución específica de los constructos psicológicos.
Desempeño en Tareas de Destino:
- Modelado de Recompensa Personalizado: Los PALM mejoraron la precisión en un 5.19% en PersonalizedRewardBench y PRISM en comparación con los modelos de referencia, con ganancias significativas en temas relacionados con la sociedad (religión, ley, política).
- Simulación de Población: En SIMBENCH, los PALM lograron la mejor alineación en 15 de los 17 conjuntos de datos, con ganancias particularmente grandes (hasta ~20%) en tareas alineadas con las familias de constructos (por ejemplo, OpinionQA, OSPPsychMACH).
- Razonamiento Social: En un estudio de caso sobre SOCIALIQA, los PALM alcanzaron un 80.23% de precisión en el conjunto de prueba, superando al sólido modelo de referencia Gemini-2.5-Flash (79.72%), con las mayores ganancias en el razonamiento sobre las motivaciones humanas.

Significado y Reivindicaciones

El artículo afirma que el razonamiento a través de constructos psicológicos y culturales establecidos proporciona una señal inductiva más rica para el aprendizaje de preferencias que el condicionamiento demográfico o los datos de entrenamiento basados en encuestas por sí solos.

Los autores argumentan que el ajuste directo de los modelos a los resultados conductuales observados a menudo conduce a un colapso de la diversidad representacional, mientras que el anclaje del proceso de aprendizaje en constructos latentes permite al modelo interiorizar el "por qué" detrás de las preferencias. Este enfoque permite la creación de modelos específicos de población que no son meros imitadores estadísticos de datos de encuestas, sino que están estructuralmente alineados con los mecanismos psicológicos que impulsan el juicio humano. El trabajo aboga por la adopción más amplia de la teoría de las ciencias sociales como un sesgo inductivo estructurado en la investigación de alineación, ofreciendo una base principista para modelar poblaciones de manera multilingüe y detallada.

Los autores reconocen limitaciones, incluyendo el uso de la abstracción a nivel de país como un sustituto de las poblaciones (lo que aplana la variación dentro de un país), la naturaleza no exhaustiva de las familias de constructos seleccionadas y la dependencia actual de datos de entrenamiento exclusivamente en inglés. Postulan que el trabajo futuro debería explorar definiciones de población más granulares y un modelado multilingüe nativo.