💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

本文介绍了人口对齐语言模型（Population Aligned Language Models, PALMs），这是一套通过利用基于多维度构念的理性依据进行偏好微调，从而与特定国家人口保持一致的模型套件，该模型在无需特定任务监督的情况下，在模拟多样化的文化价值观、信仰和社会推理方面显著优于现有基准模型。

原作者： Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何理解人类。目前，大多数机器人就像是全能型大厨，虽然尝过各种各样的食物，但并不真正懂得如何烹饪某个特定家庭的最爱。它们可能知道什么是“食物”，但并不理解为什么一位意大利的老祖母会偏爱慢炖肉酱（ragù），而一位巴西的青少年却渴望吃香辣的黑豆饭（feijoada）。这就是大语言模型（LLMs）的世界——这些超级智能的计算机程序可以写作、聊天并解决问题。但棘手的地方在于：这些机器人往往表现得像是一个单一的、平均水平的人。它们忽略了那些让不同人群产生不同思维和感受的深层、隐形的规则。

为了解决这个问题，科学家们开始研究“偏好”——即人们喜欢什么、相信什么以及珍视什么。他们知道，我们的选择并非随机，而是受到我们的个性（我们是冒险型还是谨慎型？）、文化（我们重视集体还是个人？）以及道德准则（什么才是公平或正确的？）的影响。研究人员提出的核心问题是：我们如何教机器人停止扮演一个通用的“平均人类”，转而开始扮演一个来自特定地方、拥有独特怪癖和文化背景的具体的人？如果我们能做到这一点，这些机器人就能更好地帮助我们、理解我们，甚至模拟真实人类对新想法的反应。

正是在这里，一个名为 PALMs（群体对齐语言模型）的新型研究团队提出了一个聪明的解决方案。把标准的机器人想象成一名试图通过只看最终成绩来背诵考试答案的学生。他们可能会得到正确答案，但并不真正理解为什么这个答案是正确的。开发 PALMs 的研究人员意识到，要真正理解一个群体，机器人需要学习答案背后的“秘方”。他们不仅仅是向机器人喂入关于人们说了什么的资料；他们还教会了机器人在给出答案之前写下一份“推理日记”。

他们是这样做的：他们创建了五个特殊的机器人版本，分别对应五个国家：美国、印度、巴西、法国和意大利。但他们并没有简单地告诉机器人“你是一个美国人”，而是给了它一个更深层的工具包。他们教会机器人使用五种特定的视角进行思考，就像戴上了一副能改变视觉效果的特制眼镜：

个性： 这个人是乐于接受新事物，还是喜欢循规蹈矩？
文化： 他们重视独立自主，还是重视集体凝聚力？
价值观： 他们的驱动力是什么？是自由、安全，还是帮助他人？
世界观： 他们认为世界是一个安全、令人兴奋的地方，还是一个危险、混乱的地方？
道德观： 他们认为什么是公平的，或者什么是神圣不可侵犯的？

机器人被训练去使用这五个视角写一段短文，以此来解释为什么来自某个国家的人会做出某种选择。例如，如果一个巴西人偏好某种类型的音乐，机器人不会只说“他们喜欢它”。它会写下一段笔记说：“因为这个人重视社区感和感官享受（文化与价值观），并且将世界视为一个充满乐趣机会的地方（世界观），所以这种音乐让他感到契合。”机器人反复练习这个过程，学习如何将这些“推理笔记”隐藏在脑海中，以便稍后能自动调用。

结果非常出色。当研究人员测试这些新机器人时，他们发现 PALMs 比旧的通用型机器人更能理解人类。事实上，在所有五个国家中，新模型的准确率比之前的最佳方法平均提高了 8.59%。这表明，将机器人的学习建立在深层的心理学和文化理论之上，比仅仅展示表面数据或简单的统计标签（如“年龄”或“性别”）要有效得多。

研究人员还检查了这些机器人是否能胜任其他任务，比如充当“个性化奖励模型”（决定一个特定的人会喜欢什么）或模拟一个群体对新政策的反应。在这些测试中，PALMs 再次超越了竞争对手，在个性化奖励方面提升了 5.19%，在群体模拟方面提升了 6.34%。即使被要求解决关于人类情感和意图的社会谜题（一项被称为 Social IQA 的任务），这些机器人的表现也变得更好，达到了 80.23% 的准确率。

然而，研究人员也谨慎地指出，这并不是万能的灵丹妙药。他们发现，如果只是单纯地向机器人喂入更多的调查数据而不采用这种“推理日记”的方法，在某些情况下反而会让情况变糟，导致机器人失去观察不同视角的的能力。他们也承认，将整个国家视为一个单一群体是一种简化处理；在每个国家内部，还存在着许多不同的地区和文化，目前的模型尚未能完全捕捉到这些细节。但主要的启示是明确的：如果你想让一个机器人真正理解一个群体，你必须教它如何像他们一样思考，而不仅仅是像他们一样说话。通过给机器人一个结构化的方式去推理个性与文化，我们能获得一个更清晰、更多元的人类世界图景。

技术摘要：人口对齐语言模型 (PALMs)

问题陈述

大型语言模型 (LLMs) 正越来越多地被用于模拟个体用户行为，但它们难以忠实地呈现区分不同人口的价值观、信仰和文化规范的系统性差异。现有的方法通常依赖于浅层的统计特征提示（例如，“扮演一名来自巴西的 30 岁人士”）或直接在行为调查数据上进行微调。本文认为，这些方法之所以失败，是因为它们优化的是表层的响应分布，而非捕捉共同塑造人类判断力的底层心理学和文化构念。因此，模型往往会过度代表多数观点，或者在直接针对观察到的响应进行微调时塌缩为通用的表示，从而无法保留人类偏好的丰富组合结构。

方法论

作者引入了人口对齐语言模型 (Population Aligned Language Models, PALMs)，这是一个通过将偏好学习植根于多构念理性说明（multi-construct rationales）来使 LLMs 与特定人口对齐的框架。该方法论基于这样一个前提：人类偏好产生于个体层面心理学与群体层面文化变异之间的相互作用。

1. 构念空间 (Construct Space)

该方法利用五个成熟的社会科学理论家族来构建推理的潜在空间：

人格 (OCEAN)： 个体特质（开放性、尽责性、外向性、宜人性、神经质）。
文化维度 (Hofstede)： 群体层面的倾向（例如，个人主义 vs 集体主义、权力距离）。
人类价值观 (Schwartz)： 动机优先级（例如，自我导向、安全、仁爱）。
原始世界信念 (Clifton)： 对世界的个体假设（例如，安全 vs 危险、迷人 vs 乏味）。
道德基础 (Haidt)： 伦理直觉（例如，关怀/伤害、公平/不公、忠诚/背叛）。

2. 训练流水线

PALMs 在涵盖美国、印度、巴西、法国和意大利五个国家的 Community Alignment 数据集上通过两个阶段进行训练。

第一阶段：监督微调 (SFT)： 对基座模型 (Llama-3.1-8B-Instruct) 进行以人格为条件的偏好实例 $(p, q, a^+)$ 的微调，以初始化偏好预测。
第二阶段：带有潜在监督的偏好优化： 核心创新在于使用基于构念的理性说明 (construct-grounded rationales) 增强的直接偏好优化 (DPO)。
- 对于每个偏好对，由外部 LLM (Qwen2.5-7B-Instruct) 生成合成的理性说明。这些理性说明将偏好决策分解到五个构念家族中，解释了为什么特定的统计特征描述会偏好 $a^+$ 而非 $a^-$ 。
- 在 DPO 过程中，这些理性说明被插入到提示上下文（prompt context）中，但从损失函数中屏蔽 (masked)。模型并不被训练去显式生成这些理性说明的 Token；相反，这些理性说明作为结构化的、潜在的归纳偏置，用以塑造模型内部的偏好表示。
- 这与“通用型”理性说明（不具备构念基础）或直接的行为微调形成对比，作者认为后者缺乏必要的结构化信号。

3. 推理

在推理阶段，模型接收一个用户人格（persona）和一个查询（query）。它会在生成最终输出之前，在内部生成一个基于构念的理性说明来引导其偏好决策。推理时不需要输入这些理性说明的 Token，这使得模型能够在无需外部标注的情况下实现泛化。

核心贡献

PALMs 框架： 引入了一套通过将心理学和文化理论作为潜在监督的多构念理性说明，从而实现与特定人口对齐的模型系列。
基于构念的理性说明的优越性： 通过实证证据表明，将偏好学习植根于心理学和文化构念，其表现优于人口统计学提示和基于行为的微调（包括像 CultureLLM 这样专门针对文化的模型）。
下游任务的泛化能力： 证明了 PALMs 可以泛化到下游应用——个性化奖励建模、人口模拟和社会推理——而无需特定任务的监督，这表明基于构念的表示捕捉到了可迁移的潜在结构。

结果

作者从人格、价值观/信念、文化规范和道德四个维度评估了 PALMs，并使用了目标人口的真实人类分布。

域内对齐： PALMs 在所有五个人口群体中一致优于所有基准模型（包括零样本 Llama-3.1-8B-Instruct、Gemini-2.5-Flash 和 CultureLLM）。完整的 PALM 模型相比表现最好的基准模型实现了 8.59% 的相对提升。值得注意的是，“SFT + DPO + Generic”配置（使用不具备构念基础的理性说明）的表现优于标准 DPO，但逊于 PALMs，这分离出了心理学构念的具体贡献。
下游性能：
- 个性化奖励建模： 与基准模型相比，PALMs 在 PersonalizedRewardBench 和 PRISM 上的准确率提高了 5.19%，在社会相关话题（宗教、法律、政治）上增益显著。
- 人口模拟： 在 SIMBENCH 上，PALMs 在 17 个数据集中的 15 个上实现了最佳对齐，特别是在与构念家族相关的任务（如 OpinionQA, OSPsychMACH）上取得了巨大的增益（高达 ~20%）。
- 社会推理： 在 SOCIALIQA 的案例研究中，PALMs 在测试集上达到了 80.23% 的准确率，超越了强大的 Gemini-2.5-Flash 基准（79.72%），其在理解人类动机方面的增益最为明显。

重要性与主张

本文主张，通过既定的心理学和文化构念进行合理化说明，为偏好学习提供了比人口统计学条件或基于调查的训练数据更丰富的归纳信号。

作者认为，直接拟合观察到的行为输出往往会导致表示多样性的塌缩，而将学习过程植根于潜在构念中，则允许模型内化偏好背后的“为什么”。这种方法能够创建特定的人口模型，这些模型不仅是调查数据的统计模仿，而且在结构上与驱动人类判断的心理机制相对齐。这项工作倡导在对齐研究中广泛采用社会科学理论作为一种结构化的归纳偏置，为以多语言和细粒度方式进行人口建模提供了原则性的基础。

作者承认了局限性，包括使用国家层面的抽象作为人口的代理（这平滑了国内差异）、所选构念家族并非详尽无遗，以及目前对仅限英语训练数据的依赖。他们认为，未来的工作应探索更细粒度的人口定义和原生多语言建模。