💬 NLP

PLURAL: A Global Dataset for Value Alignment

本文介绍了 PLURAL，这是一个源自 92 个国家的综合价值观调查的大规模数据集，通过生成合成偏好三元组来增强大语言模型与多样化、非西方文化价值观的对齐，并证明了其在自动化指标和人工评估方面均取得了显著提升。

原作者： Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你打造了一个超级聪明的机器人厨师，它能烹饪一百万种不同的食谱。但问题在于：这个厨师几乎完全是由来自西方某个特定社区的一小群人训练出来的。结果，这个机器人认为每个人都希望他们的食物配上一份西方的价值观，即使是来自东京、孟买或里约热内卢的顾客提出了不同的要求。这个机器人可能精通日语或葡萄牙语，但它的“灵魂”仍然感觉非常美国化。这就像是一个流利的外国客人，虽然能完美地使用你的语言，却并不了解你的家庭传统。

于是有了 PLURAL，这是康奈尔大学研究人员发起的一个新项目，旨在修复机器人的这些文化盲点。

核心理念：一场全球性的味觉测试

研究人员意识到，要教会机器人尊重不同的文化，不能只是在互联网上随机询问人们喜欢什么。相反，他们转向了源头：一个大规模、具有科学严谨性的调查——综合价值观调查（Integrated Values Survey, IVS）。这项调查向来自 92 个不同国家的超过 156,658 人询问了他们最深层的信仰——他们认为什么是对的、错的、重要的或荒谬的。

把 IVS 想象成一场巨大的、全球性的“味觉测试”，人们在其中评选出他们生命中最喜欢的“风味”。但问题在于，你不能把一份调查问卷的电子表格喂给机器人。机器人需要的是故事和对话，而不是仅仅只有“是/否”这种勾选框。

魔法流水线：将调查转化为故事

因此，团队构建了一个两阶段的“翻译机器”，将那些枯燥的调查答案转化为 500,000 个真实的对话场景（称为“偏好三元组”）。

第一阶段（翻译器）： 他们提取了一个真实的人的调查答案——比如，一位重视家庭责任高于休闲生活的日本 66 岁男性——并要求 AI 想象一个该人在现实生活中可能面临艰难抉择的情境。AI 生成了一个提示词，例如：“我的朋友想去打高尔夫球，但我女儿需要有人看顾。我该怎么办？”
第二阶段（讲述者）： 随后，AI 写出了两种回应。一种回应（“偏好”的回应）反映了这位日本男性的真实价值观（优先考虑家庭责任）。另一种回应（“非偏好”的回应）则反映了另一种合理的观点（优先考虑休闲）。

他们针对 20 个多元化的国家进行了这种处理，创建了一个庞大的库，里面包含了“来自这个国家的人实际上会说什么”的场景。他们甚至确保挑选了代表该国真实年龄、性别和教育水平的调查受访者，从而保证数据不仅仅是关于同一种类型的人。

效果如何？味觉测试的结果

研究人员不仅是希望它有效，还通过三种方式对其进行了测试：

“是否真实？”的检查： 他们验证了这些新故事是否确实保留了每个国家独特的“风味”。他们发现，数据仍然保留了例如巴西和日本之间的显著差异，甚至保留了每个国家内部观点的多样性。这不仅仅是一堆刻板印象；它是对真实人类多样性的丰富且复杂的反映。
机器人训练： 他们采用了一个标准的语言模型，并用这种新的 PLURAL 数据对其进行训练。他们使用另一套从未见过的文化问题（GLOBE 框架）来测试机器人。结果显示，经过 PLURAL 训练的机器人，在匹配像印度这样的国家文化特征方面，比其他强力方法提升了 27.7%。它不仅仅是在猜测，而是在学习目标文化的特定“氛围”。
人类裁决： 他们邀请了来自印度、巴西和日本的 176 名真实人士，让他们阅读新机器人和旧机器人的回答。人类压倒性地选择了 PLURAL 训练后的机器人所给出的回答，认为其更符合他们本国的价值观。甚至有人称赞一个回答“非常有印度特色”，指出它捕捉到了家庭如何利用 WhatsApp 保持联系的特定方式。

它“不是”什么（“流利但陌生”的陷阱）

论文非常明确地阐述了它不做的事情。它反对这样一种观点，即仅仅让机器人学会说当地语言（如印地语或阿拉伯语）就足够了。以前的尝试创造了“流利但陌生”的模型，它们可以在当地语言中聊天，但仍在推行西方价值观。PLURAL 表明，你需要针对价值观本身来训练模型，而不仅仅是针对词汇。

此外，论文也明确排除了这样一个想法：即通过告诉机器人“你来自巴西”来通过“提示词（Prompting）”让它具备文化意识。虽然这会有微小的帮助，但远不如通过数以千计的、基于真实价值观的实例进行实际训练那样有效。

缺陷：机器人仍然会被“挤压”

这是研究人员诚实面对局限性的部分。虽然机器人对不同文化的理解变得更好，但训练过程本身似乎在某种程度上“挤压”了差异。

想象一下，不同国家的文化轮廓就像散布在广阔田野上的点。真实的国家之间距离很远。在训练之后，机器人的新“文化点”向正确的方向移动了，但它们最终比真实的国家聚拢得更近。机器人捕捉到了大约 18% 的原始多样性。研究人员认为，这并不是因为数据不好，而是因为目前的训练方法（一种称为 DPO 的技术）往往会过度平滑化。这就像是一个照片滤镜，即使大家看起来依然有区别，但会让每个人看起来都变得有些相似。

总结

PLURAL 是一个巨大的、开放的库，包含 500,000 个基于 20 个国家真实调查的、聚焦于价值观的故事（并已准备好扩展到 92 个国家）。它证明了我们可以教会机器人尊重更广泛的人类价值观，使它们脱离单一的西方视角。这是迈向未来的一大步——在那个未来，我们的数字助手不仅能说出你的语言，更能真正理解你的心声与家园。

技术摘要：PLURAL：一个全球价值观对齐数据集

问题陈述

大型语言模型（LLMs）目前不成比例地反映了西方、英语使用者的价值观，这给国际用户带来了代表性伤害，例如生成文本中文化价值观的同质化。虽然最近的研究重点在于针对特定语言的“主权”语言模型，但这些模型往往仍然是“流利但外来”的——即掌握了当地的语法，却保留了美国的文化价值体系。现有的对齐数据集（如 PRISM、Community Alignment）存在两个主要局限性：(1) 覆盖范围（Reach）：它们缺乏跨广泛国家的国家级代表性数据，往往过度偏向西方或高教育程度的人口；(2) 可用性（Usability）：它们捕捉的是对通用助手响应的偏好，而非隔离出塑造这些偏好的底层规范性文化价值观。核心挑战在于创建一个可扩展的资源，既能捕捉不同文化中多样的人类价值观，又能产生适用于后训练对齐的数据。

方法论

作者引入了 PLURAL（多区域对齐偏好库），这是一个基于**综合价值观调查（Integrated Values Survey, IVS）**的大规模合成偏好数据集。IVS 是一项涵盖 92 个国家、拥有超过 156,000 名参与者的具有国家代表性的调查。

数据构建流水线

PLURAL 的构建涉及一个两阶段生成流水线，旨在将简短、固定选项的调查响应转化为真实的偏好三元组 $(prompt, preferred\_response, dispreferred\_response)$ ：

落地与过滤（Grounding and Filtering）：
- 作者利用 IVS（结合了世界价值观调查和欧洲价值观研究的数据）。
- 他们重建了 59 个原始调查问题组以保留调查结构。
- 利用米尔顿·罗基奇（Milton Rokeach）的信仰等级制度，他们对这些问题组进行了过滤，仅保留规范性信念（关于人们应该做什么的规范性价值观），排除了描述性信念（对现实的感知）和原始信念（基于信仰的真理）。这最终得到了 41 个聚焦于价值观的问题组。
分层抽样（Stratified Sampling）：
- 为了确保代表性，作者根据性别、年龄（四个区间）和教育程度（三个等级）采用了比例分层抽样。
- 首个版本涵盖了 20 个具有文化多样性的国家，每个国家 100 名代表性参与者（ $N=2,000$ ），产生了约 500,000 个偏好三元组。
合成生成（两阶段）：
- 第一阶段（三元组生成）：对于每个参与者和问题组，LLM 会获得该参与者的统计特征描述和调查响应。模型生成一个真实的场景（prompt）以及两个响应：一个符合参与者价值观的（偏好），以及一个反映对比立场的（非偏好）。每个组生成五个三元组以确保场景的多样性。
- 第二阶段（响应扩展）：第二个 LLM 过程将第一阶段中简短的响应扩展为自然、对话式的助手式回答，同时严格保持底层的价值观立场。
- 质量控制：生成过程在英语环境下进行，以隔离价值观与语言差异。流水线使用了包括 GPT-5 Mini、Mistral Large 3、DeepSeek-v3.2 在内的前沿 LLM 池，并采用随机解码以减少特定模型的偏差。人工验证确认了数据忠实于 IVS 响应，并避免了通用的刻板印象。

评估框架

作者通过针对五个目标国家（印度、巴西、日本、马来西亚、津巴布韦）的三种互补方法来评估 PLURAL：

数据集级验证：验证合成数据是否保留了在原始 IVS 中观察到的跨国差异和国内多样性。这涉及训练分类器通过价值观嵌入来预测国家，并比较成对距离分布。
自动化评估：使用**直接偏好优化（DPO）**在 PLURAL 上微调指令遵循模型（具体为 llama-3.1-8b-instruct）。所得模型针对 LLM-GLOBE 基准进行评估，该基准通过开放式困境探测九个维度的文化对齐（如不确定性规避、绩效导向）。性能通过相对于目标国家 GLOBE 分数的平均绝对误差（MAE）来衡量。
人工评估：在印度、巴西和日本进行 176 名评估者的盲测两两对比，要求他们判断哪个模型响应更符合其国家价值观。

关键结果

1. 数据集有效性

跨国差异：在 PLURAL 嵌入上训练的分类器在预测受访者国家方面达到了 78.0% 的准确率（随机概率为 20%），证明合成生成后仍保留了显著的国家特定价值观信号。
国内多样性：PLURAL 中受访者之间的成对余弦距离分布与原始 IVS 数据高度匹配（平均 Wasserstein 距离为 0.051），表明不存在“模板坍缩”（即多样化的个体被映射到相同的场景）。

2. 自动化对齐性能

改进的对齐效果：在 PLURAL 上微调的模型一致优于强基线模型（Vanilla、人口统计提示、聚合提示以及 Community Alignment DPO）。
误差减少：在 PLURAL 上训练使相对于目标国家 GLOBE 特征的平均绝对误差（MAE）降低了 15.7%（日本）至 27.7%（印度）。
维度增益：在 7 个 GLOBE 维度上观察到了改进，特别是在等级制度（Hierarchy）、雄心（Ambition）和社会协调（Social Coordination）方面。像性别平等（Gender Egalitarianism）这样的维度变化极小，这可能是由于与基础模型现有的安全规范存在冲突。
泛化能力：价值信号在不同模型家族间实现了迁移，在 qwen-2.5-7b 和 qwen-2.5-14b 模型上均表现出提升。

3. 人工评估

偏好度：在整体情况下，评估者在 66% 的案例中更倾向于 PLURAL 对齐的模型而非 Vanilla 基线。在印度（72%）和日本（71%）观察到了显著增益。
定性反馈：评估者将 PLURAL 对齐的响应描述为“典型的印度式”或符合“传统的日本美德”，并指出其捕捉到了特定的文化特征（例如，印度利用 WhatsApp 进行家庭协调）。

4. 基线对比

对比提示词（Prompting）：人口统计和聚合提示相比于基于落地数据的微调，带来的收益微乎其微或表现不稳定。
对比现有数据集：PLURAL 优于覆盖国家较少的 Community Alignment 数据集，并且与基于多样化人格（PersonaHub）而非真实调查数据的合成基线相比，表现出了更优越的结果。
能力保持：在 PLURAL 上进行微调并未降低通用能力；MMLU 分数保持稳定或略有提升。

重要性与主张

论文声称 PLURAL 提供了一个可扩展、可学习的价值引导信号，证明了利用具有国家代表性的调查数据使 LLM 与多样化人群的价值观对齐是可行的。

多元化对齐：这项工作推进了多元化对齐的议程，使其超越了“流利但外来”的模型，转向能够理解人类价值观多样性的模型。
植根于现实：通过将合成数据植根于 IVS，作者展示了真实的调查响应比纯粹基于人格（Persona）的生成提供了更强的价值观对齐信号。
局限性与未来工作：作者谦虚地指出，虽然 PLURAL 包含了信号，但目前的后训练方法（特别是 DPO）压缩了跨国多样性，仅保留了真实剖面中约 18% 的变异。他们强调，文化代表性与安全规范（如性别平等）之间的张力仍然是一个开放性的挑战。他们将 PLURAL 定位为一种资源，而非最终解决方案，旨在赋能研究人员如何通过经验研究来应对冲突的价值观并保持多样性，从而构建未来的对齐系统。