Coherence Maximization Improves Pluralistic Alignment
本文表明，通过最大化 AI 生成示例的内部连贯性，而非仅仅依赖标签准确性或广泛的人类监督，可以有效地引导模型趋向多样化的人类价值观，并显著提高其在各种基准测试中的泛化能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个非常聪明但有点困惑的机器人如何理解不同的群体。这个机器人读过互联网上的几乎所有内容，所以它知道得很多，但它往往会对每个人都给出“一刀切”的答案。它不太明白一个来自不同国家的人可能会有与另一个国家的人不同的价值观，或者一个民主党人可能会与一个共和党人的想法不同。
问题在于：如何教机器人理解这些具体的差异，而不必雇佣一名人类老师坐下来为每一个群体编写成千上万个示例？那会耗费大量时间且成本极高。
这篇论文介绍了一个巧妙的技巧，叫做内部一致性最大化（Internal Coherence Maximization, ICM）。以下是它的工作原理，我们使用一些简单的类比：
“拼图”类比
把一个人的价值观（比如政治观点或文化信仰）想象成一个巨大的拼图。
- 旧方法： 为了教机器人，人类通常会递给它一盒已经贴好正确图片标签的拼图碎片（金标/标准标签）。这种方法效果很好，但需要人类完成所有的标注工作。
- 新方法 (ICM)： 研究人员不再给机器人贴好标签的碎片，而是让机器人看着一堆没有标签的碎片，尝试自己弄清楚它们是如何拼凑在一起的。
机器人会问自己：“如果我认为这块碎片应该放在这里，它和旁边的碎片搭配起来合理吗？所有这些碎片是否讲述了一个一致的故事？”
研究人员发现，如果机器人能够将碎片排列得逻辑自洽（高一致性），那么它学习该群体价值观的效果，几乎能达到人类完美标注的效果。
大惊喜：“一致性胜过完美性”
这是这项发现中最有趣的部分。研究人员测试了两类拼图碎片：
- 完美的碎片： 这些碎片根据人类的事实来看是100%正确的，但它们彼此之间可能有些混乱或不一致。
- 连贯的碎片： 这些碎片可能包含一些小错误，但它们都讲述了一个完美一致的故事，就像一面筑造精良的墙一样。
结果： 机器人从连贯的碎片中学到的效果要好得多。即使单个碎片并不完全完美，但只要它们能共同构成一个连贯的故事，就能帮助机器人更好地理解该群体的价值观。
这就像学习一门新语言。如果你背诵了100个语法完美但互相矛盾的句子，你会感到困惑。但如果你学习了10个虽然略有瑕疵但能讲述一个关于这门语言运作方式的一致故事的句子，你实际上会更好地理解这门语言。
当机器人卡壳时（“代表性不足”问题）
对于那些在训练数据中出现频率很高的群体（如美国或英国人），机器人玩这个拼图游戏玩得很出色。但对于那些它见得较少的群体（如尼日利亚或印度尼西亚人），机器人的内部拼图碎片并不能很好地契合在一起。它会感到困惑。
研究人员为这些棘手的情况找到了一个捷径。他们并没有要求人类去标注随机的问题，而是问机器人：“你在哪里最不确定？”
- 机器人指出了那些其内部拼图碎片发生冲突的具体问题。
- 然后，人类只需要回答这极少数特定的问题。
- 仅通过在这些最难的部分提供一点点人类帮助，机器人对这些代表性不足群体的理解就得到了显著提升。
核心结论
这篇论文表明，为了让 AI 符合多样化的人类价值观，我们不需要让人类去检查每一个答案。相反，我们可以让 AI 组织自己的知识，以找到对其内部而言最有意义的内容。
- 一致性是关键： 一组讲述一致故事的示例，比一组个体完美但杂乱无章的示例更有力量。
- 智能辅助： 对于 AI 不熟悉的群体，我们只需要在它感到困惑的具体地方给予一点点引导，而不是重新教它一切。
这种方法使我们能够构建出既尊重不同文化又尊重不同观点的 AI，而无需配备庞大的人类标注员队伍。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。