🤖 AI

AI Alignment From Social Choice Perspectives

本文综述了近期将社会选择理论应用于基于人类反馈的 AI 对齐的研究，展示了这一视角如何识别聚合冲突的人类判断中的失效模式，并揭示了一个处理此类分歧的更广泛且具有原则性的设计空间。

原作者： Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Halpern, Evi Micha, Ariel D. Procaccia, Benjamin Schiffer, Itai Shapira, Shirley Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明、但有些白纸一样的机器人如何写故事、给出建议或回答问题。你无法为每种可能发生的情况都编写一本完美的规则手册，因为人类的价值观太复杂且微妙。相反，你请了一组人类评委来看机器人的回答，并对他们说：“我更喜欢这一个，而不是那一个。”

这篇论文认为，我们目前将所有这些人类意见组合成一套单一指令的方式是有缺陷的。它建议我们应该通过**社会选择理论（Social Choice Theory）**的视角来看待这个过程——这正是用于研究如何进行公平选举的数学理论。

以下是使用简单类比对该论文核心思想进行的拆解：

1. 问题所在：“一刀切”的投票

目前，当人类产生分歧时（例如，一个人觉得某个笑话很有趣，而另一个人觉得它具有冒犯性），标准方法（称为 RLHF）会将这些分歧视为“噪声”。它试图通过平均化这些分歧来寻找一个单一的“正确”答案。

类比： 想象一个小镇正在决定建设一座新公园。有些人想要游乐场，有些人想要花园，还有一些人想要滑板公园。目前的 AI 方法就像是一场投票，它强迫每个人只能选出一个赢家。如果“游乐场”以微弱优势胜出，小镇就只会建造一个游乐场，从而完全忽略了花园爱好者的需求。论文指出，这是处理多样化人群的一种糟糕方式。它将一场复杂的辩论变成了一个单一且僵化的分数。

2. 隐藏的投票规则：“博达计数法”（Borda Count）

作者们发现，目前用于训练这些机器人的数学模型（称为 Bradley-Terry 模型）不仅仅是一个统计技巧；它在秘密地运用一种特定的投票规则，即博达计数法。

类比： 在博达计数法中，你不仅要选出你的最爱，还要对所有选项进行排序。如果你有 5 个选项，你的第一选择得 5 分，第二选择得 4 分，依此类推。最终的赢家是总分最高的那个。
缺陷： 这种规则偏向于“安全”和“平庸”的选项。一个对所有人来说都“还可以”但无人热爱的回答，可能会战胜一个对一半人来说“极好”但被另一半人“厌恶”的回答。AI 因此学会了变得乏味且不具攻击性，而不是真正卓越或出类拔萃。

3. “克隆”问题：复读机改变了结果

论文指出这种投票系统中存在一个奇怪的漏洞：克隆敏感性（Clone Sensitivity）。

类比： 想象一场“红车”与“蓝车”之间的选举。如果红车获胜，那没问题。但如果红车制造商突然发布了 100 辆略有不同的红车版本（红车 1.0、红车 1.1、红车 1.2……）会怎样？在博达计数式的投票中，这些“克隆体”会以一种方式分散选票，从而导致即使选民的实际偏好没有改变，也会意外地让蓝车落败。
在 AI 中： 大型语言模型经常生成许多略有不同的相同答案（释义/改写）。如果训练数据中有 10 个“稳妥”答案的版本，而只有一个“大胆”答案的版本，AI 可能会认为那个“稳妥”的答案在客观上更好，仅仅是因为它在训练列表中出现的次数更多，而不是因为人类真的更喜欢它。

4. “线性”陷阱：当数学失效时

论文还表明，当我们强迫 AI 使用简化的数学结构（为了更快或更容易）进行学习时，它可能会破坏公平规则。

类比： 想象一位本应听取每种论点的法官。但如果这位法官被迫使用一份非常简短、僵化的清单（“线性”模型），他可能会错过其中的细微差别。即使房间里的每一个人都一致认为选项 A 比选项 B 好，这个僵化的数学模型也可能意外地得出选项 B 更好的结论。这是工具的失败，而不是人的失败。

5. 解决方案：停止平均，开始博弈

作者提出了一种更好的处理分歧的方法，其灵感来自博弈论。与其尝试将所有人类意见压缩成一个单一的“分数”，我们不如让 AI 在与自己进行的博弈中学习。

类比： 与其问“什么是最好的一个答案？”，不如问：“如果我让两种不同的策略相互对抗，哪一个会赢得更多次？”
“最大化彩票”（Maximal Lottery）： 论文建议 AI 应该学习一种策略的混合。如果一半的人想要花园，一半的人想要滑板公园，AI 不应该只选其一。它应该学会成为 50% 的花园和 50% 的滑板公园。这样做保留了分歧，并确保没有任何群体被完全噤声。
益处： 这种方法（称为纳什学习，Nash Learning）在数学上被证明是处理有限信息时最“公平”的方式。它保证了 AI 不会仅仅因为数据稀缺或选民意见分歧就做出极其糟糕的错误判断。

总结

论文认为，我们目前的做法是在把 AI 教成一台“折中机器”，通过平均化人类价值观，往往导致乏味或有偏见的结果。通过使用公平选举的数学，我们可以构建出能够：

识别出“安全”并不总是等于“最好”的 AI 系统。
忽略会扭曲选票的复读机式答案。
通过提供多种选择的混合方案而非强迫单一、僵化的答案，来保留多样化的观点。

这关乎从询问“大多数人想要什么？”转向“我们如何公平地代表每个人的价值观？”

技术摘要：从社会选择视角看 AI 对齐

问题陈述

通过人类反馈进行 AI 对齐（例如，基于人类反馈的强化学习，RLHF）依赖于聚合异质的人类判断，以引导语言模型的行为。目前的方法通常将这些判断压缩为单一的、普遍适用的标量奖励信号。这种方法隐含地假设存在一个共同的底层人类直觉，将冲突的偏好视为围绕共同真值的噪声，而非价值多元化的证据。

当标注者出现本质上的分歧时，聚合过程就变成了一种偏好聚合规则，将冲突的个体判断坍缩为单一的集体偏好。本文认为，标准的 RLHF 流水线包含了特定的规范性权衡和失效模式，而这些模式在仅通过统计估计时无法得到充分解决，其内在的聚合规则并未被充分讨论。核心问题是通过**社会选择理论（Social Choice Theory）**的视角来分析对齐，以识别这些嵌入的规则，揭示结构性失效（如对候选表示的敏感性和对一致性的违反），并探索能更好地处理分歧的替代聚合机制。

方法论与框架

本文通过将对齐流水线建模为一个正式的聚合过程（从诱导出的判断到学习到的目标，再到优化的策略）来综述对齐研究。分析采用了关于提示词 ( $X$ )、响应 ( $Y$ )、标注者 ( $A$ ) 和策略 ( $\pi$ ) 的标准符号。

关键方法论组成部分包括：

作为聚合的奖励学习： 本文分析了作为学习偏好对（pairwise comparisons）的标准损失函数的 Bradley-Terry (BT) 模型。它证明了在理想条件下（不受约束的奖励类、无限数据），最小化 BT 损失在数学上等同于 Borda 计数（Borda count） 投票规则。
社会选择公理： 作者应用标准的社会选择公理（如克隆鲁棒性、一致性/帕累托效率、失真界限）来评估学习到的奖励模型及其产生的策略属性。
替代聚合规则： 本文研究了标量奖励压缩之外的替代方案，特别是 最大化乐透（Maximal Lotteries） 和 纳什人类反馈学习（Nash Learning from Human Feedback, NLHF），这些方法直接作用于成对的偏好关系，而不强行要求传递性的标量排序。

主要贡献与结果

1. BT 奖励学习作为 Borda 聚合

本文确立了不受约束的 BT 奖励学习隐式地实现了 Borda 规则。

机制： 学习到的奖励 $r^*(y)$ 完全按照 Borda 分数进行排序，其定义为响应相对于随机抽取的候选者被偏好的期望概率。
含义： 该规则倾向于“共识”或“折中”的响应，即那些被广泛接受而非极具争议的响应；它天然地会降低那些引发强烈反对的响应的排名，即使这些响应在少数群体中拥有强大的支持。
预处理影响： 如果在进行 BT 拟合之前，将软偏好平铺为二元多数投票，则聚合规则会转向 Copeland 规则（按成对多数胜出的次数进行排序）。

2. 克隆鲁棒性失效

本文识别了语言模型环境中的一个关键失效模式：对近似克隆（approximate clones）的敏感性。

问题： 在生成式设置中，一个实质性的答案可以由许多近乎重复的字符串（改写、重排序）表示。标准的 BT/Borda 聚合对这类变体的数量很敏感；增加近乎重复的项会改变聚合奖励，使得策略对任意采样伪影而非人类偏好产生敏感性。
解决方案： 作者引用了提议使用 加权 BT 目标函数 的工作。通过根据响应的“唯一性”（即它所代表的响应空间体积）分配权重，学习到的奖励会对增加近似克隆具有鲁棒性，将近乎重复的项视为同一区域的冗余表示。

3. 参数化模型中的一致性违反

虽然不受约束的 BT 满足一致性（如果所有人都偏好 $y_+$ 优于 $y_-$ ，则奖励会反映这一点），但本文指出，在这种保证在 参数化约束 下会失效。

机制： 在实践中，奖励模型被限制在一个假设类中（例如，特征的线性函数）。拟合所有比较需要使用同一组参数的过程会产生权衡。
结果： 可能会构造出这样的场景：参数化奖励模型学习到的排序违反了一致性（即使所有标注者都偏好 $y_+$ ，但 $r(y_-) > r(y_+)$ ），这是因为损失函数优先拟合占主导地位的比较方向，而非一致的配对。

4. 福利损失与失真

本文分析了仅基于成对比较（序数数据）而非基数效用来优化策略时所产生的信息损失。

失真（Distortion）： “失真”概念衡量了最优福利与从成对数据中学习到的策略所实现的福利之间的最坏情况比例。
BT 的局限性： 在 BT 模型下，通过标准奖励学习获得的策略的失真受限于 $O(\eta^2)$ ，其中 $\eta$ 是逆温度参数。
纳什学习的最优性： 本文强调了 纳什人类反馈学习（NLHF），它使用博弈论方法（最大化乐透）直接针对成对偏好进行优化。NLHF 实现了 $(1/2 + o(1))\eta$ 的失真界限，这与匿名成对反馈的理论极小极大下界相匹配。这表明 NLHF 在给定信息约束下，在最小化福利损失方面是最优的。

5. 通过最大化乐透进行直接对齐

本文主张不再将偏好压缩为标量，而是使用 最大化乐透（Maximal Lotteries）（或偏好博弈中的纳什均衡）。

机制： 该方法选择一个响应分布，该分布相对于任何其他分布的最大预期边际收益最大。
特性： 该方法通过在循环中分布概率质量而非进行任意打破，自然地处理了 Condorcet 循环（传递性失效/循环偏好）。它对精确克隆具有不变性，并实现了最优的失真保证。

重要性与主张

本文将社会选择理论定位为不仅是一个理论上的好奇点，而且是诊断和改进 AI 对齐的必要框架。其主要主张如下：

规范性假设的透明化： 通过社会选择的视角来看待对齐，使得标准方法（如 RLHF）中嵌入的规范性假设变得显性化。它揭示了标准的流水线并非中立的统计估计器，而是具有已知偏差（如倾向于平庸、对表示敏感）的特定投票规则（Borda/Copeland）。
识别失效模式： 社会选择视角识别了结构性的失效模式——例如克隆敏感性和参数化一致性违反——这些失效是由于聚合逻辑本身造成的，而非仅仅是糟糕的数据或训练带来的伪影。
设计空间扩展： 本文认为对齐的“设计空间”比当前实践更为广阔。通过采用来自社会选择的聚合方法（如加权 BT、纳什学习、最大化乐透），研究人员可以更显式地编码不同的规范性目标（例如，对表示的鲁棒性、福利损失的最优性）。
策略层面的评估： 本文强调，必须通过其诱导的策略来评估奖励模型的质量。满足聚合公理的奖励模型并不保证其产生的策略也满足同样的公理，因此有必要采用像 NLHF 这样直接的策略级优化方法。

作者总结道，AI 对齐从根本上说是建立公平原则以纳入多样化人类价值的问题，而社会选择理论为分析和改进用于聚合这些价值的机制提供了数学工具。