🤖 machine learning

Back to Blackwell: Closing the Loop on Intransitivity in Multi-Objective Preference Fine-Tuning

本文介绍了 $\texttt{PROSPER}$ ，这是一种基于博弈论中最大熵布莱克韦尔胜者概念的可证明高效算法，旨在无需标量化即可解决多目标偏好微调中的非传递偏好问题，并在利用多目标评判反馈的大语言模型上展现出卓越性能。

原作者： Jiahao Zhang, Lujing Zhang, Keltin Grimes, Zhuohao Yu, Gokul Swamy, Zhiwei Steven Wu

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahao Zhang, Lujing Zhang, Keltin Grimes, Zhuohao Yu, Gokul Swamy, Zhiwei Steven Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何写一个完美的故事。你有一个“裁判”（另一个 AI），它会阅读机器人的故事并提供反馈。通常，我们会要求裁判给出一个单一分数，比如“10 分中的 8 分”。但这里有个问题：裁判经常感到困惑。它可能会说故事 A 比故事 B 好，故事 B 比故事 C 好，但随后又奇怪地说故事 C 比故事 A 好。

这被称为非传递性（或循环）。这就像“石头剪刀布”游戏：石头赢剪刀，剪刀赢布，但布赢石头。不存在单一的“最佳”出招。当这种情况发生时，机器人会感到困惑，因为它不知道应该朝哪个方向学习。

本文介绍了一种新方法，即使裁判不一致且规则复杂，也能教会机器人。

问题：困惑的裁判与“标量”陷阱

通常，当裁判需要检查故事的多个方面（例如：它有趣吗？它安全吗？它符合事实吗？）时，它会试图将所有这些分数合并为一个单一数字。作者称此为标量化。

类比：想象你在给一名学生打分。你需要在数学、艺术和跑步方面给他们打分。如果你只是将它们全部加总为一个“总分”，你可能会忽略该学生在数学上是天才但在艺术上很糟糕的事实。如果裁判试图将这些合并为一个数字，它经常会产生那些令人困惑的循环（A > B > C > A），因为它试图强行将方钉敲进圆孔。

解决方案：“最大熵布莱克韦尔赢家”

作者提出了一种寻找最佳机器人策略的新方法，他们称之为最大熵布莱克韦尔赢家（让我们称之为“超级适应型机器人”）。

他们不再问“哪篇故事是绝对最好的？”（这可能根本不存在），而是问：“无论裁判今天决定关注哪条具体规则，哪种机器人策略最难被击败？”

类比：想象一位棋手，他不试图在某一种特定的开局招数上做到最好。相反，他的下法确保无论对手是从左侧、右侧还是中心进攻，他都不会惨败。他对对手可能利用的任何特定弱点都具有鲁棒性。这个“超级适应型机器人”就是在最坏情况下获胜次数最多的那个。

算法：PROSPER

为了真正教会机器人成为这种“超级适应型”，作者创建了一个名为PROSPER的算法。

旧方法：通常，要教会机器人应对多个裁判，你必须模拟一个巨大的、混乱的游戏，让机器人与一个试图欺骗它的“反派”对战。这既缓慢又计算成本高昂。
PROSPER 方法：作者发现了一个数学技巧。他们意识到，与其与反派进行复杂的博弈，不如直接使用简单的回归（一种数学拟合方法）来训练机器人。
类比：可以这样想：与其雇佣陪练伙伴朝你脸上挥拳来教你如何躲避（这既困难又危险），你只需观看挥拳的视频，并从数学上学习其中的模式。PROSPER 让机器人直接从裁判的反馈中学习，而无需模拟复杂的战斗。它将多人游戏变成了单人作业。

他们做了什么以及发现了什么

该团队在大型语言模型（LLMs）上测试了这种方法，使用的数据集让裁判根据特定的检查清单（评分标准）评估回复。

现实检验：他们确认，当你要求 AI 裁判分别查看多个不同标准（如安全性、风格和事实）时，它仍然会感到困惑并产生循环。拆分标准有所帮助，但并未完全解决问题。
结果：当他们使用 PROSPER 训练机器人时，机器人比使用旧方法训练的机器人在遵循指令和自然聊天方面表现得更好。
证明：他们发布了训练好的机器人（参数量分别为 30 亿和 70 亿），并表明它们在遵循指令和一般对话的标准测试中击败了所有其他方法。

总结

简而言之，当 AI 裁判不一致且对什么是“好”答案感到困惑时，标准的训练方法就会失效。本文指出：“不要试图寻找单一的完美答案。相反，要找到一种策略，它足够稳健，能够应对裁判任何令人困惑的偏好。”他们构建了一个名为PROSPER的工具，可以高效地完成这一任务，将复杂的博弈论问题转化为简单的数学问题，从而产生更智能、更可靠的 AI 模型。

技术摘要：回归布莱克韦尔：解决多目标偏好微调中的非传递性闭环问题

1. 问题陈述

本文探讨了大型语言模型（LLM）偏好微调（PFT）中的一个根本性挑战：非传递性（循环）偏好。非传递性是指当 LLM 裁判将选项 $A \succ B$ 和 $B \succ C$ 排序时，却无法将 $A \succ C$ 排序。这种现象主要源于两个原因：

单一目标下的排名不一致。
将多个目标标量化为单一指标，即使各个目标本身是一致的，这也可能引入不一致性。

标准的 PFT 流程依赖于通过奖励模型学习全序关系。然而，在非传递性偏好下，不存在定义良好的最优策略（孔多塞赢家），从而破坏了标准 PFT 的核心假设。虽然先前的工作试图通过 (a) 将综合判断拆分为多个目标，或 (b) 将 PFT 框架化为零和博弈以寻找针对最坏情况比较器的鲁棒策略来缓解这一问题，但结合这些方法在技术上非常困难。具体而言，将目标拆分到多目标设置中会使最小最大定理失效，导致标准博弈求解机制（如自我博弈）无法发挥作用。

2. 方法论

2.1 解决方案概念：最大熵布莱克韦尔赢家（MaxEntBW）

作者提出了一种新颖的博弈论解决方案概念，称为最大熵布莱克韦尔赢家（MaxEntBW）。与最小最大赢家（在没有最小最大定理的多目标设置中定义不明确）不同，MaxEntBW 即使在多个全局不一致的偏好下也是定义良好的。

形式上，MaxEntBW 是一个策略 $\pi^*$ ，它最大化博弈值 $V(\pi)$ ，定义为：
$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$
其中：

$P(\pi \succ \pi' \mid x)$ 是跨越 $m(x)$ 个目标的成对获胜概率向量。
$w(x)$ 代表对手对目标的加权。
$\pi'$ 是对手的比较器策略。
$\beta D_{KL}(\pi' \parallel \pi_{ref})$ 是一个 KL 正则化项，约束对手保持在参考策略 $\pi_{ref}$ 的邻近范围内。

该公式确保策略在其局部邻域内对最坏情况的目标加权和比较器策略具有鲁棒性，而无需最小最大定理成立。

2.2 算法：PROSPER

为了在大规模上计算 MaxEntBW，作者推导出了PROSPER（基于整个评分标准的单玩家偏好优化）。该算法通过三个关键步骤，将复杂的多玩家博弈（学习者、对抗性目标权重、对抗性策略）简化为可处理的单玩家优化问题：

对抗性策略的闭式解：通过固定学习者 $\pi$ 和权重 $w$ ，关于对手策略 $\pi'$ 的内部最小化问题通过熵正则化（受 Ziebart 等人，2008 年启发）获得闭式解。这消除了对抗性训练循环的需求。
逐提示最小化：关于目标权重 $w$ 的优化被证明是凹的。因此，任何提示的最优 $w$ 都是单纯形的顶点（即选择一个最坏情况的目标）。这使得算法可以简单地按提示对目标进行最小化，无需优化 $w$ 。
基于回归的优化：剩余的目标在 $\pi$ 上是凹的。PROSPER 不使用在线镜像下降（这对大模型不可行），而是采用基于回归的重新表述。它通过采样估计梯度，并通过求解平方损失回归问题来更新策略参数 $\theta$ ：
$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$
其中 $g(z)$ 是从最坏情况目标和参考策略导出的估计梯度。

3. 主要贡献

MaxEntBW 定义：本文引入了最大熵布莱克韦尔赢家，这是一个将布莱克韦尔赢家推广到多目标设置的解决方案概念，它在非传递性偏好下保持定义良好，且不依赖最小最大定理。
PROSPER 算法：作者推导了一种可证明高效的、基于回归的算法来计算 MaxEntBW。该方法融合了逆强化学习的见解和最近的偏好优化技术，消除了内部循环优化，将问题简化为简单的回归。
实证验证：本文证明，在实践中，多目标 LLM 裁判反馈存在显著的非传递性。结果表明，PROSPER 在从多目标反馈微调 LLM（3B 和 7B 规模）方面优于基线，特别是在指令遵循和通用聊天基准测试中。

4. 实验结果

作者使用 WILDCHECKLISTS 数据集评估了 PROSPER，其中 LLM 裁判根据特定提示的评分标准评估响应。

非传递性分析：实验证实，将评分标准拆分为单独项目（多目标）可以减少但无法消除非传递性。仍有很大一部分提示表现出循环且缺乏孔多塞赢家。
基准测试表现：
- 指令遵循与聊天：在 AlpacaEval 2.0 和 Arena-Hard 上，PROSPER（7B）在所有基线中取得了最高分数，包括 RLCF（基于清单反馈的强化学习）基线和消融变体（PROSPER-JC 和 PROSPER-VB）。
- 通用能力：在域外基准测试（IFEval、MMLU、ARC、HellaSwag、TruthfulQA）上，PROSPER 保持了与基础模型和 RLCF 相当的性能，表明训练的对抗性质并未损害通用推理或知识能力。
消融研究：
- PROSPER-JC（单目标/综合得分）：表现不如完整的 PROSPER，突显了显式处理多个目标的必要性。
- PROSPER-VB（固定竞争者）：表现不如完整的 PROSPER，证明了对抗性选择的竞争者策略的价值。

5. 意义与主张

本文主张，PROSPER 提供了一个稳健的框架，用于使 LLM 与本质上不一致的复杂、多标准人类（或 AI）偏好对齐。通过远离在多目标设置中失效的标量化和标准博弈论假设，作者提供了一种“第一性原理”的解决方案，该方案：

处理非传递性：直接解决偏好的循环性质，而不强加可能不存在的全序关系。
可扩展性：通过将问题简化为单玩家回归来实现效率，避免了对抗性训练的计算成本。
实用价值：证明利用详细的多目标评分标准反馈（而非综合得分）会在现实世界的聊天和指令遵循场景中产生定性更强的策略。

作者发布了 3B 和 7B 参数规模的训练模型检查点，以促进该领域的进一步研究。