🤖 machine learning

Multi-Objective Preference Optimization: Improving Human Alignment of Generative Models

本文介绍了多目标偏好优化（Multi-Objective Preference Optimization, MOPO），这是一个受约束的 KL 正则化框架，通过在最大化主要目标的同时对次要目标实施安全阈值约束，使生成模型与多个通常相互冲突的人类目标保持一致，从而在不依赖标量化奖励的情况下实现帕累托最优性能。

原作者： Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在雇佣一名私人助理。你有一长串希望他们具备的能力：他们需要是乐于助人的（给出正确的答案）、无害的（不说任何粗鲁或危险的话）、简洁的（不啰嗦）以及幽默的（保持轻松）。

过去，在训练 AI 助手时，研究人员尝试将这些愿望组合成一个单一的“分数”。他们会说：“乐于助人占 60%，无害性占 40%。”然后 AI 会尝试最大化这个单一的数值。

问题所在：
论文指出，这种“单一分数”的方法是有缺陷的。这就像是试图通过只看“到工作的距离”和“到海滩的距离”的平均值来寻找一个完美的住房位置。如果你只选择那个“平均值”最好的地点，你可能会发现自己离两者都有 50 英里远。你会错过那些在某一方面表现极佳而在另一方面表现尚可的地点。在现实世界中，人类拥有复杂的、有时甚至是相互冲突的偏好，而一个单一的数字无法捕捉到“要乐于助人，但绝不能有害”这种细微差别。

解决方案：MOPO
作者们引入了一种新方法——MOPO（多目标偏好优化）。MOPO 不再将所有目标融合为一个分数，而是将它们视为需要同时平衡的独立目标。

以下是 MOPO 的工作原理，使用简单的类比：

1. “主要目标”与“安全网”

把 MOPO 想象成一个有着特定策略的严厉经理：

主要目标： “最大化乐于助人程度。” AI 被告知要尽可能地乐于助人。
次要目标（安全网）： “但是，你的无害性和幽默度必须保持在某条线之上。”
MOPO 并不是要求 AI 寻找一个完美的中间地带，而是说：“在乐于助人的道路上尽可能走远，但不要跨越无害性标尺上的这条红线。”如果 AI 为了变得更有用而开始变得粗鲁，它就会受到惩罚。如果它虽然安全但毫无用处，它也会受到惩罚。

2. “帕累托前沿”（有效前沿）

论文提到了寻找“帕累托前沿”的概念。想象一个图表，X 轴是“乐于助人程度”，Y 轴是“无害程度”。

旧方法： AI 根据一个固定的配方（例如 50/5/0）在图表上选择一个特定的点。它可能会错过一个 90% 乐于助人且 80% 无害的点，因为那个点不符合 50/50 的配方。
MOPO 方法： MOPO 寻找的是图表的弯曲边缘，即在不降低无害程度的前提下，无法获得更多帮助的临界点。这条曲线就是“帕累托前沿”。MOPO 允许我们在该曲线上滑动，为任何情况找到最佳的平衡点，而无需从头开始重新训练 AI。

3. 它是如何学习的（“口味测试”）

通常，AI 通过被告知“这个答案很好，那个答案很坏”来进行学习。

旧方法： 它们通常尝试先为每个答案猜测一个特定的“奖励分数”，然后根据该分数进行学习。这就像是在品尝食物之前，先试图猜出每顿饭的精确卡路里含量。
MOPO： 它跳过了卡路里计算。它直接观察成对偏好。它会问：“给定这两个答案，哪一个在‘乐于助人’方面更好？哪一个在‘无害性’方面更好？”它直接从这些比较中学习，而不需要发明一个单一的数字来代表整顿饭。

4. “下界”技巧

这是该论文的关键创新之一，即它如何处理“安全网”。

天真的方法： “确保 AI 是无害的。”（这很难精确定义）。
MOPO 的方法： “确保 AI 在无害性方面的表现至少达到这个高度。”
论文使用了一种数学技巧来估计 AI 表现的“最坏情况”。它本质上是在问：“这个 AI 可能达到的最低无害程度是多少？”并确保即使是这个最低水平也会保持在安全线之上。这使得 AI 更加稳健；它不会仅仅因为一个奇怪的边缘案例就意外地滑向有害。

论文的研究结果

作者在合成数据（虚构的数学问题）和现实世界的文本生成任务（如总结 Reddit 帖子或回答问题）上测试了该方法。

在数学问题上： MOPO 成功找到了其他方法错过的“完美平衡”点（帕累托前沿）。
在真实 AI 模型上： 当他们将 MOPO 应用于大型语言模型（如 70 亿参数的模型）时，生成的 AI 比以往的方法更能平衡多个目标。它在不牺牲安全性的情况下实现了更高的乐于助人得分，并且比其他技术更稳定。

总结

简而言之，这篇论文认为：停止试图将所有人类偏好浓缩为一个单一的数字。 相反，使用一种方法（MOPO），在严格执行其所有其他职责的“安全底线”的同时，推动 AI 在其主要工作上做到最好。这创造了一个更灵活、更安全、且更符合人类复杂、多维思维方式的 AI。

技术摘要：多目标偏好优化 (MOPO)

1. 问题陈述

当前将大语言模型 (LLMs) 与人类偏好对齐的方法（如基于人类反馈的强化学习 RLHF 和直接偏好优化 DPO）主要依赖于单目标优化。这些方法通常通过加权求和或启发式标量化，将多种人类偏好（例如：帮助性、无害性、事实性、多样性）压缩为单一的标量奖励信号。

本文认为这种方法存在根本性的局限性，原因如下：

冲突的目标： 人类偏好通常是多维且相互冲突的（例如：最大化帮助性可能会降低无害性）。
丢失帕累托最优性： 标量化掩盖了权衡关系，并且无法恢复帕累托前沿 (Pareto front)——即在不降低其他目标的情况下，无法进一步提升任何一个目标的非支配解集合。
推理僵化： 现有的多目标方法通常需要在推理时提供显式的用户偏好向量（例如：“0.6 帮助，0.4 安全”），但用户很少能明确表达这些，或者这些方法依赖于针对每种权重配置进行重新训练。

核心要解决的问题是多目标偏好对齐：学习一个能够在基于成对偏好数据的情况下，同时平衡多个潜在冲突目标的单一策略，且无需在推理时进行显式的标量化或提供用户权重。

2. 方法论：MOPO

作者提出了多目标偏好优化 (MOPO)，这是一种从成对偏好数据中直接学习的离线约束优化框架。

2.1 公式化定义

MOPO 将对齐问题建模为一个凹约束优化问题 (Concave Constrained Optimization Problem, COP)。它不是最大化奖励的加权和，而是最大化一个主要目标，同时对次要目标施加下界约束。

给定参考策略 $\pi_{ref}$ 、主要偏好函数 $p(\cdot)$ 以及次要偏好函数向量 $q(\cdot)$ ，该问题为：
$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{x, y, y'} [p(y \succ y' | x)] - \tau \text{KL}(\pi \parallel \pi_{ref}) \\ \text{s.t.} \quad & \mathbb{E}_{x, y, y'} [q(y \succ y' | x)] \geq \mathbf{b} \end{aligned}$
其中 $\mathbf{b}$ 代表次要目标的可调安全阈值， $\tau$ 是正则化参数。

2.2 算法组件

为了在没有逐点奖励的情况下解决此问题，MOPO 利用了以下机制：

重要性采样比率 ( $\rho$ )： 策略通过比率 $\rho(y) = \pi(y) / \pi_{ref}(y)$ 来表示。优化过程针对 $\rho$ 进行，以推导出最优策略的闭式解。
拉格朗日对偶形式 (Lagrangian Dual Formulation)： 约束问题被转化为涉及拉格朗日乘子 $\lambda$ 的对偶问题。最优 $\rho$ 被推导为：
$\rho^*_\lambda(y) = \exp\left( \tau^{-1} \mathbb{E}_{y' \sim \mu} [p(y \succ y') + \lambda^T q(y \succ y')] - 1 \right)$
在此， $\lambda$ 作为一个惩罚项，如果策略在次要目标上的表现不佳，则会增加该项。
鲁棒下界估计： 为了处理有限数据集中的估计误差，MOPO 并不直接约束原始经验期望。相反，它约束偏好估计的下界。这是通过求解一个辅助的对抗优化问题来实现的，该问题旨在寻找一个在 KL 散度预算 ( $\epsilon$ ) 内最小化目标 $k$ 偏好的分布 $\pi_k$ 。这产生了一个用于主优化循环的鲁棒下界估计。
迭代更新： 该算法交替执行以下步骤：
1. 更新下界参数 ( $\chi$ ) 以收紧约束估计。
2. 更新拉格朗日乘子 ( $\lambda$ ) 以平衡目标。
3. 通过重要性加权行为克隆更新策略参数 ( $\psi$ )。

2.3 实际实现

滞后参考策略 (Lagged Reference Policy)： 为了防止崩溃并确保稳定地向帕累托前沿推进，参考策略 $\pi_{ref}$ 会定期（每 $t_0$ 步）更新为当前策略 $\pi^{(t-t_0)}$ ，而不是保持固定。
自适应约束调度： 由于精确的约束阈值 $\mathbf{b}$ 是未知的，它们会根据前一次优化策略的表现并结合松弛参数 $\beta$ 进行自适应设置。
多头架构 (Multi-Head Architecture)： 在推理阶段，MOPO 采用共享 Transformer 主干网络配合多个策略头。在推理时，用户选择一个主要目标，并使用相应的头，从而允许单个模型在无需重新训练的情况下适应不同的偏好优先级。

3. 核心贡献

MOPO 框架： 引入了一种离线约束优化算法，能够同时优化多个目标，在不将偏好压缩为单一标量的情况下实现帕累托最优。
理论保证： 证明了所提出的约束公式能够恢复位于真实帕累托前沿上的策略，而标准的标量化方法（如 DPO、RLHF）无法覆盖完整的帕累托前沿。
对估计误差的鲁棒性： 开发了一种下界约束机制，使策略对偏好估计中的噪声具有鲁棒性，避免在部署时违反约束。
实证验证：
- 合成基准测试： 在已知地面真值 (ground truth) 的合成设置中，MOPO 能够精确恢复最优策略和帕累托前沿。
- 真实世界 LLMs： 在“得力助手”和“Reddit 摘要”等任务上，对 7B 参数模型（如 Zephyr-7b-beta, Llama-3.1-8B）进行的实验表明，MOPO 实现了更高的奖励，并支配了包括 RiC、PARM、MODPO 和 DPO 变体在内的基准模型。
- 稳定性： 消融研究证实了该算法在不同超参数（约束松弛 $\beta$ 、滞后 $t_0$ 、正则化 $\tau$ ）下的稳定性。

4. 结果

帕累托恢复： 在合成实验中，MOPO 成功逼近了帕更托前沿，而使用单目标或标量化奖励训练的 DPO 则错失了前沿的很大一部分。
LLM 性能： 在“得力助手”和“Reddit 摘要”任务中，MOPO（特别是拉格朗日变体 MOPO-Lag）在多个目标（帮助性、无害性、幽默感、忠实度）上始终优于或匹配最先进的基准模型。
可扩展性： 该方法可从小型模型 (phi-1.5) 扩展到较大的 7B/8B 模型。
约束满足： 在长度受限的任务（控制响应长度）中，MOPO 成功地将响应长度维持在指定范围内，同时提升了帮助性。

5. 重要性与主张

本文声称 MOPO 解决了当前对齐范式中的一个关键差距：即无法在不进行任意标量化或用户干预的情况下处理多维人类偏好。

范式转变： 它超越了标准 RLHF/DPO 的“单一奖励信号”假设，提供了一种在冲突目标（如安全性 vs. 帮助性）之间进行权衡的原则性方法。
实用价值： 通过离线恢复帕累托最优策略，MOPO 使部署的模型能够适应多样化的用户需求，而无需针对每个新的权重配置进行显式的偏好向量输入或重新训练。
未来方向： 作者谦虚地指出，尽管实验结果强劲，但对 MOPO 收敛性和最优性保证进行严谨的理论分析仍是一个重要的未来研究方向。

这项工作表明，对于复杂的生成式模型，将对齐视为一个约束多目标优化问题，优于将其视为带有加权奖励的单目标优化问题。