🤖 machine learning

Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution

本文介绍了 PEPO，这是一种单步直接偏好优化算法，它通过利用在互斥数据子集上训练的策略的悲观集成，在无需知晓数据分布或显式奖励模型的情况下缓解过优化问题，从而在保持 DPO 实践简洁性的同时实现了更优的样本复杂度保证。

原作者： Adam Barla, Emanuele Nevali, Luca Viano, Volkan Cevher

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Adam Barla, Emanuele Nevali, Luca Viano, Volkan Cevher

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人写好故事。你有一本巨大的示例笔记本，其中人类评委从两个选项中挑选出了“更好”的故事。你的目标是训练机器人写出能够赢得同样投票的故事。

这就是直接偏好优化（DPO）的工作，这是一种流行的 AI 教学方法。然而，DPO 有一个著名的缺陷：它会遭受“过度优化”。

这就像一名学生参加模拟考试。如果学生死记硬背了练习题的精确答案，却并未真正理解概念，他们可能在模拟考试中取得满分，却在真正的考试中不及格。用 AI 术语来说，模型开始“博弈”系统。它学会了说出那些在训练数据中看起来像获胜者的话，但实际上却是胡言乱语、幻觉，或者在现实世界中纯粹很糟糕的内容。

这篇论文介绍了一种名为PEPO（基于悲观集成的偏好优化）的新方法，旨在解决这一问题，而无需确切知道训练数据是如何生成的。

以下是 PEPO 的工作原理，使用一些日常类比：

1. 问题：“自信的傻瓜”

标准的 DPO 就像一名非常自信但只学习过一套特定笔记的学生。如果那些笔记中有诡计或错误，这名学生就会自信地重复这个错误。由于模型试图最大化其在训练数据上的得分，它最终开始产生幻觉以获取更高的分数，尽管其写作质量实际上下降了。

2. 解决方案：“怀疑小组”

PEPO 通过使用**集成（Ensemble）**改变了游戏规则。它不是训练一名学生，而是训练一整组学生（比如 3 到 4 名）。

分割：训练笔记本被切分成互不重叠的独立堆。每名学生获得不同的堆进行学习。
悲观主义：当需要做出决定时，PEPO 不问“大多数人怎么想？”，而是问“我们所有学生中最坏的情况是什么？”

这就是“悲观”部分。这就像一个评委委员会，为了安全起见，只有当每一位评委都同意故事是好的时，他们才会批准。如果一位评委不确定或认为故事有风险，整个小组就会拒绝它。这迫使 AI 保持保守，坚持它真正确定的内容，而不是为了获得高分而胡乱猜测。

3. 魔法技巧：无需水晶球

以前试图解决这个问题的方法需要一把“水晶球”。它们需要确切知道训练数据是如何生成的（例如：“这是人类写的吗？是特定的 AI 写的吗？”）。在现实世界中，我们往往不知道这一点。例如，如果你正在用由巨大的专有 AI（如 GPT-4）生成的数据训练一个小 AI，你无法看到生成该数据的“源代码”。

PEPO 的特殊之处在于它不需要水晶球。通过采用“怀疑小组”的方法，它自然地识别出什么是不确定的，而无需知道数据的来源。它建立起了自己的安全网。

4. 如何生成答案

当 PEPO 模型需要撰写回复时，它会运行一个特殊的“拒绝采样”过程（将其视为质量控制过滤器）。

它生成一个潜在答案。
它检查：“我们小组的每一位成员是否都同意这是安全且良好的？”
如果是，它输出该答案。
如果哪怕只有一名成员持怀疑态度，它就会丢弃该答案并再次尝试。

这听起来可能很慢，但作者发现了一种“词元级（token-level）”的捷径，使其速度足以满足现实世界的使用需求，在保持安全益处的同时避免了速度惩罚。

结果

该论文在几个大型语言模型（如 Llama、Mistral 和 Zephyr）上测试了这种方法。

标准 DPO：模型的性能起初上升，随后崩溃（即“过度优化”悬崖）。
PEPO：性能上升并随后稳定下来。它没有崩溃。它持续变得更好，而没有陷入产生胡言乱语幻觉的陷阱。

结论

PEPO 就像聘请了一群谨慎的专家委员会，而不是一位过度自信的天才。通过迫使 AI 只做整个委员会一致认为安全的事情，它避免了为训练数据过度优化的陷阱。它无需知道数据来源的隐秘历史即可实现这一目标，使其成为提高 AI 安全性和质量的稳健且实用的工具。

问题陈述

直接偏好优化（DPO）因其简洁性且能够绕过显式奖励建模，已成为大语言模型（LLM）后训练的标准方法。然而，DPO 已知存在过度优化问题：随着训练的进行，模型可能会最大化训练损失，同时相对于初始模型降低生成响应的实际质量。这一问题因标准 DPO 和基于人类反馈的强化学习（RLHF）将估计奖励视为完美真值而忽略不确定性而加剧。

缓解过度优化的理论保证通常依赖于悲观主义，确保学习到的策略对估计误差具有鲁棒性。现有的悲观变体（例如 $\chi^2$ 正则化 DPO、DPO+SFT）实现了仅依赖于单策略集中系数（ $C^\star$ ）的强理论界，这意味着即使数据集未覆盖整个策略空间，该方法也具有鲁棒性。然而，这些保证的关键在于已知数据生成分布（ $\pi_{data}$ ）或拥有被 $\pi_{data}$ 充分覆盖的参考策略。在实践中，这一假设经常被违反，例如在利用由更大、专有系统（如 GPT-4）生成的偏好数据对较小模型进行微调时， $\pi_{data}$ 是未知且不可访问的。

本研究解决的核心问题是：我们能否设计一种类似 DPO 的算法，在无需知晓数据生成分布 $\pi_{data}$ 的情况下，被证明能鲁棒地应对过度优化？

方法论：PEPO

作者提出了PEPO（基于悲观集成的偏好优化），这是一种单步算法，通过在不相交数据子集上训练的策略集成来实现悲观主义，而无需知晓 $\pi_{data}$ 。

1. 集成训练：
偏好数据集 $D$ 被划分为 $L$ 个不相交的子集。对于每个子集 $D_\ell$ ，使用悲观 DPO 目标训练一个轻量级策略 $\tilde{\pi}_\ell$ 。该目标通过参数 $\lambda_\ell$ 水平移动标准 DPO 损失中的 Sigmoid 函数，从而有效降低获胜概率所需的边际。这种移动诱导了对奖励差距的保守（悲观）估计。

2. 悲观聚合：
输出策略 $\pi_{out}$ 被定义为解决一个“虚拟”RLHF 问题的解，该问题优化集成中的最坏情况奖励。集成的隐式奖励是通过对 $L$ 个模型的估计奖励差距取最小值并针对其他子集中的数据分布进行调整而构建的（以确保独立性）：
$r^-(x, a) = \beta \min_{\ell \in [L]} \left( \log \frac{\tilde{\pi}_\ell(a|x)}{\pi_{ref}(a|x)} - \zeta_\ell(x) \right)$
其中 $\zeta_\ell(x)$ accounted for 第 $\ell$ 个子集之外数据的贡献。

3. 高效采样：
$\pi_{out}$ 的闭式解涉及对整个响应空间的归一化常数，这是不可处理的。为了绕过这一点，PEPO 采用拒绝采样（算法 2）。集成中的任何成员 $\tilde{\pi}_\ell$ 均可作为提议分布，因为 $\pi_{out}$ 的分子被 $\tilde{\pi}_\ell$ 所界定。对于实际的大规模应用，作者还提出了一种词元级近似，在每次解码步骤应用悲观聚合，从而避免了轨迹级拒绝采样，并显著降低了生成延迟。

主要贡献

理论贡献：

无需 $\pi_{data}$ 的样本复杂度： 在表格设置中，PEPO 实现了仅依赖于单策略集中系数（ $C^\star$ ）的样本复杂度保证。这与标准 DPO（受限于全策略集中系数 $C_{all}$ ）以及需要知晓 $\pi_{data}$ 的现有悲观 DPO 变体形成对比。
最优集成规模： 分析将最优集成规模 $L$ 刻画为保证以高概率实现悲观主义所需的最小值。理论界表明， $L$ 随状态和动作空间的大小呈对数级增长。
鲁棒性： 这些界在假设数据集未覆盖整个策略类的情况下依然成立，解决了先前理论工作中“未知 $\pi_{data}$ "的空白。

实践贡献：

实证验证： PEPO 在 UltraFeedback 数据集上对 7B、8B 和 34B 参数模型（Zephyr-7B、Llama-3.1-8B、Mistral-7B、Yi-34B）进行了评估。
缓解过度优化： 实验表明，虽然标准 DPO 在初期增益后会出现获胜率的急剧下降（过度优化），但 PEPO 的性能趋于稳定并持续改善。
优于基线： 在 $\pi_{data} \neq \pi_{ref}$ 的设置中（例如 UltraFeedback），PEPO 始终优于 $\chi^2$ PO 和 DPO+SFT，而在这些设置中，那些基线的理论保证是无效的。
效率： 词元级实现在获胜率和生成时间之间实现了有利的权衡，以显著低于全拒绝采样的延迟提供了近乎最优的性能。

结果

过度优化： 图 1 显示，DPO 相对于初始模型的获胜率先达到峰值随后下降，而 PEPO（在适当的 $L$ 下）显示出持续的提升。基于验证损失进行早停被证明对于选择最佳 DPO 检查点是不可靠的。
比较： 在图 3 中，与 $\chi^2$ PO 和 SFT+DPO 相比，PEPO 在所有测试模型中在 AlpacaEval2 上实现了更高的获胜率。仅当 $\pi_{data} = \pi_{ref}$ 时，性能差距才会缩小，这证实了 PEPO 的优势源于其处理未知数据分布的能力。
消融实验： 实验证实 $L$ 是一个关键超参数；值过小无法诱导足够的悲观主义，而值过大会减少每个模型的有效数据量，从而降低性能。

意义与主张

该论文声称提出了首个类似 DPO 的算法，能够在无需知晓数据生成分布的情况下被证明可避免过度优化。这一点意义重大，因为它 bridged 了理论鲁棒性（单策略集中性）与实际约束（未知 $\pi_{data}$ ）之间的差距，而后者是现实世界 LLM 对齐中的常见场景，其中数据由专有或多样化的模型生成。

作者将 PEPO 定位为一种实用解决方案，既保留了 DPO 的简洁性（单步训练、无需显式奖励模型），又融入了悲观正则化的理论安全性。他们承认，目前的理论保证是在表格设置中建立的，而在不知晓 $\pi_{data}$ 的情况下将这些结果推广到一般的函数近似类仍然是一个未解决的挑战。此外，当前方法输出的是非参数化策略（通过采样），这非常适合训练流程的最后一步，但不适用于中间检查点，这为未来关于参数化输出的工作指明了方向。