🤖 AI

A Regret Minimization Framework on Preference Learning in Large Language Models

本文介绍了一种名为基于遗憾的偏好优化（RePO）的新型框架，该框架通过遗憾最小化重新构建了来自人类反馈的强化学习，以更好地捕捉人类偏好的前瞻性和反事实特性，从而在推理和偏好基准测试中实现了持续的性能提升。

原作者： Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人解决数学题或写一封得体的邮件。你希望机器人能从人类的反馈中学习，但人类通常不会说：“这句话值恰好 7.5 分。”相反，我们会说：“我更喜欢这个答案，而不是那个。”

长期以来，计算机科学家一直试图教机器人通过最大化分数来学习。他们把机器人的每一步行动都当作是在赚取即时积分，就像在电子游戏中收集金币一样。如果机器人的某一步做对了，它就得到一枚金币；如果做错了，它就会失去一枚金币。机器人的目标仅仅是尽可能多地抓取金币。

“集金币者”方法的缺陷
论文指出，这种“集金币者”的心态实际上是理解人类思维的一种错误方式。人类并不仅仅关注眼前的步骤；我们会向前瞻，也会向后看那些“本可以发生”的情况。

作者使用了一个极佳的比喻：“如果……会怎样”游戏（The "What If" Game）。

想象你正在观看一场国际象棋比赛中的一步棋。

旧方法（奖励最大化）： 你只看那一步棋本身。它吃掉了对方的棋子吗？如果是，很好；如果不是，不好。你是在孤立地评价这一步。
新方法（遗憾最小化）： 你看着这一步棋，并追问：“如果他们刚才在这里走了另一条路，局面会不会更好？”或者，“如果他们一直这样下下去，会在 10 步之后获胜吗？”

人类很难孤立地判断一个步骤。我们是基于前瞻性预期（我们认为接下来会发生什么）和反事实比较（他们原本还可以怎么做）来做出判断的。

论文的解决方案：“基于遗憾的偏好优化”（RePO）
作者引入了一种新方法，称为 RePO。RePO 不再试图最大化分数，而是教机器人最小化遗憾。

把“遗憾”（Regret）想象成当你感叹“我早知道该走另一条路，那样就能避开堵车了”时的那种感觉。

在旧方法中，机器人只关心它现在走的这条路是否顺畅。
在新方法（RePO）中，机器人会问：“与我本可以采取的最佳路径相比，我搞砸了多少？”

用通俗易懂的话解释其原理

向前看： 当人类看到一个部分答案（比如数学题解题过程的前半部分）时，他们会在脑海中完成整个题目。如果他们认为“噢，这条路径最终会导致错误答案”，那么即使前半部分看起来没问题，他们也会不喜欢这个过程。RePO 通过模拟未来来模拟这一点，观察当前的步骤是否会导致死胡同。
比较替代方案： 人类经常通过将一个行动与一个并未发生的“更好版本”进行比较来做出判断。RePO 计算了机器人所做的行为与“完美机器人”所做行为之间的“距离”。它的目标是缩小这个差距。
“遗憾”得分： 不同于给出一个表示“好”的正分，RePO 计算的是一个“遗憾”得分。目标是让这个遗憾值尽可能接近于零。如果遗憾值很高，意味着机器人做出了一个导致结果比原本可选方案更差的选择。

为什么这很重要（根据论文所述）
研究人员在数学问题和通用对话任务上对该方法进行了测试。他们发现，使用 RePO 训练的机器人更擅长：

解决数学问题： 它们明白，只有当一个步骤能导向正确的最终答案时，这个步骤才是“好”的，而不仅仅是看这个步骤本身看起来是否合乎逻辑。
符合人类品味： 它们能更好地与人类偏好保持一致，因为它们不再试图通过追求即时积分来“钻空子”，而是开始思考整个旅程，就像人类思考那样。

“魔术技巧”（样本效率）
其中一个最酷的发现是 RePO 在学习方式上更加“聪明”。

旧方法 (DPO)： 如果你向机器人展示一个被遮掩（掩码处理）的数学问题，机器人会感到困惑并表现不佳。它需要反复看到完整的正确答案才能学会模式。
新方法 (RePO)： 由于 RePO 是建立在“遗憾”（思考“如果……会怎样”）的概念之上的，它天生就能理解隐藏的答案是可疑的。它不需要过多的额外训练来弄清楚不完整的路径是糟糕的。它“内化”了这样一个教训：“如果你看不见终点线，那你可能走错路了。”

总结
论文的核心观点是：不要再把机器人教成只关心下一步的贪婪集金币者了。相反，要教它们成为具有反思能力的旅行者，去询问：“我是否走了最好的路？与那条未选之路相比，我对自己的选择有多少遗憾？”通过这样做，机器人将具备更好的推理能力，并且能更好地与人类的思维方式保持一致。

技术摘要：基于偏好学习的大语言模型遗憾最小化框架

问题陈述

虽然基于可验证奖励的强化学习（RLVR）通过利用自动化正确性信号，在数学和代码生成等推理密集型任务中取得了显著进展，但许多现实世界的语言任务（例如：安全性关键决策、客户服务、教育推理）缺乏可靠的验证器。因此，该领域高度依赖于人类反馈强化学习（RLHF）。

本文解决的核心问题是 RLHF 中人类反馈的解释问题。现有的基于偏好的方法（如 DPO、IPO）通常通过奖励最大化的角度来解释人类偏好，将偏好视为对观察到的轨迹片段所分配的即时或累积效用的代理。作者认为，这种解释与人类认知根本不符。人类的判断本质上是前瞻性的（预判未来结果）和反事实的（将实现的结局与可能的替代方案进行比较）。目前的基于奖励的框架对中间步骤进行近视化的评估，忽略了人类对部分轨迹的偏好是由轨迹的预期延续以及与“本可以如何”的比较所塑造的，而非绝对的、与结果无关的效用。

方法论：基于遗憾的偏好优化（RePO）

本文引入了基于遗憾的偏好优化（RePO）框架，将偏好学习从奖励最大化重新定义为遗憾最小化。

理论基础

以遗憾为目标： RePO 不再追求最大化即时奖励，而是将人类反馈建模为对次优性的相对评估。遗憾被定义为在给定上下文下，最优策略的价值（ $V^{\pi^*}$ ）与行为策略的 Q 值（ $Q^\mu$ ）之间的差异。
KL 正则化 RL 框架： 作者将其形式化为一个步级（step-level）的 KL 正则化 RL 框架。他们推导出了与行为策略 $\mu$ 相关联的 Q 函数的闭式解。
遗憾分解： 一个关键的理论贡献（定理 5.4 和引理 5.5）确立了行为策略 $\mu$ 相对于最优策略 $\pi^*$ 所产生的遗憾可以分解为两个部分：
- 一个局部偏好项： $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$ ，这与标准的直接偏好优化（DPO）目标一致。
- 一个长程项：一个顺序前向 KL 散度（ $\bar{D}_{KL}$ ），用于衡量行为策略 $\mu$ 沿未来展开（rollouts）过程中相对于最优策略 $\pi^*$ 的累积偏差。
这种分解表明，最小化遗憾能够显式地考虑行为相关的偏差和未来轨迹的一致性，从而解决了 DPO 在离策（off-policy）设置中假设数据为在策（on-policy）数据时存在的“似然失配（likelihood mismatch）”问题。

实践实现

RePO： 标准算法利用推导出的闭式更新公式，并结合了顺序 KL 散度项。它需要获知生成数据的行为策略 $\mu$ 的信息。
RePO_det： 为了处理行为策略未知或难以获取（这在离线数据集中很常见）的情景，作者提出了 RePO_det。该变体将行为策略近似为集中在观察到的输出上的确定性分布（狄拉克 $\delta$ 函数）。它用一个基于样本的估计器取代了顺序 KL 项，该估计器通过对观察到的轨迹进行对数概率比的平均，有效地将观察到的片段视为单次展开。

核心贡献

重构人类反馈： 本文认为，人类反馈更自然地被理解为以预期结果和隐含替代方案为条件的相对判断（遗憾），而非奖励最大化的信号。
闭式策略更新： 作者在 KL 正则化 RL 框架内形式化了这一视角，推导出了与直接偏好优化兼容的闭式策略更新公式（RePO），但该公式显式地建模了行为相关的偏差。
内化归纳偏置： 理论分析（引理 6.1）表明，遗憾最小化在结构上内化了人类反馈中的一种归纳偏置：由于对未来完成情况存在不确定性，不完整或部分观察到的成功轨迹会被进行悲观评估。这使得 RePO 能够有效地学习，而无需通过显式的增强数据来强制执行此类偏好。
对行为策略的鲁棒性： RePO_det 的引入证明了即使在无法获得行为策略信息的情况下，该框架仍然有效，使其能够应用于异构的离线数据集。

实验结果

作者在数学推理基准测试（GSM8K, MATH, MATH500, AMC23, Minerva）和人类偏好对齐任务（AlpacaEval 2, Arena-Hard, MT-Bench）上对 RePO 进行了评估，使用了 Qwen3 (1.7B/4B) 和 LLaMA3 模型。

性能提升： RePO 在不同模型规模和任务类型下均一致优于现有基线（DPO, IPO, RPO, KTO, TDPO）。例如，在 4B 模型上，RePO 在 AlpacaEval 2 上实现了 55.08% 的胜率（相比之下 DPO 为 32.89%），在 GSM8K 上为 65.54%（尽管 DPO 为 87.87%，但 RePO 在推理任务中普遍表现出强劲增益）。
离线适用性： 在跨模型设置中（例如，使用 Qwen 模型生成的数据训练 LLaMA 模型），RePO_det 在 Qwen 系列模型中取得了与 RePO 相当的表现，并且显著优于基线，这证明了基于样本的遗憾估计器的鲁棒性。
样本效率： 在涉及掩码数据增强（通过隐藏成功的轨迹来测试模型判断不完整路径的能力）的消融研究中，DPO 需要额外的增强数据来提高性能，而 RePO 的性能保持稳定且占据主导地位。这支持了 RePO 结构化编码了人类关于不完整轨迹判断的归纳偏置这一观点，从而实现了更高的样本效率。

重要性与主张

本文声称，RePO 通过将学习目标与人类判断的前瞻性和反事实性质相统一，提供了一种对人类反馈的忠实抽象。通过从奖励最大化转向遗憾最小化，该框架为异构轨迹的偏好提供了原则性的解释。

作者总结道，遗憾最小化是实现大语言模型人类对齐后训练的一个极具前景的基础。结果表明，正确建模行为策略、未来展开以及反事实替代方案之间的关系，对于有效的偏好学习至关重要，特别是在缺乏显式奖励信号或数据来源于多样化来源的情况下。这项工作并不声称解决了所有对齐问题，而是将遗憾最小化定位为对当前 RLHF 中以奖励为中心的范式的必要改进。