🤖 machine learning

Value-Free Policy Optimization via Reward Partitioning

本文介绍了奖励划分优化（Reward Partition Optimization, RPO），这是一种简单且可扩展的单轨迹偏好学习方法，它通过通过提示词级分布对奖励进行归一化，消除了对价值函数估计的需求，从而实现了比 DRO 和 KTO 等现有基准模型更优越的对齐性、多样性和稳定性。

原作者： Bilal Faye, Hanane Azzag, Mustapha Lebbah

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bilal Faye, Hanane Azzag, Mustapha Lebbah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人厨师如何烹饪完美的佳肴。在过去，主要有两种方法可以做到这一点，但两者都有严重的缺陷。

旧方法：“口味测试”与“美食评委”

“口味测试”（成对偏好）：
传统上，为了教导厨师，你会针对同一个订单提供两道不同的菜肴（例如，两份不同的千层肉酱面），并询问人类：“哪一个更好？”机器人通过比较这两者来进行学习。
- 问题所在： 随着机器人变得越来越优秀，人类很难分辨出两份优秀的肉酱面之间的细微差别。这就像是要求一位美食评论家在两份五星级大餐之间做出选择；这既费力、昂贵又缓慢。
“美食评委”（奖励模型 + 强化学习）：
另一种方法是聘请一位“美食评委”（一个独立的 AI）来品尝食物，并给它打出 1 到 10 分的分数。然后，机器人尝试烹饪那些能获得该评委高分的菜肴。
- 问题所在： 评委可能会出错，或者机器人可能会试图“钻评委的空子”，制作一些奇怪、有毒或毫无意义的食物，只为了获得高分。这在计算上非常昂贵且不稳定，就像是在风暴中试图维持一座纸牌屋的平衡。

新方法：RPO（奖励划分优化）

作者引入了一种更简单的新方法，称为 RPO。RPO 不再是比较两道菜，也不需要聘请专门的“评委” AI，它通过观察机器人针对单个订单所制作过的所有菜肴，来确定该特定订单的“平均质量”。

以下是 RPO 的工作原理，使用一个简单的类比：

“课堂成绩”类比

想象一位老师（机器人）正在批改作文。

旧方法 (DRO)： 老师试图在写每一篇作文之前就猜出“完美分数”。他们在写作的同时还要同时猜测这个“完美分数”。这很令人困惑，并会导致错误。
RPO 方法： 老师查看针对特定题目（例如，“写一个关于猫的故事”）编写的所有文章。
- 有些文章很糟糕（得分 2 分）。
- 有些还可以（得分 5 分）。
- 有些非常出色（得分 9 分）。
- RPO 计算了所有这些猫咪故事的平均质量。
- 如果机器人写出的故事优于平均水平，它就会得到一个“赞许”，并学习再次这样做。
- 如果它写的文章低于平均水平，它就会得到一个“批评”，并学习进行改进。

神奇之处： RPO 不需要一个单独的“评委” AI 来告诉它平均值是多少。它只需查看现有的数据（提示词、回答和分数），并通过快速的数学计算来找到这个平均值。这使得训练过程更快、更稳定，且不太容易变得失控。

他们发现了什么？

研究人员在许多不同类型的 AI 模型（包括理解并生成文本的模型，以及仅生成文本的模型）上测试了这种新方法。结果如下：

更好的结果： 经过 RPO 训练的机器人编写的回答比使用旧方法训练的机器人更具帮助性、更多样化（减少了重复）且更安全（减少了毒性）。
稳定性： 旧方法有时会让机器人的行为发生剧烈波动（就像汽车失控一样），而 RPO 让机器人的行为保持在平稳、稳定的路径上。
速度： 使用 RPO 训练机器人所需的时间更短。
鲁棒性： 即使作文的评分有些“噪声”或不完美（比如人类评分员状态不佳），RPO 依然表现良好。它并没有崩溃。

局限性

论文诚实地指出了 RPO 可能面临困难的地方：

你需要人群： 为了计算那个“平均值”，你需要看到针对同一个提示词的多个不同回答。如果你只有一个回答，RPO 就无法进行它的神奇数学运算。
垃圾进，垃圾出： 如果评分（奖励）完全错误或被损坏，该方法仍然会遇到困难，尽管它比旧方法能更好地处理微小的错误。

核心结论

本文提出了一种更聪明、更简单的教学方式——RPO，旨在让 AI 变得更有帮助。RPO 不再要求人类比较两个选项，也不需要构建一个复杂的系统去猜测“完美分数”，它只是观察针对一个问题的所有答案，找到平均值，然后教导 AI 向着高于平均值的方向努力。这是一种更稳定、更高效且更有效的使 AI 符合人类偏好的方法。

技术摘要：通过奖励划分进行无价值函数策略优化

问题陈述

使大语言模型（LLMs）与人类偏好对齐通常依赖于基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO）。然而，这些范式面临着显著的可扩展性和稳定性挑战：

RLHF 需要昂贵的人类成对偏好标注、训练独立的奖励模型（RM），以及不稳定的强化学习循环（如 PPO），这类方法样本效率低且对超参数高度敏感。
直接偏好优化（DPO 类） 方法消除了显式的 RM 和 RL 循环，但需要精心策划的成对偏好数据。随着模型的改进，区分高质量响应变得越来越困难，从而推高了标注成本。
单轨迹学习（Single-Trajectory Learning） 提供了一种更实用的替代方案，使用 $(prompt, response, scalar\_reward)$ 元组（例如点赞/点踩）。然而，该领域现有的方法，如直接奖励优化（DRO），依赖于联合学习策略和价值函数。这种联合优化引入了方差、不稳定性和对离策（off-policy）数据的敏感性，因为价值估计的误差会使策略训练产生偏差。

核心问题在于，需要一种稳定、可扩展且简单的方法，能够直接从标量奖励数据中优化策略，而无需学习辅助价值函数的复杂性和不稳定性。

方法论：奖励划分优化（RPO）

作者提出了奖励划分优化（RPO），这是一种无价值函数的优化目标，它利用 KL 正则化下最优策略的解析形式，消除了对学习价值函数的需求。

理论基础

从 KL 正则化奖励最大化下的最优策略公式开始：
$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$
其中 $V^*(x)$ 是作为奖励归一化配分函数的软价值函数（soft value function）。传统方法如 DRO 使用单独的神经网络来近似 $V^*(x)$ ，导致策略（ $\pi_\theta$ ）与价值（ $V_\phi$ ）的耦合优化。

RPO 通过直接从数据中经验性地估计配分函数来绕过这一问题。对于给定的提示词 $x$ ，该方法聚合数据集中所有可用的响应 $y_j$ 来计算经验配分函数 $\hat{Z}(x)$ ：
$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$
其中 $I_x$ 是具有提示词 $x$ 的样本索引集合。经验价值随后为 $\hat{V}(x) = \tau \log \hat{Z}(x)$ 。

优化目标

RPO 将学习任务表述为对学习策略与参考策略之间对数比率的直接回归。损失函数最小化预测的对数比率与中心化、缩放后的奖励之间的平方误差：
$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$

该方法的主要特征包括：

无价值函数（Value-Free）： 不训练辅助价值网络； $\hat{V}(x)$ 是根据参考策略和观测到的奖励即时计算的。
梯度稳定： 梯度更新仅取决于策略参数，避免了通过学习到的价值估计器进行反向传播。
离线兼容性： 该方法是完全离线的，可以扩展到大规模数据集，而无需在线 RL 循环。

核心贡献

提出 RPO： 一种新的单轨迹策略优化方法，通过经验奖励归一化取代了价值估计。
分析 DRO： 对直接奖励优化进行了理论和实践上的批判，强调了其由于联合策略-价值优化而导致的不稳定性。
形式化推导： 通过利用配分函数公式，证明了 RPO 如何近似最优策略结构。
广泛评估： 在编码器-解码器（Flan-T5）和仅解码器（Mistral, LLaMA, Qwen）架构上进行了全面的实验，证明了其相对于 SFT、KTO 和 DRO 的一致优越性。

实验结果

作者在 UltraFeedback 数据集以及多个基准测试（AlpacaEval, MT-Bench, IFEval, GSM8K）上对 RPO 进行了评估。

域内性能（UltraFeedback）

指标： 在自动指标（BERTScore, ROUGE-L, Distinct-2）和安全性（Toxicity）方面，RPO 一致优于 SFT、KTO 和 DRO。
LLM-as-a-Judge： 当由 GPT-4o 和 Claude-3.5 进行评估时，RPO 相较于基准模型取得了更高的胜率。
稳定性： KL 散度分析显示，RPO 保持了平滑、受控的轨迹，而 DRO 表现出强烈的发散增长（尤其是在仅解码器模型中），KTO 则表现出振荡。
效率： 在所有模型规模下，RPO 的收敛速度和训练时间均比 DRO 和 KTO 更快。

分布外（OOD）泛化能力

RPO 展示了稳健但具有任务依赖性的提升。在指令遵循基准测试（AlpacaEval, IFEval）中的增益最为显著。
在推理任务（GSM8K）和多轮对话（MT-Bench）上的表现呈现出持续但较为温和的提升，且因模型家族而异。

消融研究

温度系数 ( $\tau$ )： 该方法对适度的平滑（ $\tau=5.0$ ）具有鲁棒性，但在极度锐利的缩放（ $\tau=0.1$ ）下会出现显著的性能下降，导致优化不稳定。
经验归一化 ( $\hat{V}(x)$ )： 去除提示词层级的奖励归一化会导致语义相似度、多样性和安全性出现持续性的下降，证实了其在稳定奖励尺度方面的关键作用。
数据集密度： 随着每个提示词对应的完成项数量减少，性能会下降，在 25% 密度设置下会出现质量大幅下降。这突显了该方法对每个提示词下多样化奖励分布的依赖，以实现准确的配分估计。
噪声鲁棒性： RPO 在中度奖励噪声（ $\sigma=0.1, 0.5$ ）下保持稳定，但随着噪声强度的增加，性能会下降，尽管即使在强腐蚀（ $\sigma=1.0$ ）下也不会崩溃。

意义与局限性

论文声称 RPO 提供了一种简单、可扩展且稳定的现有对齐方法的替代方案。通过消除对价值函数学习的需求，它降低了优化的复杂性和方差，同时提供了绝对的奖励监督。作者将 RPO 定位为可扩展偏好优化的一个有前景的方向，特别是在成对数据稀缺但存在标量反馈的情况下。

作者承认的局限性：

数据要求： RPO 依赖于分组数据，即每个提示词必须存在多个完成项，才能有效地估计配分函数。如果提示词层级的多样性不足，性能会下降。
奖励质量： 虽然对中度噪声具有鲁棒性，但该方法仍然依赖于奖励标注的质量；严重的损坏会负面影响对齐效果。
评估范围： 目前的评估主要集中在指令遵循和对齐基准测试。作者指出，需要进一步的研究来全面评估其在更广泛领域、多语言环境和长程推理任务中的泛化能力。