💬 NLP

Distributionally Robust Reinforcement Learning with Human Feedback

本文介绍了用于微调大语言模型的基于奖励的 RLHF 和无奖励 DPO 的分布鲁棒变体，提出了具有收敛保证的小批量梯度下降算法，与标准方法相比，这些算法显著提高了在分布外任务上的性能。

原作者： Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明的机器人助手如何写电子邮件、解决数学问题或与人聊天。你通过向它展示成千上万个“好”答案与“坏”答案的对比示例来进行教学。这个过程被称为基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF)。

然而，这里有一个问题。如果你只通过编写“友好”邮件的示例来训练机器人，然后突然要求它编写一份“法律”合同或“科学”报告，它可能会感到困惑并表现不佳。它对训练数据进行了“过度专业化”，导致无法处理新的、不同的情况。这就像一个学生仅仅背诵了特定练习题的答案，却在正式考试中失败了，因为问题的表述方式发生了变化。

这篇论文提出了一种新的训练方法，旨在让这些机器人具有鲁棒性 (Robustness)——这意味着即使问题发生变化，或者环境与它们在训练期间看到的略有不同，它们依然能保持聪明且乐于助人。

以下是他们是如何实现的，使用了几个简单的类比：

1. 问题所在：“回声室”效应

目前的训练方法就像把一个学生关在一个回声室里。他们只能听到一种声音（训练数据）。如果现实世界有不同的口音或语调，学生就会迷失方向。作者将这种现象称为缺乏分布外 (Out-of-Distribution, OOD) 鲁棒性。

2. 解决方案：“最坏情况”教练

作者引入了一个概念，叫做分布鲁棒优化 (Distributionally Robust Optimization, DRO)。

想象你正在训练一名马拉松选手。

标准训练： 你只在平坦、阳光明媚的跑道上跑步。
鲁棒训练： 你告诉选手，“我希望你能应对任何与这条跑道略有不同的情况。也许会有微风，也许地面有点泥泞，也许温度稍微高了一些。”

机器人不仅仅学习如何在“完美”的数据上表现出色，相反，它学习即使在数据向“最坏情况”发生轻微偏移时也能表现良好。它在为不可预见的状况做准备。

3. 他们是如何做的（两步走的过程）

该论文侧重于教导机器人的两个主要阶段：

步骤 A：学习“裁判”（奖励估计）
首先，机器人需要一个“裁判”（奖励模型）来告诉它一个答案是好是坏。

诀窍： 作者并没有仅仅对训练数据中的得分取平均值，而是教导“裁判”要保持怀疑精神。他们问道：“如果我们观察的数据略有偏差或发生了偏移，会发生什么？如果我们面对的是一个略微不同的版本的数据，我们可能得到的最低分是多少？”
结果： “裁判”变得更加严格且可靠。它不会被训练数据中的奇特之处所迷惑。论文表明，这使得“裁判”在处理新的数据时，在推理任务（如数学或逻辑）方面表现得更好。

步骤 B：学习“演员”（策略优化）
一旦“裁判”准备就绪，机器人（“演员”）就会尝试通过编写答案来取悦“裁判”。

诀窍： 作者更新了两种流行的用于此目的的方法：
1. PPO (Proximal Policy Optimization，近端策略优化)： 一种方法，机器人试图在保持其原始个性的同时，最大化“裁判”的评分。
2. DPO (Direct Preference Optimization，直接偏好优化)： 一种快捷方法，它跳过了“裁判”这一步，直接从“好 vs 坏”的示例中学习。
创新点： 他们将同样的“最坏情况”思维应用到了这些步骤中。机器人学习即使在提示词（它收到的问题）分布发生轻微偏移时，也能表现出色。

4. 结果：“超强推理”

团队使用两个不同的模型（一个 20 亿参数的小型模型和一个 70 亿参数的较大模型）将他们的新型“鲁棒”机器人与标准机器人进行了对比测试。

测试： 他们使用了一个名为“Unified-Feedback”的大规模数据集来训练机器人，但随后在完全不同的数据集（如“HHH-Alignment”或“MT-Bench”）上对其进行测试，而这些数据集是机器人从未见过的。
结果：
- 鲁棒型机器人在这些全新的任务上的表现优于标准机器人。
- 最显著的提升在于推理能力。就像一个学习了数学原理而非仅仅背诵答案的学生一样，鲁棒型机器人在问题发生变化时，在逻辑和推理任务上的表现显著提升。
- 他们发现了一个使用“最坏情况”思考程度的“甜点区”（一个被称为 $\rho$ 的参数）。如果让他们过度担心最坏情况，机器人会变得困惑；但如果把握得当，它就会成为处理新情况的冠军。

总结

简而言之，这篇论文教导 AI 模型不要仅仅死记硬背训练数据，而是要理解底层的规则。通过训练它们去预期并处理数据的轻微变化（使用“最坏情况”策略），这些模型在遇到与训练内容不同的现实世界任务时，会变得更加可靠和聪明。

核心要点： 你不仅想要一个知道练习题答案的机器人；你还想要一个即使题目风格改变，也能通过真实考试的机器人。这篇论文展示了如何构建这样一种机器人。

技术摘要：基于分布鲁棒强化学习的人类反馈（Distributionally Robust Reinforcement Learning with Human Feedback）

问题陈述

基于人类反馈的强化学习（RLHF）已成为使大语言模型（LLMs）与人类意图对齐的标准技术。然而，现有的 RLHF 流水线缺乏鲁棒性。当推理阶段（下游任务）遇到的提示词分布与用于微调的偏好数据集分布存在显著差异时，模型的性能往往会下降。这种现象在过优化（over-optimization）现象中尤为严重，即策略通过牺牲真实的奖励函数来提高代理奖励（proxy rewards）；此外，由环境变化或人类偏好漂移引起的分布偏移也会加剧这一问题。以往的鲁棒性研究方法主要集中在特定的对抗性破坏模型、偏好模型偏移或启发式方法（如模型合并）上，而这些方法在面对轻微的分布偏移时往往表现不佳。

方法论

作者提出了一种用于 RLHF 的**分布鲁棒优化（DRO）**框架。其核心目标是确保微调后的模型（包括奖励模型和策略）即使在提示词分布在与训练分布 $\phi$ -散度（具体为全变分距离/Total Variation distance）范围内发生偏移时，仍能保持性能。作者通过引入一个极小极大（minimax）优化问题来构建这一目标，即学习者在围绕经验训练分布的 $\phi$ -散度球内，针对最坏情况下的分布最小化损失。

论文为两种主要的 RLHF 流水线开发了鲁棒变体：

鲁棒奖励估计（Robust Reward Estimation）：
- 公式化： 奖励模型 $r$ 被训练为最小化在满足 $d_{TV}(D, D_{src}) \leq \rho$ 条件下的最坏情况期望损失。
- 算法： 提出了一个小批量梯度下降算法（算法 1）。在每次迭代中，算法采样一个小批量并计算对应于最坏情况分布偏移的最优权重 $q^*_t$ 。随后，梯度通过这些最优权重进行重加权，然后再更新奖励参数。
- 收敛性： 在线性奖励函数类的假设下，作者证明该算法收敛至 $\epsilon$ -最优解，其迭代次数为 $T = O(1/\epsilon^2)$ ，且每次迭代需要 $n = \tilde{O}(1/\epsilon^2)$ 个样本。
鲁棒策略优化（Robust Policy Optimization）：
- 公式化： 策略 $\pi$ 被优化以最大化最坏情况下的 KL 正则化价值函数。
- 算法： 作者提出了一种鲁棒自然策略梯度（NPG）方法（算法，算法 2）。与奖励估计类似，它计算小批量的最坏情况权重。至关重要的是，它使用从这些最坏情况权重导出的加权 Fisher 信息矩阵来更新策略，而非标准的经验 Fisher 矩阵。
- 收敛性： 假设采用对数线性策略类并满足标准的集中性条件（concentrability conditions），该方法实现了线性收敛速率（ $T = O(\log(1/\epsilon))$ ），但为了确保最后迭代收敛，每轮需要更高的样本复杂度 $n = \tilde{O}(1/\epsilon^4)$ 。
鲁棒直接偏好优化（Robust Direct Preference Optimization, DPO）：
- 公式化： 提出了一个分布鲁棒版本的 DPO，直接优化策略而不使用显式的奖励模型。
- 算法： 算法 3 应用了基于最坏情况分布偏移进行重加权梯度的随机小批量梯度下降。
- 收敛性： 分析表明，其迭代复杂度为 $T = O(1/\epsilon^2)$ ，样本复杂度为 $n = \tilde{O}(1/\epsilon^2)$ ，这与鲁棒奖励估计阶段相似。

核心贡献

理论框架： 本文为 RLHF 的奖励估计阶段、策略优化阶段以及 DPO 阶段建立了首个分布鲁棒形式化方案。
算法： 引入了实用的、基于小批量的算法，用于鲁棒奖励估计、鲁棒 NPG 和鲁棒 DPO。这些算法旨在以最小的侵入性集成到现有流水线中，仅需计算重加权因子（通过凸优化求解）并进行梯度重加权。
收敛保证： 作者为这些算法提供了理论收敛性证明。他们针对线性奖励模型和对数线性策略建立了样本复杂度和迭代复杂度的界限，证明了可以通过可证明的保证来实现鲁棒性。
实验验证： 通过使用 Unified-Feedback 数据集进行训练，并在 RewardBench、HHH-Alignment 和 MT-Bench 上进行评估，对所提方法进行了有效性验证。

实验结果

作者使用基础模型 Gemma-2B-it 和 Mistral-7B-Instruct-v0.2 对其方法进行了评估。

奖励模型： 在 RewardBench 基准测试中，分布鲁棒奖励模型（DR RM）显示出比标准 Bradley-Terry (BTL) 模型更高的平均准确率，特别是在将鲁棒性参数 $\rho$ 设置为 0.1 或 0.2 时。值得注意的是，在**推理（Reasoning）**子集上的表现显著提升（例如，在 $\rho=0.1$ 时，某一子集提升了 23.4%）。然而，当 $\rho$ 设置过高（例如 $\rho \geq 0.6$ ）时，性能会出现下降，这表明在鲁棒性与拟合训练分布之间存在权衡。
策略优化 (PPO)： 当使用鲁棒奖励模型通过 PPO 训练策略时，鲁棒变体（DR PPO）在分布内（Unified-Feedback）和分布外（OOD）（HHH-Alignment, MT-Bench）数据集上的表现通常达到或超过了标准 PPO。在推理任务中观察到了显著的改进， $\rho=0.1$ 时准确率提升了 10.0%。
直接偏好优化 (DPO)： 与标准 DPO 相比，鲁棒 DPO（DR DPO）在 OOD 数据集上一致地提高了性能。对于 HHH-Alignment，最佳性能在 $\rho=0.8$ 时取得；对于 MT-Bench，最佳性能在 $\rho=0.5$ 时取得。DR DPO 在 OOD 任务上的表现通常优于 DR PPO。

意义与主张

本文声称，分布鲁棒优化提供了一种原则性的方法，用于提高 LLM 对未知任务和分布偏移的泛化能力。作者强调，其方法对现有的高效 RLHF 流水线（例如使用 Hugging Face 库的流水线）改动极小，同时提供了理论收敛保证。

作者强调的一个关键发现是，在强制执行分布鲁棒性时，推理能力在 OOD 数据集上出现了意想不到的提升。作者指出，目前尚不清楚为什么 DRO 会对推理产生积极影响，这表明该现象值得进一步研究，以探索推理与分布鲁棒性之间的联系。

这项工作旨在将 LLM 的对齐推向真正的、能够应对动态现实世界环境的目标——在这些环境中，数据分布并非静态——从而超越了标准 RLHF 的局限性（标准 RLHF 往往无法泛化到训练期间看到的特定偏好示例之外）。