🤖 machine learning

Corruption Robust Offline Reinforcement Learning with Human Feedback

本文介绍了首个具有可证明鲁棒性的离线人类反馈强化学习（RLHF）算法，该算法通过学习带有置信集的奖励模型，并利用基于抗污染鲁棒 RL Oracle 的悲观优化，能够从包含 $\varepsilon$ 比例受损轨迹-反馈对的数据集中识别出近优策略。

原作者： Debmalya Mandal, Andi Nika, Parameswaran Kamalaruban, Adish Singla, Goran Radanović

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Debmalya Mandal, Andi Nika, Parameswaran Kamalaruban, Adish Singla, Goran Radanović

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人玩一款复杂的电子游戏。通常情况下，你会让机器人去玩，观察它的表现，然后根据它的表现好坏告诉它：“做得好！”或“做得不好！”这就是基于人类反馈的强化学习 (RLHF)。

然而，在现实世界中，你收集到的数据并不完美。有时，提供反馈的人会因为疲劳而犯错（噪声）。有时，恶意的黑客可能会故意调换“好”与“坏”的标签来欺骗机器人（破坏/篡改）。

这篇论文解决了一个特定的、棘手的难题：如何在不让机器人再次参与游戏（离线）的情况下，利用一个部分被投毒或损坏的数据集来教机器人玩得出色？

以下是他们解决方案的简单拆解，使用了富有创意的类比。

核心问题：“被投毒的食谱书”

想象一下，你想学习如何烘焙出完美的蛋糕。你有一本食谱书（数据集），里面有 1,000 个食谱。但是，一名对手偷偷修改了其中的 10%。有些食谱说“加盐”其实应该是“加糖”，有些配料也被写错了。

如果你盲目地遵循这本书，你会烤出一个糟糕透顶的蛋糕。如果你尝试通过烘焙和品尝来学习（在线强化学习），你可能会生病或者浪费大量的食材。作者们想要研究的方法是：如何观察这本被投毒的食谱书，分辨出哪些食谱很可能是真实的，并教机器人最好的烘焙方法，而无需踏入厨房一步。

三步走策略

作者提出了一个三步走的“侦探”流程来解决这个问题：

1. “真相探测器”（鲁棒奖励学习）

首先，机器人需要理解什么是“好”。在论文中，这被称为学习一个奖励模型 (Reward Model)。

类比： 想象你正试图根据一份销售清单来猜测房子的真实价格。其中一些条目是假的（例如，一座豪宅被标价为 50 美元）。
方法： 作者没有使用平均值（这会被假数据带偏），而是使用了一种叫做修剪最大似然法 (Trimmed Maximum Likelihood) 的技术。你可以把它想象成一个聪明的过滤器，它会说：“我要忽略掉那 10% 最离谱、最可疑的数字，只信任中间 90% 的数据。”这让他们即使在数据存在谎言的情况下，也能得到一个关于人类真实偏好的“干净”估计。

2. “安全网”（置信集）

一旦他们得到了对真实奖励的“最佳猜测”，他们并不会盲目信任它。他们会构建一个置信集 (Confidence Set)。

类比： 想象一位侦探说：“我有 95% 的把握确定凶手就在这个特定的社区里。”于是他在那个社区周围画了一个圈。他知道凶手就在这个圈内的某个地方，但他并不确定确切的位置。
方法： 他们在奖励估计周围建立了一个数学上的“气泡”。他们知道真实的奖励就在这个气泡之内，即便他们不知道精确的中心点在哪里。

3. “谨慎的规划者”（悲观策略）

现在，机器人需要决定采取哪些行动。由于数据是受损的，机器人应当是悲观的（谨慎的）。

类比： 想象你在穿行于一片大雾弥漫的森林，有些路径虽然标着“安全”，但实际上可能是陷阱。一个谨慎的徒步旅行者不会仅仅选择看起来最好的路径；他会选择一条即使在雾气笼罩的最坏情况下也依然安全的路径。
方法： 机器人会观察“安全网”（置信集）中的每一条可能路径，并询问：“如果我走这条路，我能得到的最小奖励是多少？”然后，它会选择那条能使这个“最坏情况下的奖励”最大化的路径。这确保了即使数据被轻微篡改，机器人也不会犯下灾难性的错误。

三种不同的“地形”策略

论文意识到，并非所有的数据集都是一样的。有些数据集非常丰富（你有涵盖所有可能动作的数据），而有些则很稀疏（你只有少量动作的数据）。他们根据数据的“地形”设计了三种不同的算法：

均匀覆盖（“丰富的地图”）：
- 场景： 你拥有覆盖游戏世界每一个角落的数据。
- 结果： 即使存在破坏，机器人也能几乎完美地学习，误差极小。这就像拥有一张完整的、高分辨率的地图，你可以轻松识别出虚假的道路。
低相对条件数（“粗糙的地图”）：
- 场景： 你没有涵盖每个角落的数据，但你拥有的数据在某种程度上是具有代表性的。
- 结果： 机器人使用一个“零阶预言机 (Zero-order oracle)”。你可以把它想象成一个盲目的徒步旅行者，只能通过感受脚下的地面来猜测坡度。这种方式较慢且不够精确，但它仍然是可行的。其误差率稍高（取决于破坏程度的平方根），但在数学上是安全的。
有界广义覆盖（“智能地图”）：
- 场景： 数据虽然稀疏，但遵循特定的、可预测的模式。
- 结果： 机器人使用一个“一阶预言机 (First-order oracle)”。这就像一个不仅能感觉到地面，还能看到前方坡度（梯度）的徒步旅行者。这使得机器人能够更高效地工作，以更少的样本量实现更好的误差率（与破坏程度的平方根成比例）。

核心总结

该论文的主要成就证明了：只要使用这些特定的“谨慎”和“过滤”技术，你可以从数学上保证机器人能从受损的数据中学习到优秀的策略。

他们不仅仅是说“这可能有效”。他们构建了一个数学盾牌，证明了：“即使你的数据中有 10% 在撒谎，我们的方法也能找到一个几乎等同于使用完美数据时的优秀策略。”

这是首次针对离线学习中存在人类反馈且面临对抗性攻击的情况，做出如此严密的数学保证。这就像是给机器人戴上了一副“真相眼镜”，让它能够看穿训练手册中的谎言。

技术摘要：具有人类反馈的鲁棒性破坏离线强化学习

问题定义

本文解决了离线人类反馈强化学习 (Offline RLHF) 中的破坏鲁棒性 (Corruption Robustness) 问题。作者考虑了一种设定，其离线数据集由轨迹对 $(\tau^0, \tau^1)$ 以及人类偏好反馈 $o \in \{+1, -1\}$ 组成。核心问题在于，该数据中有 $\epsilon$ 比例的数据被对手破坏。这种破坏可以表现为：

反馈操纵： 翻转偏好标签 $o$ 。
轨迹特征操纵： 修改轨迹 $\tau$ 的特征。

目标是设计能够从这类受破坏数据中识别出近优策略的算法，并具有可证明的理论保证。作者在线性马尔可夫决策过程 (Linear MDPs) 的假设下进行研究，其中奖励和转移是 $d$ 维特征映射 $\phi$ 的线性函数，其时界长度为 $H$ 。

现有文献分别研究了破坏鲁棒性 RL（从受破坏的标量奖励中学习）和离线 RLHF（从干净的数据中学习偏好）。然而，这些方法无法应用于这种在离线设置下学习受破坏的偏好数据的特定交集问题。

方法论

所提出的方法论遵循一个三步框架，将鲁棒离线 RLHF 问题归约为鲁棒离线 RL 问题：

鲁棒奖励模型估计： 作者首先通过解决修剪最大似然估计 (Trimmed Maximum Likelihood Estimation, MLE) 问题来鲁棒地学习奖励参数 $\theta$ 。算法不是使用所有数据，而是选择一个规模为 $(1-\epsilon)N$ 的样本子集以最大化似然函数。为了处理受破坏的特征，该方法采用鲁棒协方差估计在运行交替优化程序以寻找近似驻点之前对协变量进行白化处理。
置信集构建： 在估计的奖励参数 $\hat{\theta}$ 周围构建一个置信集 $\Theta(\mathcal{D})$ 。该集合是基于估计参数与真实参数之间的似然比定义的，确保尽管存在破坏，真实参数仍能以高概率落在该集合内。
悲观策略优化： 最后一步是在构建的置信集上学习一个悲观最优策略。这是通过将问题归约为破坏鲁棒离线 RL 来实现的。用于此归约的具体算法取决于离线数据的覆盖假设 (Coverage Assumptions)。

作者在三种不同的数据覆盖假设下实例化了这个通用框架，并利用了不同的鲁棒 RL Oracle（神谕）：

1. 一致覆盖 (Uniform Coverage)

在离线数据均匀覆盖特征空间（具体而言，差异特征协方差矩阵 $\Sigma^{diff}$ 是良置的）的假设下，作者利用现有的破坏鲁棒离线 RL 算法 R-LSVI [Zha+22] 作为零阶 Oracle。

机制： 该算法将鲁棒离线 RL 方法视为一个黑盒，它返回一个策略和一个价值估计，但不提供梯度信息。
结果： 这产生了 $O(\epsilon^{1-o(1)})$ 的次优性差距，相对于破坏比例 $\epsilon$ 而言几乎是近优的。

2. 低相对条件数 (Low Relative Condition Number)

意识到一致覆盖是一个很强的假设，作者将其放宽为低相对条件数假设。这是一个更弱的条件，仅要求目标策略的特征协方差与行为策略的协方差之比是有界的。

机制： 由于零阶 Oracle (R-LSVI) 无法提供梯度，作者采用 高斯近似技术 (Gaussian approximation technique) [NS17] 来构建最优价值函数 $V^*(\theta)$ 的近似次梯度。他们将鲁棒离线 RL Oracle 视为一个有偏的零阶 Oracle，并在置信集上执行投影次梯度下降 (Projected Sub-Gradient Descent)。
结果： 该方法实现了 $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$ 的次优性差距，其中 $\alpha$ 是相对条件数。其对 $\epsilon$ 的依赖关系为 $O(\epsilon^{1/4})$ 。

3. 有界广义覆盖率 (Bounded Generalized Coverage Ratio)

为了进一步改善对 $\epsilon$ 的依赖关系，作者考虑了由 Gabbianelli 等人 [Gab+24] 最近引入的有界广义覆盖率假设。

机制： 在此假设下，作者设计了一种新型的破坏鲁棒离线 RL 方法（算法 7），该方法作为一个一阶 Oracle 运行。该方法基于线性 MDP 的原-对偶框架，不仅返回近似最优策略，还返回最优价值函数 $V^*(\theta)$ 的近似次梯度。这使得主 RLHF 算法可以直接进行投影次梯度下降，而无需进行零阶平滑。
结果： 这产生了显著改进的 $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$ 次优性差距，其中 $\nu$ 是广义覆盖率。其对 $\epsilon$ 的依赖关系提升至 $O(\sqrt{\epsilon})$ 。

核心贡献与结果

本文提供了首个可证明的破坏鲁棒离线 RLHF 方法。其核心贡献和理论结果总结在论文的表 1 中：

新颖框架： 通过鲁棒奖励估计和置信集构建，将鲁棒 RLHF 归约为鲁棒离线 RL。
算法实例化：
- 算法 1： 针对一致覆盖，使用 R-LSVI 作为零阶 Oracle，实现 $O(\epsilon^{1-o(1)})$ 的次优性。
- 算法 3： 针对低相对条件数，使用高斯近似结合零阶 Oracle，实现 $\tilde{O}(\epsilon^{1/4})$ 的次优性。
- 算法 4 & 7： 针对有界广义覆盖率，使用新设计的一阶鲁棒离线 RL Oracle，实现 $\tilde{O}(\sqrt{\epsilon})$ 的次优性。
Oracle 效率： 论文强调，从零阶访问转向一阶访问（算法 7）显著减少了所需的 Oracle 调用次数，并改善了对破坏参数 $\epsilon$ 的依赖关系。

重要性与声明

作者声称这项工作是首个将破坏鲁棒性与离线 RLHF 相结合的工作，在以往的研究无法提供严谨理论保证的情况下提供了理论保障。

对对抗性攻击的鲁棒性： 这些方法旨在抵御对偏好标签和轨迹特征的对抗性操纵，这是在数据可靠性受到威胁的现实世界部署中的关键要求。
理论保证： 论文提供了关于次优性差距相对于破坏比例 $\epsilon$ 、时界 $H$ 、特征维度 $d$ 以及覆盖常数 ( $\xi, \alpha, \nu$ ) 的显式界限。
研究范围与未来工作： 作者对当前的研究范围保持谦逊，指出结果是针对线性 MDP 的。他们承认将这些结果扩展到非凸奖励函数或通用函数逼近（例如深度神经网络）是一个重大挑战，因为最优价值函数 $V^*(\theta)$ 关于 $\theta$ 的凸性（这对于他们的梯度算法证明至关重要）在非线性设置中可能不再成立。他们还指出，虽然提供了初步的模拟结果，但将这些方法应用于如微调大语言模型 (LLM) 等实际场景仍是未来研究中一个开放且具有挑战性的方向。