🤖 machine learning

Robust Peak-cost Constrained Reinforcement Learning

本文引入了一种针对峰值成本约束马尔可夫决策过程的鲁棒强化学习框架，该框架通过开发一种具有积分概率度量的代理优化方法，解决了零对偶间隙缺失以及模拟器与现实世界失配的问题，在确保动力学扰动下安全性性的同时，保持了强大的奖励性能。

原作者： Shilpa Mukhopadhyay, Sourav Ganguly, Santosh Mohan Rajkumar, Honghao Wei, Debdipta Goswami, Arnob Ghosh

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Shilpa Mukhopadhyay, Sourav Ganguly, Santosh Mohan Rajkumar, Honghao Wei, Debdipta Goswami, Arnob Ghosh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走钢丝。在人工智能领域，这被称为“强化学习”。机器人通过尝试、跌落、再爬起来的过程来学习，最终掌握如何保持平衡。通常，我们会告诉机器人：“不要跌落太多次，并尽可能快地到达另一端。”这就像告诉一名学生：“一年内不要拿到超过10个不及格，但要尽可能多拿A。”

然而，在现实世界中，有些错误是无法原谅的。如果这个机器人正抱着一个易碎的花瓶，即使它在99步中都走得完美无缺，仅仅一次从钢丝上跌落就可能导致花瓶破碎。标准的AI训练通常关注错误的“平均值”或“总和”，但这可能会掩盖那一次灾难性的失误。本文探讨了一个特定且高风险的版本：我们如何教AI在最大化奖励的同时，确保它经历过的单次最严重的错误始终低于一个危险限度？此外，作者担心机器人可能是在一个完美的视频游戏模拟器中接受训练，但随后被部署到了一个混乱、多风的现实世界中。他们问道：我们如何确保机器人不会仅仅因为风比模拟器预测的稍大了一点就发生碰撞？

来自美国大学的研究团队深入研究了一个名为“鲁棒峰值成本约束强化学习”（Robust Peak-cost Constrained Reinforcement Learning）的领域。他们首先指出了一种旧思维方式中的缺陷。多年来，科学家们一直使用一种叫做“拉格朗日方法”（Lagrangian methods）的数学工具来解决这些安全谜题。当你在意一段时间内的“总”损害量时，这些方法效果很好。但作者发现了一些令人惊讶的事情：当你关注任何单一时刻的最大损害（即“峰值成本”）时，旧的数学工具就会失效。他们证明了，与标准问题不同，这些“峰值成本”问题并不总是存在一个整洁的数学捷径（称为“零对偶间隙”），能保证旧方法找到最优解。事实上，他们展示了即使在一个微小的、简单的两状态世界中，旧方法也可能会陷入一个并非最优的解中。

那么，他们采取了什么措施呢？他们构建了一个新的框架，称之为 RP-CRL。可以把它想象成一种新的机器人训练方案。与其仅仅告诉机器人“平均表现要好”，他们设置了一个“代理”（surrogate）游戏。在这个游戏中，机器人必须同时应对两个目标：获得高分（奖励）以及将其最高单次错误（峰值成本）控制在严格的限度之下。作者设计了一种巧妙的方法，利用一个特殊的“调节旋钮”（超参数）来平衡这两个目标。如果机器人违反了安全规则，训练将完全集中于修复该规则；如果机器人是安全的，训练则侧重于获得更高的分数。

为了处理“从模拟到现实”（sim-to-real）的问题（即训练用的视频游戏与现实世界之间的差异），他们增加了一层“鲁棒性”。想象一下，训练这位走钢丝的人者时，不仅要在晴朗的日子里，还要在模拟器随机加入阵风并改变绳索摩擦力的环境下进行。机器人学会了在最坏的情况下生存。作者开发了一种方法来估计在这些不确定条件下情况会变得多糟，并调整机器人的学习过程，以应对这种最坏的情况。

他们在几种不同的场景中测试了他们的新方法。首先，他们使用了一个经典的“倒立摆”（CartPole）游戏，其中一个小车需要保持一根杆子的平衡。他们通过在训练期间随机添加重力噪声使环境变得棘手。当他们稍后在具有更强重力变化的条件下测试这些机器人时，旧的方法失败了——机器人要么倒下，要么违反了安全规则。但新的 RP-CRL 机器人呢？即使面对更剧烈的重力变化，它依然保持了平衡并保持安全。他们还在更复杂、更真实的机器人模拟（如四足蚂蚁或游泳机器人）中进行了测试，并发现了同样的结果：新方法使“峰值成本”（例如机器人使用的最大力量）始终安全地保持在限度以下，同时仍能表现出色。

这篇论文并不声称已经解决了宇宙中所有的安全问题。他们承认，证明他们的新方法如何精确地收敛到完美答案仍是未来研究的任务。然而，通过他们的模拟，他们展示了其方法如何有效地弥合了安全模拟与混乱现实之间的鸿沟。他们证明了，通过改变我们看待数学的方式（放弃旧的拉格朗日捷径，转而使用鲁棒的代理模型），我们可以构建出不仅在平均意义上表现良好，而且即使在情况出错时也能可靠安全的AI智能体。

技术摘要：鲁棒峰值代价约束强化学习

1. 问题定义

本文研究了鲁棒峰值代价约束强化学习 (Robust Peak-cost Constrained Reinforcement Learning, RP-CRL)，这是一个智能体必须在最大化预期累积回报的同时，确保在任何轨迹中遇到的最大代价（maximum cost）都低于指定阈值的场景。该问题的提出源于对安全至关重要的应用场景，在这些场景中，单次灾难性的违规也是不可接受的，这使得依赖于预期累积代价的标准约束马尔可夫决策过程 (CMDP) 框架显得不足。

作者形式化了两个关键挑战：

峰值代价约束： 与标准 CMDP 不同，约束取决于轨迹级的最大代价而非累加和。这导致相对于状态-动作占用度量（state-action occupancy measure）是一个非凸优化问题。
模拟到现实的差距 (Sim-to-Real Mismatch)： 在模拟器中训练的策略由于动力学转换的不匹配，在现实世界中往往会失效。本文旨在寻求一种在预设不确定性集合内的最坏情况转换动力学下仍能满足峰值代价约束的策略。

核心优化问题定义为：
$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{s.t.} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$
其中 $V^{\pi,P}_{c,peak}$ 代表鲁棒峰值代价价值函数， $\mathcal{P}$ 是转换模型的集合。

2. 核心贡献与理论见解

A. 峰值代价 MDP 中的非零对偶间隙

一个主要的理论贡献是证明了，与标准 CMDP 不同，峰值代价约束 MDP 即使在满足 Slater 条件时也可能不存在零对偶间隙。

原因： “硬最大值”（hard-max）约束破坏了问题相对于状态-动作占用度的凸性。
影响： 依赖强对偶性来恢复最优解的标准拉格朗日（Lagrangian）原-对偶方法无法保证在峰值代价问题中奏效。作者提供了一个反例（甚至在二状态 MDP 中），表明拉格朗日松弛可能会出现严格松弛的情况。

B. 鲁棒代理优化框架

为了克服缺乏强对偶性的问题并应对动力学不确定性，作者提出了一个代理优化框架 (Surrogate Optimization Framework)。

代理目标： 他们不是直接求解约束问题，而是最小化一个平衡了最坏情况回报和最坏情况约束违规的代理目标：
$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$
理论保证： 作者证明，通过适当选择超参数 $\beta$ （具体为 $\beta \geq C_{max}/\epsilon$ ），该代理问题的最优解可以在违反约束不超过 $\epsilon$ 的情况下，达到与原问题相同的鲁棒回报值。

C. 基于 IPM 的鲁棒价值估计

为了高效处理不确定性集合 $\mathcal{P}$ ，本文利用了积分概率度量 (Integral Probability Metrics, IPM)。

对于连续状态空间，不确定性集合是通过与标称模型 $P_0$ 的 IPM 距离来定义的。
这使得在线性函数逼近下，鲁棒贝尔曼算子 (Robust Bellman Operator) 具有闭式表达式。具体而言，最坏情况下的价值函数更新包含一个与价值函数权重范数成正比的正则化项：
$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$
这种形式避免了非矩形不确定性集合带来的计算不可行性。

3. 方法论：RP-CRL 算法

所提算法 RP-CRL 是一个针对鲁棒峰值约束优化定制的 Actor-Critic 框架。

Actor（策略网络）： 使用类似于近端策略优化 (PPO) 的剪切目标进行更新。用于 Actor 更新的优势信号（advantage signal）根据当前策略是可行还是不可行进行动态选择。
Critic（价值网络）： 维护两个 Critic：
1. 回报 Critic ( $V_r$ )： 估计鲁棒预期回报。
2. 峰值代价 Critic ( $V_{c,peak}$ )： 通过涉及 max 算子的折扣递归（通过 Log-Sum-Exponential 进行平滑处理）来估计鲁棒峰值代价。
鲁棒化： 两个 Critic 都在其时序差分 (TD) 误差计算中加入了基于 IPM 的鲁棒化项（即 $\rho \|\cdot\|$ 正则化）。
训练循环： 算法在更新回报 Critic 和代价 Critic 之间交替进行。一个选择函数决定是优先最小化约束违规（如果不可行）还是最大化回报（如果可行），从而有效地求解代理问题。

4. 实验结果

作者在 CartPole 和 MuJoCo 环境（Ant, HalfCheetah, Humanoid, Swimmer）中，在存在扰动的动力学条件下对 RP-CRL 进行了评估。

基准测试： 与以下方法进行对比：
1. 适配于峰值代价约束的原先工作 [5], [6] 中的原对偶 (Primal-Dual, PD) 方法。
2. 在非扰动（标称）环境下训练的所提代理目标方法。
扰动设置： 训练过程中向系统动力学（如重力 $g$ 或粘度）注入噪声。推理阶段则在更强的扰动下进行测试。
主要发现：
- 约束满足： 即使在显著的动力学扰动下，RP-CRL 也能成功将峰值代价维持在基准线以下（通常实现零峰值代价）。相比之下，非鲁棒代理方法和 PD 方法在推理期间经常发生约束违规。
- 回报性能： RP-CRL 获得了比 PD 方法更高的回报，因为 PD 方法由于缺乏强对偶性，往往会学习到次优策略。
- 鲁棒性： 使用鲁棒公式（代理 + IPM）进行训练，与在标称动力学上训练相比，具有更平滑的学习曲线、更低的方差以及对未见过的扰动更好的泛化能力。
- 泛化性： 该方法在不同的代价函数定义和不同水平的扰动 ( $\sigma$ ) 下均表现出色。

5. 重要性与主张

本文声称 RP-CRL 为安全至关重要的强化学习提供了必要的进展，通过以下方式实现：

修正理论假设： 确立了强对偶性对于峰值代价约束并不成立，从而使直接应用标准拉格朗日方法于此类特定安全目标的做法失效。
弥合模拟到现实的差距： 提供了一个鲁棒优化框架，确保即使部署环境与训练模拟器不同，也能满足安全约束。
实际有效性： 通过实验证明，所提代理方法结合基于 IPM 的鲁棒价值估计，能够有效地强制执行安全性，同时在不确定环境中保持强大的回报性能。

作者指出，虽然代理解可以达到原问题的鲁棒回报值，但在大型状态空间中，所提 Actor-Critic 算法的收敛保证仍有待未来研究。