🤖 machine learning

Utility-Constrained Policy Optimization

本文介绍了一种针对效用约束马尔可夫决策过程（UCMDPs）的实用方法论，该方法能够实现风险敏感型约束以及在无需额外训练成本的情况下对约束限制进行灵活的训练后调整，同时在 Safety Gymnasium 基准测试中达到了最先进的性能。

原作者： Mehrdad Moghimi, Bernardo Avila Pires

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Mehrdad Moghimi, Bernardo Avila Pires

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人开车。你的目标是让机器人尽可能快地到达目的地（最大化奖励）。然而，你有一个严格的规则：机器人不能耗尽汽油或撞到东西（最小化成本）。

在人工智能的世界里，这通常由一种叫做 CMDP（约束马尔可夫决策过程）的系统来处理。你可以把它想象成一位严厉的老师，说：“平均而言，你只能使用 25 加仑汽油。”

旧方法的问题（风险中性）

旧方法有一个狡猾的漏洞。因为它只关心平均值，机器人可能会产生一种疯狂的策略：

99% 的时间里，它开得非常慢且小心，几乎不消耗汽油。
1% 的时间里，它鲁莽驾驶，撞上一堵墙并消耗了 2,000 加仑汽油。

从数学上讲，这个平均值可能仍然低于 25 加仑。所以机器人通过了测试。但这正是作者所说的“风险中性”方法：它忽略了分布的“尾部”（即那些罕见但灾难性的事件）。

新的解决方案：效用约束策略 (UCP)

作者引入了一种新方法——效用约束策略 (UCP)。它不再仅仅观察平均值，而是观察风险的形状。它会问：“最坏的情况会有多糟？”

以下是他们利用三个巧妙的技巧解决问题的方法：

1. “背包”类比（存量增强）

想象机器人背着一个背包。每当它走一步，它就会往背包里添加一点点“已使用的汽油”。

旧方法： 机器人只看它当前的位置。它不知道在这次特定的行程中，到目前为止已经使用了多少汽油。
新方法 (UCP)： 机器人观察它的背包。它确切地知道自己还剩多少汽油。
作者称之为“存量增强”（stock augmentation）。通过给机器人一个关于过去成本的记忆（背包），它可以做出更明智的决策。如果背包变得越来越重，机器人就知道在耗尽汽油之前应该减速，而不是等到平均值计算告诉它出问题了才反应过来。

2. “灵活预算”技巧

通常当你训练一个机器人时，你必须设定一个特定的预算（例如，“你有 25 加仑”），然后训练它数周。如果你以后想把预算改为 30 加仑，你必须从头开始重新训练整个机器人。

UCP 方法就像是在训练一个变色龙机器人。

在训练期间，研究人员随机给了机器人不同的背包大小（有的容量为 10 加仑，有的为 30 加仑）。
因为机器人学会了观察自己的背包并实时调整驾驶风格，你现在可以告诉它：“好吧，今天你有 25 加仑，”或者“今天你有 15 加仑，”而无需重新训练它。
机器人只需观察它的背包，看到限制，然后据此驾驶。

3. “安全网”（风险敏感型约束）

该方法不仅仅是说“不要超过 25 的平均值”，而是说“不要超过 25，如果超过了，惩罚会变得极其严重”。

结果： 机器人停止了那些疯狂的“1% 撞车”冒险行为。它变得稍微保守了一些，但它消除了灾难性的失败。
惊喜： 作者发现，通过更加谨慎地对待这些罕见风险，机器人的驾驶速度反而更快，得分也更高。事实证明，避免了“撞车”场景后，机器人可以在安全区域内驾驶得更加高效。

他们测试了什么

他们在一组类似视频游戏的驾驶和导航任务（称为 Safety Gymnasium）中测试了这一点。

比赛： 他们将这种新的机器人 (UCP) 与现有的最佳机器人进行了对比。
结果： 在几乎所有任务中，新机器人都达到了或超过了其他机器人。
视觉证明： 在他们的图表中，你可以看到旧机器人的成本具有“长尾”现象（偶尔发生碰撞），而新机器人的成本则紧密聚集在安全限制附近。

总结

这篇论文提出了一种让 AI 智能体变得更安全、更聪明的方法。

给它们一个记忆（背包/存量），这样它们就知道自己的当前状态。
在许多不同的限制下进行训练，这样它们就可以即时适应而无需重新训练。
惩罚罕见的灾难，从而阻止它们拿安全性进行赌博。

其结果是，这种 AI 不仅仅是在纸面上满足规则（平均而言），而且在现实世界中表现得非常安全，能够避开那些罕见但危险的“碰撞”。

技术摘要：效用约束策略优化

问题定义

本文探讨了约束马尔可夫决策过程（CMDPs）在强化学习（RL）中的局限性。虽然 CMDPs 是引入安全约束的标准框架，但它们执行的是风险中性约束，这意味着约束仅在期望意义下得到满足。这种风险中性允许最优策略在偶尔发生灾难性约束违规的情况下，只要这些违规发生的频率足够低即可，这会导致行为不可靠。相反，为了避免这些罕见的违规，可能会采用过于保守的策略。

以往解决风险敏感性（例如通过机会约束或 CVaR）的方法通常会导致策略具有历史依赖性且难以学习，或者依赖于如提前终止或惩罚调度等权宜之计，而缺乏统一的理论框架。作者提出了**效用约束 MDP（UCMDPs）**作为风险敏感约束的自然框架，但指出由于最优历史依赖策略的难解性，历史上一直缺乏针对 UCMDPs 的实际解决方案。

方法论：效用约束策略 (UCP)

作者引入了 效用约束策略 (UCP)，这是一种旨在解决 UCMDPs 的实用拉格朗日深度强化学习算法。该方法依赖于三个核心组件：

1. 存量增强表述 (Stock-Augmented Formulation)

为了使 UCMDPs 能够使用马尔可夫策略来求解，作者采用了基于 Ávila Pires 等人 [2025] 研究工作的存量增强状态表述。

存量 ( $Z_t$ )： 一个追踪奖励/成本历史的累积变量。与之前使用折扣存量的表述不同，UCP 采用了无折扣存量，定义为 $Z_{t+1} = Z_t + R_{t+1}$ 。
原理： 无折扣存量使智能体的内部状态与标准的累积回合成本评估指标保持一致。它防止了在逆折扣更新中看到的早期成本指数级膨胀，使学习问题更加稳定。
策略输入： 约束限制被编码为初始存量值 ( $Z_0$ )。因此，策略 $\pi(a|s, z)$ 将初始存量（以及由此产生的约束预算）与环境状态一起作为输入。这使得训练好的同一策略可以在不同的约束限制下运行，而无需重新训练。

2. 算法架构 (拉格朗日演员-评论家)

UCP 利用原-对偶（primal-dual）演员-评论家方法来解决约束优化问题：
$\inf_{\lambda_z \ge 0} \sup_{\pi} \left( \mathbb{E}[f(Z_0 + G^\pi_0)] - \lambda_z \mathbb{E}[g(Z_0 + G^\pi_0)] \right)$
其中 $f$ 是目标效用， $g$ 是约束效用。

评论家 (Critic)： 智能体使用分布式评论家（具体使用分位数回归）来估计回报（累积量）的完整分布，而不仅仅是期望值。这对于评估非线性（风险敏感）的效用函数至关重要。
演员 (Actor)： 演员被训练以最大化回报分布的期望效用，而非标准的 Q 值。演员的目标函数从标准的软行动者-评论家（SAC）修改为：
$L^{UO}_{actor} = \mathbb{E}[u(z + G_\psi(s, z, A_\theta))] - \alpha \log \pi_\theta(A_\theta|s, z)$
其中 $u(x) = f(x) - \lambda_z g(x)$ 。
拉格朗日乘子更新： 乘子 $\lambda_z$ 根据回合观察到的约束违规情况定期更新，并使用容差 $\epsilon$ 来处理严格可行性难以实现的情况。

3. 训练策略：存量随机化

为了实现跨不同约束预算的泛化，训练期间初始存量 $Z_0$ 会从一个范围（例如 $[-30, 0]$ ）内均匀随机采样。这迫使策略学习从各种预算水平到最优动作的映射，从而使智能体能够在测试时适应新的预算而无需重新训练。

核心贡献

实用的 UCMDP 解决方案： 本文引入了一种通过存量增强支持最优马尔可夫策略的 UCMDP 修改方法，使该问题在实践上变得可解。
UCP 算法： 提出了 UCP，这是一种结合了分布式评论家、存量增强状态和期望效用优化的拉格朗日深度强化学习智能体。
灵活的约束限制： 该框架允许通过改变初始存量输入在训练后设置约束限制，消除了因安全预算变化而需要重新训练的需求。
经验验证： 在 Safety Gymnasium 基准测试上的广泛评估表明，UCP 达到或超过了现有基准方法的性能。

实验结果

作者在 Safety Gymnasium 基准测试（特别是 Safety Velocity 和 Safety Navigation 任务集）上对 UCP 进行了评估。

性能对比基准： UCP 一致地达到或超过了最先进的基准方法（包括 PPO-Lag, SAC-Lag, PID-Lag, Sauté RL 以及提前终止 MDP）。
- 在 Safety Velocity 任务中，UCP 在满足成本约束的同时实现了相当或更高的回报。
- 在 Safety Navigation 任务中，UCP 在保持安全性的同时，在回报方面显著优于所有基准方法。
风险敏感性： 与风险中性变体相比，风险敏感的 UCP 显著降低了成本分布的“尾部”。它最小化了超过成本预算的概率，并将期望超额成本 ( $\mathbb{E}[\max(X, b)]$ ) 降低到接近于零，而风险中性方法在违规回合中经常产生远高于预算的成本。
泛化能力： 消融研究证实了存量随机化至关重要。使用随机初始存量训练的策略可以泛化到未见的预算水平（例如预算为 0, 5, 15, 25），而无需重新训练，而基于单一预算水平训练的策略则无法做到这一点。
无折扣存量： 研究发现使用无折扣存量优于折扣存量，从而带来了更好的性能和稳定性。

意义与主张

本文声称 UCP 提供了一种简单而强大的方法论，用于解决存在风险中性问题的约束强化学习。通过通过效用函数和存量增强将风险敏感约束直接纳入问题表述，作者证明了：

安全与性能可以平衡： 更严格的风险敏感约束甚至可以在风险中性评估指标下提高性能，这可能是通过防止导致过度保守行为的灾难性失败实现的。
操作灵活性： 在训练后调整约束限制而无需重新训练的能力，为在安全预算可能变化的实际部署场景中提供了显著的实用价值。
分布式的必要性： 结果强调了在处理非线性效用约束时，建模回报分布（通过分布式评论家）而非仅仅是期望的重要性。

作者承认，尽管实验结果强劲，但这项工作在关于 UCMDPs 中拉格朗日动态规划的最优性保证以及使用无折扣存量的原则性辩护方面仍缺乏完整的理论分析，并将其确定为未来的理论研究方向。