🤖 machine learning

SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration

本文介绍了 SHAPO，这是一种通过应用锐度感知策略更新来利用认知不确定性，从而使学习向欠探索区域的保守行为偏置，进而提高连续控制任务中安全性与任务性能的强化学习安全探索方法。

原作者： Kaustubh Mani, Yann Pequignot, Vincent Mai, Liam Paull

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaustubh Mani, Yann Pequignot, Vincent Mai, Liam Paull

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走过一个充满隐形陷阱的房间。机器人从未去过那里，所以它不知道陷阱在哪里。这就是人工智能中**安全探索（Safe Exploration）**的核心问题：如何在机器人还在摸索阶段时，教它在学习的过程中不至于意外掉入“陷阱”（灾难性的失败）？

这篇论文介绍了一种名为 SHAPO（锐度感知策略优化，Sharpness-Aware Policy Optimization）的新方法来解决这个问题。以下是该概念的拆解说明，采用了简单的类比。

1. 问题所在：“过度自信”的学生

在标准的 AI 训练中，机器人（即“执行者”）观察目前收集到的数据，然后说：“我认为我知道最好的移动方式。”它根据当前的知识计算出一条路径。

然而，在机器人接触较少的区域（高不确定性区域），它的知识是摇摆不定的。它可能会认为一个危险的悬崖是一条安全的路径，因为它还没看到边缘。标准的训练方法往往过于信任这些不靠谱的估计，导致机器人采取冒险的捷径，最终导致撞车。

2. 解决方案：“多疑”的乐观主义者

SHAPO 通过引入适度的悲观主义改变了机器人的学习方式。它不再问：“我现在能做的最好是多少？”而是问：“如果我对自己的知识理解稍有偏差，最坏的情况会是什么？”

这就像是一个在浓雾中徒步的登山者：

标准 AI： “路径看起来很清晰，所以我跑快点。”
SHAPO： “路径看起来很清晰，但雾很大。如果我判断错了，我可能会掉下悬崖。所以，我会假设地面可能很湿滑，走得慢一点、稳一点。”

3. 它是如何运作的：“不稳的桌子”类比

论文使用了一个叫做**锐度感知优化（Sharpness-Aware Optimization）**的概念。想象一下你正试图把一个球放在山丘顶端平衡。

“尖锐”的山丘： 如果山丘是一个尖锐的山峰，球就会非常不稳定。一个微小的推动（机器人大脑中的微小变化）就会让球迅速滚落。这代表了高不确定性。
“平坦”的山丘： 如果山丘是一个宽阔、平坦的高原，球就是稳定的。你可以推它一下，它依然会留在原地。这代表了低不确定性（你很有信心）。

SHAPO 会观察机器人决策的“地形”。如果机器人在决策过程中处于“尖锐”的地形（即它不确定的地方），SHAPO 会说：“这个决定太冒险了。让我们调整学习方式，变得更保守一些。”

4. 其中的奥秘：“如果……会怎样”的一步

这是算法中聪明的部分，用简单的语言解释如下：

推动（The Nudge）： 在机器人更新大脑之前，SHAPO 会给它当前的设置一个微小的、人为的“推动”，使其向表现更差的方向移动。它会问：“如果我稍微错了一点，情况会变得多糟？”
反应（The Reaction）： 机器人随后根据这个“变差”的情景来计算学习步骤。
结果：
- 如果机器人计划采取一个冒险的行为（一个可能导致撞车的行为），那么“变差”后的情景看起来会非常可怕。这会让机器人进行强烈的大脑更新，以避免未来再次采取该行为。
- 如果机器人计划采取一个安全的行为，那么“变坏”后的情景并不会那么糟糕。机器人进行的更新就会更小、更温和。

简而言之： SHAPO 让机器人格外关注那些罕见的、危险的错误，而忽略那些安全的、平淡的行为。它有效地在说：“不要只学习那些奏效的事；要从那些可能出错的事中深刻学习。”

5. 结果：更好的安全网

论文在各种任务上测试了该方法，比如让机器人通过带有隐藏危险的迷宫，或者让机器人跑步而不摔倒。

结果： 使用 SHAPO 的机器人学习速度更快，而且至关重要的是，与使用标准方法的机器人相比，它们的撞车次数要少得多。
平衡： 它们并没有变得过度谨慎到拒绝移动。它们找到了更好的平衡点：既足够安全以进行探索，又足够自信以完成任务。

总结

SHAPO 就像是 AI 的安全教练。它不是让 AI 在未知领域靠猜测度日，而是迫使 AI 为它考虑的每一个动作都想象出最坏的情况。通过这样做，AI 学会在危险且陌生的区域保持谨慎，同时在安全区域保持高效，从而确保它在准备就绪之前不会先撞车。

技术摘要：SHAPO —— 用于安全探索的锐度感知策略优化

问题陈述

在安全关键领域部署强化学习（RL）智能体需要安全探索，即智能体在避免灾难性失败的同时收集信息丰富的经验的过程。一个根本性的挑战在于训练早期，智能体会访问具有高认知不确定性（epistemic uncertainty，即由于在策略数据稀缺导致的对模型参数的不确定性）的状态。在这些区域，策略预测是不可靠的，探索性动作可能会导致不安全的结果。

虽然先前的研究主要在评论家（Critic）端解决了不确定性问题（例如使用集成、Dropout 或分布方法来量化回报变异性），但在策略更新方面，针对显式考虑**执行者（Actor）**参数不确定性的方法仍存在空白。对于深度在策略（on-policy）强化学习而言，维持一个显式的策略参数后验分布通常是不可行的，这使得实现执行器端的风险厌恶变得困难。因此，标准的策略更新通常依赖于参数点的梯度估计，这在高度不确定的区域可能会表现得过于自信。

方法论：锐度感知策略优化 (SHAPO)

作者提出了 SHAP-O，这是一种将**锐度感知最小化（SAM）*框架（Foret et al., 2020）应用于安全探索背景的策略更新规则。SHAP-O 不再直接优化期望回报，而是寻求一个在当前策略参数的局部邻域内使最差情况*期望回报最大化的策略。

核心机制

SHAP-O 通过在扰动参数而非当前参数处评估梯度来修改标准的策略梯度更新。该更新过程包含两个步骤：

内层最小化（悲观扰动）： 算法在置信区域内（由费舍尔信息矩阵定义）寻找一个扰动 $\epsilon_{Down}$ ，以最小化拉格朗日目标 $L_\lambda^{\pi_0}$ 。这确定了一个在局部邻域内表现比当前策略 $\pi_0$ 更差的“最差情况”策略 $\tilde{\pi}$ 。
外层最大化（更新）： 策略使用在扰动后的参数 $\theta_0 + \epsilon_{Down}$ 处评估的目标函数的梯度进行更新，而非在 $\theta_0$ 处。

理论解释：通过认知不确定性实现悲观主义

论文通过认知不确定性的角度重新解释了这种锐度感知调整：

不确定性建模： 当前策略参数 $\theta_0$ 被建模为一个服从多元正态分布 $N(\theta_0, \frac{1}{n}F^{-1})$ 的随机变量，其中 $F$ 是费舍尔信息矩阵， $n$ 代表有效样本量。
悲观偏差： 扰动 $\epsilon_{Down}$ 对应于落在期望回报分布低尾部（例如 $\alpha$ -分位数）内最可能的参数值。通过基于这个悲观点进行优化，SHAP-O 隐式地对策略梯度进行了重新加权。
梯度重加权： 对简化高斯策略的分析结果表明，SHAP-O 会放大罕见不安全动作（负优势）的梯度幅度，同时削减罕见安全动作（正优势）的梯度。这使学习向保守行为倾斜，有效地惩罚了那些如果当前策略估计稍有偏差就可能导致灾难性后果的行为。

实现

SHAP-O 设计为与各种在策略算法（如 TRPO、PPO、CPO、CRPO）兼容。它利用费舍尔信息矩阵来定义策略的邻域，确保扰动尊重策略流形的几何结构。该方法引入了一个超参数 $\delta_{Down}$ 来控制悲观程度，该参数可以保持恒定，也可以根据收集到的样本数量进行调度。

核心贡献

新型更新规则： 引入 SHAP-O，它将锐度感知优化整合到执行器的策略更新中，以显式处理认知不确定性。
理论洞察： 正式证明了 SHAP-O 的梯度调整等价于在参数不确定性模型下优化一个悲观目标，从而导致一种系统性的梯度重加权，优先考虑不确定区域的安全性。
实证验证： 大量实验表明，SHAP-O 在多个基准算法（TRPO、CPO、PIDLag、CRPO、SauteRL）和环境（Safety Gym、MuJoCo）中扩展了安全-效率帕累托前沿（Pareto frontier）。
消融实验： 证据表明：
- 在 Fisher 度量下定义的扰动优于欧几里得度量。
- 将锐度感知优化应用于**执行器（Actor）**对于安全探索比应用于评论家（Critic）更为关键。
- SHAP-O 降低了重尾情节成本分布（灾难性失败）的频率。

实验结果

作者在 Safety Gym（PointGoal1, PointButton1）和 MuJoCo（Ant-v4, Walker2d-v4）环境中评估了 SHAP-O。

安全与效率： 在所有基准测试中，SHAP-O 一致地提升了安全性（更低的成本/失败率）、任务性能（更高的回报）或两者兼而有之，显著扩展了基准算法的帕累托前沿。
尾部风险降低： SHAP-O 显著抑制了情节成本分布中的重尾现象（例如，降低了 Ant-v4 的第 95 百分位成本），表明减少了罕见的灾难性失败。
鲁棒性： 该方法展示了对超参数选择的鲁棒性，特别是当 $\delta_{Down}$ 被视为可调常数而非基于不确定样本量估计的动态调度值时。
无约束 RL： 在带有终止条件的无约束环境（Ant, Walker2d）中，SHAP-O 减少了过早终止，提高了样本效率。在没有此类尾部风险的环境（HalfCheetah）中，收益有限，证实了该方法专门针对尾部风险场景。

意义与主张

论文声称 SH-APO 通过将重点从仅仅对最终策略施加约束转向塑造更新本身以尊重不确定性，解决了安全探索中的一个关键差距。通过将策略代理的“锐度”（其对参数扰动的敏感性）视为认知不确定性的代理，SHAP-O 创建了一个闭环：

更安全的更新导致更安全的轨迹。
更安全的轨迹在风险区域产生更干净的数据。
更干净的数据减少了认知不确定性。
减少的不确定性随着学习的进行自然地放宽了保守性。

作者将 SHAP-O 定位为现有安全 RL 算法的模块化、正交的改进方案，而非替代品，它通过增强标准在策略更新的安全性和可靠性，且无需复杂的贝叶斯推理或显式的确定性量化模块。