技术摘要：在可证明安全的强化学习中利用解析梯度

问题陈述

自主机器人在安全关键应用中的部署需要严格的安全保障。虽然强化学习（RL）在不确定、高维环境中往往优于经典控制方法，但它缺乏内在的安全保证。当在模拟环境中训练智能体以用于现实世界部署时（即“仿真到现实”的差距），会出现一个关键挑战。如果训练过程缺乏安全保障，智能体可能会收敛到依赖不安全状态或动作的策略。当随后在部署阶段应用安全保障时，它可能会将策略限制在次优区域，或者在非凸目标景观中导致失败，因为智能体从未学习过其他安全的解决方案。

虽然针对基于采样的强化学习（如 PPO、SAC）存在多种安全保障方法，这些方法依赖于策略梯度定理，但针对基于解析梯度的强化学习却缺乏安全保障机制。这些解析方法（例如短视界演员 - 评论家，SHAC）利用可微模拟器，通过反向传播计算奖励相对于动作的精确一阶梯度。现有的安全保障通常被设计为基于采样方法的后期处理步骤，无法直接应用于基于解析梯度的范式，因为它们可能会破坏反向传播所需的可微计算图，或者无法为策略优化提供必要的梯度信号。

方法论

作者提出了一种利用解析梯度进行可证明安全策略优化的框架。核心方法是在策略输出与环境动力学之间集成了一个可微的安全保障层。

1. 框架与可微性

该框架将安全保障视为一个可微映射 $g: \mathcal{A} \to \mathcal{A}_s$，其中 $\mathcal{A}$ 是可行动作空间，$\mathcal{A}_s$ 是安全动作集。策略 $\pi$ 输出动作 $a_i$，该动作被转换为安全动作 $a_{s,i} = g(a_i)$。随后环境转移到 $s_{i+1}$ 并产生奖励 $r_i$。为了训练策略，通过整个链（包括安全保障）的反向传播计算奖励相对于策略参数的梯度：
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
这要求安全保障是次可微的（理想情况下是 $C^1$ 类），并提供满秩雅可比矩阵，以避免削弱学习信号。

2. 安全动作集与表示

作者利用**zonotopes（zonotope，一种中心对称的多面体）**来表示安全集，因为它们具有紧凑性且在线性映射下封闭。他们区分了：

• 指定安全动作集：直接定义的约束。
• 派生安全动作集：通过可达性分析（例如鲁棒控制不变集）计算得出，以确保执行动作能使系统保持在安全状态集 $S_s$ 内。

3. 安全保障机制与修改

本文分析并调整了两种现有的可微安全保障方法：

• 边界投影（BP）：将不安全动作映射到安全集边界上最近的点。

  • 问题：它并非处处 $C^1$ 连续，且在投影方向上具有秩亏缺的雅可比矩阵，实际上消除了平行于投影方向的动作的梯度。
  • 修改：作者向损失函数引入了正则化项（$l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$）。这增强了映射方向的梯度，补偿了秩亏缺，并鼓励策略偏好安全动作。

• 射线掩码（RM）：将动作沿径向映射到安全集内的“安全中心”$c_{As}$。

  • 问题：标准的线性射线掩码会显著改变安全动作，并且在映射方向上梯度减弱。
  • 修改：
    1. 正则化：与 BP 类似，用于向安全方向微调。
    2. 直通（Passthrough）：用单位矩阵替换雅可比矩阵，以实现更快的计算和无阻碍的梯度传播（仅当已知最优动作是安全时才有效）。
    3. 双曲射线掩码（HRM）：一种新的映射函数，使用双曲正切（$\tanh$）将靠近边界的不安全动作映射过去，同时最小化对安全动作的扰动。这保持了满秩雅可比矩阵和平滑映射。

4. 安全中心近似

对于未明确定义中心的派生安全动作集，本文提出了两种近似方法：

• Zonotopic 近似：最大化包含在内的 zonotope 的体积。
• 正交近似：垂直于边界穿透安全集并取中点。
  实验表明，由于其连续映射特性，zonotopic 方法在收敛性和最终策略方面表现更优。

主要贡献

1. 首个可证明安全的解析梯度 RL：本文提出了首个专门针对基于解析梯度的强化学习设计的有效安全保障方法。
2. 理论分析：对可微安全保障进行了深入分析，确定了所需属性（安全性、次可微性、满秩雅可比矩阵、最小干预、速度），并展示了现有方法在未修改的情况下如何无法满足这些要求。
3. 算法调整：开发了针对性的修改，包括用于边界投影的正则化损失函数和新型双曲射线掩码，以确保有效的梯度传播。
4. 实证评估：在三个控制任务（倒立摆、四旋翼飞行器和能源管理）中进行了全面评估，比较了在非安全和有保障训练条件下，基于解析梯度的方法（SHAC）与基于采样的基线（PPO、SAC）的表现。

结果

作者使用 SHAC 算法在三个环境中与 PPO 和 SAC 基线进行了评估：

• 样本效率：在平衡任务（倒立摆、四旋翼飞行器）中，有保障的解析梯度学习（SHAC）以比基于采样的方法更少的环境交互次数，实现了更优或相当的最终回报。
• 性能保持：与担心安全保障会降低性能相反，修改后的安全保障（特别是正则化 BP 和 HRM）使 SHAC 在平衡任务中实现了与不安全训练相当甚至更高的回报。
• 能源系统任务：在能源管理任务（以高噪声为特征）中，SHAC 在不安全设置下最初表现不如 PPO。然而，在有保障的训练中，SHAC 显示出显著改进，缩小了与 PPO 的性能差距。作者将此归因于噪声环境中梯度减弱带来的稳定效应。
• 收敛性：引入正则化显著减少了未收敛运行的数量，特别是在一维倒立摆任务中，此前梯度损失曾导致边界投影无法收敛。
• 计算开销：安全保障引入了计算成本。与不安全训练相比，边界投影使训练时间增加了约 5 倍，射线掩码增加了近 10 倍，这主要是由于安全集约束所需的优化求解器（CVXPY）所致。

意义与主张

本文声称通过为高性能的基于解析梯度的范式启用可证明安全的训练，填补了安全强化学习中的一个关键空白。作者断言：

• 只要安全保障是可微的且梯度得以保留，就可以直接将安全保障集成到基于解析梯度的 RL 的训练循环中，而不会损害性能。
• 提出的修改（正则化和双曲映射）对于克服现有安全保障直接应用时固有的秩亏缺和梯度抑制问题至关重要。
• 这种方法通过确保智能体在模拟过程中学习安全行为，促进了“仿真到现实”的迁移，从而降低了在安全关键的现实世界场景中部署时失败的风险。

该研究得出结论，尽管计算开销仍然是一个挑战，但通过能够训练具有形式化安全保证的智能体，这种权衡是合理的，从而释放了基于解析梯度的强化学习在安全关键机器人领域应用的潜力。