技术摘要：部分可观测性下安全关键控制的动作条件风险门控

1. 问题陈述

许多现实世界的控制问题既是安全关键的，又是部分可观测的（POMDP）。在这些场景中，智能体必须基于不完整的观测（例如，噪声传感器、隐藏的环境动力学）做出决策，同时需要在任务性能与罕见但灾难性失败的风险之间取得平衡。示例包括自动化血糖调节（其中餐食吸收和胰岛素动力学是隐变量）以及安全约束导航（其中潜在扰动可能使看似安全的动作变得危险）。

虽然**部分可观测马尔可夫决策过程（POMDP）**框架通过维护潜在变量的信念状态提供了一种原则性方法，但它在安全关键领域的部署面临重大挑战：

• 计算成本：在连续、高维设置中，在线信念空间规划通常难以处理。
• 模型依赖性：准确的信念更新需要精确的转移和观测模型，而这些模型往往不可用。
• 信息开销：完整的信念状态可能包含控制器安全决策所不需要的过多信息，因为安全决策主要由短视界约束主导。

该论文认为，对于此类任务，显式维护完整的潜在状态信念可能是不必要的。相反，关键的决策问题通常更狭窄："候选动作是否可能导致近期安全违规？"

2. 方法论：动作条件风险门控

作者提出了一种轻量级、风险门控的强化学习（RL）框架，避免了显式的信念更新。该方法依赖于两个核心组件：紧凑的依赖历史代理状态和动作条件的近期危害预测器。

2.1 代理状态构建

控制器不维护信念状态 $b_t = P(s_t | H_t)$，而是将最近 $W$ 步的历史压缩为一个代理状态 $o_t$：
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
其中 $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$ 代表最近的观测和动作窗口。该代理状态作为风险预测和价值学习的输入。

2.2 动作条件风险预测

对于每个候选动作 $a \in \mathcal{A}$，控制器学习一个预测器 $\hat{\rho}(o_t, a)$，用于估计短期内的安全违规概率：
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
关键在于，该风险是针对每个候选动作分别计算的。这使得控制器能够区分看似安全的动作和那些即使在相同部分观测下也会引发近期危害的动作。

2.3 风险门控价值估计

该框架利用$M$个评论家（critics）集成 $\{Q_m(o, a)\}$ 来提供乐观（$Q^+$）和保守（$Q^-$）的价值估计。预测的风险 $\hat{\rho}$ 用于在这些估计之间进行插值，从而创建风险感知价值函数 $Q_{gate}$：
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• 低风险：当 $\hat{\rho}$ 较小时，$Q_{gate}$ 接近 $Q^+$，鼓励寻求奖励的行为。
• 高风险：当 $\hat{\rho}$ 较大时，$Q_{gate}$ 转向 $Q^-$，抑制具有不确定或潜在不安全回报的动作。

2.4 策略选择与训练

在决策时刻，控制器基于用户指定的风险阈值 $R_{max}$ 应用硬性可接受性过滤器：

1. 构建安全动作集：$A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$。
2. 如果 $A_{safe}$ 非空，选择最大化 $Q_{gate}$ 的动作。
3. 如果 $A_{safe}$ 为空，则回退到选择预测风险最小的动作。

在训练期间，风险预测器和评论家集成被联合更新。评论家的奖励信号被塑形以包含风险惩罚（$\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$），确保价值函数同时反映任务性能和安全性负担。

3. 主要贡献

该论文做出了三项主要贡献：

1. 新颖框架：一种针对 POMDP 的安全关键控制框架，用紧凑的依赖历史代理状态和动作条件的近期危害估计取代了显式的信念更新。
2. 风险门控动作评估：一种决策时刻规则，利用预测的危害在乐观和保守的集成价值估计之间进行插值，允许控制器根据每个候选动作的具体风险动态调整其保守程度。
3. 实证验证：在两个不同领域（血糖调节和导航）的演示表明，与基于信念的规划和标准安全 RL 基线相比，该设计在任务性能、安全性和计算效率之间实现了有利的平衡。

4. 实验结果

该方法在两个安全关键的部分可观测领域进行了评估：

4.1 自动化血糖调节（UVa/Padova 模拟器）

• 设置：在成人和青少年队列上进行了测试，针对餐食吸收和胰岛素动力学存在部分可观测性。
• 性能：所提出的方法（RiskGated）在两个队列中均实现了最高的范围内时间（TIR）（成人为 82.0%，青少年为 71.6%），优于 PPO、Safe-PPO 和 POMDP 基线。
• 安全性：它保持了具有竞争力的低血糖和高血糖指标，避免了其他方法中看到的权衡（例如，Safe-PPO 减少了低血糖但增加了高血糖）。
• 效率：与 POMDP 规划相比，它大幅减少了计算运行时间（例如，将成人的总运行时间从约 1351 秒减少到约 144 秒），并将每步延迟从约 62 毫秒减少到约 4.4 毫秒。

4.2 SafetyGym 导航

• 设置：在 SafetyPointGoal1 和 SafetyPointCircle1 基准上进行了评估。
• 性能：RiskGated 在所有方法中实现了最佳的单位成本奖励比。
• 权衡：与无约束的 PPO 相比，它显著降低了平均安全成本（例如，Goal1 上为 36.93 对 109.87），同时保持了非平凡的奖励，避免了某些受约束的安全 RL 方法中观察到的“奖励崩溃”。

4.3 消融与分析

• 风险预测：学习到的预测器显示出与事后实现的真实风险高度一致（相关性 0.9982），并且在阈值跨越上具有高度一致性（98.12%）。
• 敏感性：该方法在代理窗口长度（$W$）和集成大小（$M$）的变化下保持稳定。风险阈值（$R_{max}$）充当了安全 - 性能权衡的可调旋钮。

5. 意义与主张

该论文主张，当完整的信念空间规划不可行时，动作条件的近期风险可以作为近似风险敏感控制的有效局部信号。

• 实用替代方案：该方法在经典 POMDP 规划（计算昂贵且依赖模型）和标准安全 RL（通常假设完全状态可观测性）之间提供了一个“轻量级的中间地带”。
• 面向决策的近似：该方法不试图重建潜在状态的完整后验分布，而是专注于与即时安全相关的具体量：特定动作发生近期违规的概率。
• 可扩展性：通过避免递归信念更新，该方法扩展到信念空间规划不可处理的领域，同时通过风险门控过滤机制提供安全保证。

作者得出结论，虽然代理表示和危害特征仍然部分特定于领域，但该框架表明，如果控制器能够从近期历史中准确估计动作条件的近期危害，那么显式的信念维护对于有效的安全关键控制并非绝对必要。