💻 computer science

Safety-Constrained Reinforcement Learning with Post-Training Reachability Verification for Robot Navigation

本文提出了一种安全约束强化学习框架，该框架将训练期间的条件风险价值（CVaR）优化与训练后的神经网络可达性验证相结合，以确保机器人导航的鲁棒性，并证明与仅依赖平均成本指标的方法相比，风险敏感策略能够实现更优越的形式化安全裕度及仿真到现实的迁移效果。

原作者： Qisong He, Xinmiao Huang, Jinwei Hu, Zhuoyun Li, Yi Dong, Changshun Wu, Xiaowei Huang

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qisong He, Xinmiao Huang, Jinwei Hu, Zhuoyun Li, Yi Dong, Changshun Wu, Xiaowei Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一只机器狗穿过拥挤的公园，而不撞到人或树。

问题：“平均”陷阱
大多数现有方法通过观察机器人的“平均”表现来训练它。如果机器人跑了 100 次，只撞到一次树，老师就会说：“干得漂亮！你有 99% 的安全率。”

但关键在于：那一次撞树可能是一场灾难。“平均”分数掩盖了这样一个事实：机器人有时会采取危险、冒险的捷径。这就像一名司机在 99 次行驶中表现完美，却在第 100 次危险超速。如果你只看平均速度，就会忽略危险。

解决方案：两部分安全系统
本文作者将其系统称为VIA，并提出了一种更智能的训练和检查机器人的方法。他们采用两步流程：

第一步：以“最坏情况”思维进行训练

他们不只是教机器人在平均意义上保持安全，而是教它畏惧最坏情况。

类比：想象一名学生正在备考。
- 旧方法：老师说：“你上次 10 次测验的平均分是 90%。你准备好了。”
- VIA 方法：老师说：“你平均分是 90%，但你在最近三次测验中最难的题目上都失败了。你需要专门针对这些难题进行学习，以确保你永远不会再在这些题目上失败。”
工作原理：机器人使用一个名为CVaR（条件风险价值）的数学概念进行训练。这迫使机器人关注分布的“尾部”——即那些罕见却令人恐惧的出错时刻。它学会格外谨慎，避免甚至只是发生碰撞的可能性，而不仅仅是平均碰撞率。

第二步：“安全网”检查（可达性验证）

在机器人训练完成后，作者并不仅仅信任训练分数。在让机器人进入现实世界之前，他们会进行严格的数学“压力测试”。

类比：将机器人的决策过程想象成一束手电筒光。
- 当机器人看到一棵树时，其传感器可能略有模糊（噪声）。
- 普通机器人可能会说：“树可能在那里”，然后猜测一条路径。
- VIA 机器人则计算一个“可达集”。这就像围绕机器人可能采取的每一条路径（如果其传感器略有偏差）画出一个厚厚的、模糊的管状区域。
- 检查：系统会问：“整个这个模糊管状区域是否撞到了树？”
- 如果答案是“是的，即使管状区域的边缘碰到了树”，那么该机器人就会被标记为不安全，即使路径的“中心”看起来没问题。

他们的发现

研究人员先在模拟环境中对机器人进行了测试，然后在实验室中对真实机器人（Clearpath Jackal）进行了测试。

更高的安全性：与采用传统方法训练的机器人相比，VIA 机器人的碰撞频率要低得多。
“平均”谎言：他们发现，一些机器人拥有出色的“平均”分数，但未能通过安全网检查。它们在纸面上看起来是安全的，但一旦考虑到传感器模糊性，实际上却存在风险。
现实世界的成功：当他们将训练好的机器人部署到真实房间中的真实机器人上时，它依然表现良好。“安全网”检查证明，即使存在现实世界的传感器噪声，该机器人也能保持安全。

简而言之
这篇论文认为，要使机器人真正安全，不能仅仅关注其平均表现。你必须训练它们尊重最坏情况，然后通过数学证明，即使它们的传感器略有偏差，也绝不会意外撞到任何东西。VIA 同时做到了这两点，创造出的机器人不仅仅是“通常”安全，而是“可证明”安全。

技术摘要：面向机器人导航的具有后训练可达性验证的安全约束强化学习

1. 问题表述

本文解决了在杂乱环境中部署自主移动机器人所面临的关键挑战，即感知不确定性（例如传感器噪声）可能导致灾难性故障。作者指出，依赖平均累积成本的标准强化学习（RL）安全指标是不够的，因为它们掩盖了“尾部风险”行为——即尽管平均成本较低，但策略仍可能发生碰撞的罕见但后果严重的事件。

该问题被形式化为一个约束马尔可夫决策过程（CMDP）。与传统的约束期望累积成本 $E[C_\pi] \leq b$ 的 CMDP 不同，本文寻求一个策略 $\pi$ ，在最大化期望回报的同时满足**条件风险价值（CVaR）**约束：
$\max_{\pi} J_R(\pi) \quad \text{s.t.} \quad \text{CVaR}_\alpha(C_\pi) \leq b$
其中， $\text{CVaR}_\alpha$ 代表最坏 $(1-\alpha)$ 比例 episodes 中的期望成本，明确针对成本分布的尾部而非均值。

此外，本文指出了统计训练保证与形式化安全验证之间的差距。具有有利 CVaR 统计数据的策略仍可能在有界观测不确定性下产生不安全动作。因此，目标是将风险敏感训练与后训练神经网络可达性验证相结合，以确保即使输入受到扰动，策略的动作输出仍保持在安全裕度内。

2. 方法论：VIA 框架

提出的框架 VIA（面向自主导航的验证知情安全强化学习）在两个不同的阶段运行：

第一阶段：CVaR 约束的离线策略训练

作者调整了 TD3（双延迟 DDPG）离线策略算法以优化 CVaR 约束。关键技术组件包括：

状态增强：为了在离线策略设置中估计 CVaR，状态空间通过动态成本预算变量 $e_t$ 进行增强。增强后的状态为 $\bar{s}_t = (s_t, e_t)$ ，其中 $e_t$ 跟踪累积成本历史，使评论家能够区分在不同成本历史下到达的状态。
分布成本评论家：成本评论家 $Q^C_\phi$ 不估计单个期望成本值，而是输出累积成本分布的 $M$ 个分位数。为了防止“交叉问题”（即预测的分位数违反单调性），采用了一种涉及累积 softmax 求和的特定参数化方法的非交叉分位数 Logit 网络。
自适应 VaR 更新：离线策略 CVaR 优化的一个关键挑战是在没有在线策略评估的情况下跟踪风险价值（VaR）分位数阈值。作者引入了一种基于回放缓冲区中成本经验超出概率的无梯度更新规则来更新 VaR 参数 $u$ ，确保稳定收敛至目标分位数。
拉格朗日优化：策略使用 CVaR 约束目标的拉格朗日松弛进行优化。演员损失结合了任务回报评论家和估计的 CVaR 成本，由拉格朗日乘子 $\lambda$ 加权，该乘子根据经验约束松弛度进行更新。

第二阶段：后训练可达性验证

训练后，框架使用 POLAR（用于可达性的多项式算术）进行形式化安全评估，该工具结合了泰勒模型（TM）算术与伯恩斯坦多项式插值。

可达性分析：给定有界观测不确定性 $\epsilon$ ，该方法将 TM 通过训练好的神经网络传播，以计算保证的动作可达集 $A(s, \epsilon)$ 。该集合代表了在给定输入不确定性下策略可能输出的所有可能动作。
安全率指标：作者定义了一个安全率指标。对于给定状态，他们从可达集边界（包括端点和中点）采样动作并模拟机器人运动。如果所有采样的动作都导致无碰撞轨迹，则该状态被“验证为安全”。安全率是满足此条件的评估状态的比例。
集成：本文认为，CVaR 约束训练自然地将策略塑造成保守的、紧密边界的动作分布，使得生成的可达集比基于期望的基线更小，更易于进行形式化验证。

3. 主要贡献

CVaR 约束的 TD3 框架：设计了一个离线策略 CVaR 优化框架，其特点包括具有非交叉分位数回归的分布成本评论家以及用于稳定分位数收敛的自适应 VaR 更新机制。
验证知情的安全指标：开发了一个结合 POLAR 可达性分析与分层安全边界的安全验证框架，引入了安全率指标以量化在有界观测不确定性下的策略鲁棒性。
实证验证：在十个导航场景和六个基线模型中进行了全面的仿真验证，并在物理 Clearpath Jackal 机器人上成功实现了仿真到现实的迁移。

4. 实验结果

实验在 Gazebo 仿真（10m $\times$ 10m 带有障碍物的竞技场）和物理机器人上进行。

性能与基线对比：在所有比较方法（包括 TD3、SAC-Lagrangian、RCPO、WCSAC 和 CVaR-CPO）中，VIA 实现了最高的成功率（98.3%）和最低的碰撞率（1.7%）。
指标的分歧：一个关键发现是平均成本排名与基于可达性的安全排名之间的分歧。例如，RCPO 实现了最低的平均成本（1.17），但其安全率（成功 episodes 为 98.5%）低于 VIA（99.6%）。这表明平均成本指标可能会遗漏形式化验证所捕捉到的潜在风险。
$\alpha$ 的影响：消融研究表明，增加 CVaR 置信水平 $\alpha$ （关注更极端的尾部）提高了成功率和安全指标，其中 $\alpha=0.9$ 产生了最保守和最稳健的性能。
仿真到现实的迁移：当部署在 Clearpath Jackal 机器人上时，由于物理噪声和延迟，成功率下降至 90.0%，但总体安全率与仿真结果几乎相同（99.2% 对比 99.1%），证实了该策略在现实世界中保持了经过验证的安全裕度。

5. 意义与主张

本文主张，可达性验证捕捉了仅靠经验成本指标所遗漏的风险。通过将风险敏感训练（CVaR）与形式化后训练验证相结合，作者证明了策略不仅可以训练为在平均意义上安全，而且可以在不确定性下保持安全裕度。

作者指出，这项工作首次将 CVaR 约束策略优化与专门针对机器人导航的神经网络可达性验证相结合。他们强调，虽然形式化验证计算成本高昂且通常局限于低维或小型网络，但他们的方法使用轻量级架构来实现这种集成。

本文结论较为谦逊，承认依赖泰勒模型算术限制了可验证策略网络的复杂性。未来的工作被确定为探索 GPU 加速的可达性方法，并将验证信号直接集成到训练循环中，以实现闭环安全优化。