🤖 machine learning

Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

本文提出了一种名为 Dyna-SAuR 的新型强化学习算法，该算法利用一个学习到的不确定性感知动力学模型，同时训练可扩展的安全过滤器与控制策略，与最先进的方法相比，显著降低了高维系统中的训练失败率。

原作者： Artur Eisele, Bernd Frauenknecht, Friedrich Solowjow, Sebastian Trimpe

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Artur Eisele, Bernd Frauenknecht, Friedrich Solowjow, Sebastian Trimpe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Dyna-Style Safety Augmented Reinforcement Learning》的通俗解释，辅以生动的类比。

核心难题：学会行走而不跌倒

想象你正在教机器人走路。在强化学习（RL）的世界里，机器人通过尝试来学习。它迈出一脚，跌倒，受到“惩罚”，站起来，然后尝试另一种方式。

问题在于，在现实世界中，“跌倒”可能意味着摔断腿或撞毁汽车。你不能让机器人为了学会开车而真实地撞毁一千次汽车。

现有的安全方法往往走向两个极端：

“希望”策略：机器人试图小心行事，但这只是猜测。它仍可能撞毁。
“专家”策略：人类专家为每种可能的情况编写严格的规则手册。这对简单事物行之有效，但对于复杂的高维系统（例如拥有 17 个活动部件的机器人）却是不可能的，因为人类无法为所有情况编写规则。

解决方案：Dyna-SAuR

作者提出了一种名为Dyna-SAuR的新方法。可以将其想象为一个三人训练团队，他们在循环中协同工作：

梦想家（模型）：一个基于少量真实数据学习“梦境世界”的计算机程序。它模拟机器人移动时会发生什么。
安全教练（过滤器）：一个智能守卫，监视机器人的动作。它的任务是在危险发生之前阻止机器人做任何危险的事情。
运动员（控制策略）：实际的机器人“大脑”，负责学习如何行走或快速驾驶。

工作原理：“安全游乐场”循环

Dyna-SAuR 的魔力在于这三个部分如何相互沟通。以下是逐步过程：

第一步：梦想家绘制地图。
系统从极少量的真实数据开始（例如机器人行走的几秒钟）。 “梦想家”利用这些数据构建一个世界模拟。但这里有个关键：梦想家知道它何时在猜测。如果机器人移动到一个梦想家从未见过的奇怪位置，梦想家会说：“我不确定这里会发生什么。”

第二步：安全教练画出围栏。
“安全教练”查看梦想家的地图。它围绕两件事画出围栏：

危险区域：机器人会跌倒或损坏的地方。
不确定区域：梦想家感到困惑、不知道规则的地方。

教练告诉运动员：“你只能在这个围栏内奔跑。如果你试图出去，我会物理上阻止你。”

第三步：运动员学习奔跑。
运动员试图尽可能快地奔跑，但被迫待在围栏内。因为围栏是安全的，运动员可以在不撞毁的情况下进行练习。

第四步：循环变得更聪明。
每当运动员在围栏内安全奔跑时，它都会收集新数据。这些新数据被反馈给梦想家。

梦想家利用这些新信息更新其地图。
因为地图现在更准确了，“不确定区域”会缩小。
安全教练看到地图变好了，于是将围栏向外移动，给运动员更多的探索空间。

结果：机器人在学习变强的同时学会了安全。随着机器人变得更聪明，安全围栏也会变大，允许它在不撞毁的情况下应对更困难的任务。

秘密武器：“超平面”技巧

该论文的技术突破之一在于安全教练如何决定阻挡什么。

想象机器人的控制是一个可以在多个方向移动的操纵杆。安全教练需要画一条线（一个“超平面”）来说明：“你可以朝这个方向推操纵杆，但不能朝那个方向。”

以前的方法试图通过猜测数字来学习这条线，这就像试图通过随机向墙上扔飞镖来画一条直线。既混乱又缓慢。

作者发明了一种描述这条线的新方法。他们不再猜测数字，而是将这条线视为指南针指针。

指针的方向告诉机器人哪个方向是安全的。
指针的长度告诉机器人规则有多严格。

这使得学习过程更快、更高效，就像从用颤抖的手画画切换到使用尺子一样。

他们证明了什么

团队在两项任务上测试了该方法：

CartPole：一个经典游戏，你需要在移动的小车上平衡一根杆子。
MuJoCo Walker：一个复杂的、拥有 17 个关节的机器人，必须向前行走。

结果：

安全性：与现有最佳方法相比，Dyna-SAuR 将训练期间的“撞毁”（失败）次数减少了100 倍（两个数量级）。
性能：机器人学会行走的效果与其他安全方法一样好，甚至更好。
可扩展性：即使在其他方法难以应对的复杂高维 Walker 机器人上，它也能很好地工作。

总结

Dyna-SAuR 就像机器人带着模拟器和严格的驾驶教练学习开车。

模拟器随着机器人驾驶而学习交通规则。
教练阻止机器人撞墙或驶入迷雾（不确定性）。
随着模拟器变得更好，教练让机器人在更宽阔的道路上行驶。

这使得机器人能够安全地学习复杂技能，而无需人类专家为每一种具体情况编写规则手册。

以下是论文《Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty》（Dyna-SAuR）的详细技术总结。

1. 问题陈述

强化学习（RL）面临一个关键挑战：训练过程中的安全探索。由于存在灾难性故障的风险，直接在物理硬件上进行学习通常不切实际。现有方法通常分为两类，但均存在显著局限性：

软约束（例如：约束马尔可夫决策过程）： 这些方法仅能保证期望层面的安全，无法对单次故障提供硬性保障。
来自控制理论的安全过滤器： 控制障碍函数（CBFs）或汉密尔顿 - 雅可比可达性等方法能提供硬性安全保证，但需要大量的领域知识（例如：已知动力学、不变集），且难以扩展到高维系统。
基于学习的过滤器： 近期尝试通过 RL 学习安全过滤器的方法，往往依赖模拟器，或无法有效扩展到具有未知动力学的复杂、高维环境。

核心问题在于开发一种可扩展的、数据驱动的方法，能够同时学习安全过滤器和控制策略，仅需极少的领域知识（仅需定义“故障”和初始数据），同时保证在训练过程中的安全性。

2. 方法论：Dyna-SAuR

作者提出了Dyna-SAuR（Dyna-style Safety Augmented Reinforcement Learning，Dyna 风格安全增强强化学习），这是一个基于模型的强化学习（MBRL）框架，利用不确定性感知动力学模型迭代地学习控制策略和安全过滤器。

核心架构

该算法在一个迭代循环（算法 1）中运行，包含三个主要阶段：

模型学习： 基于收集的数据训练一个概率集成动力学模型（ $\hat{p}$ ）。该模型利用集成不一致性来捕捉认知不确定性（因数据缺乏而产生的不确定性）。
安全过滤器学习： 过滤器策略（ $\mu$ ）仅在学到的模型上进行训练。该过滤器将控制策略的动作投影到“可行”集合中，以避免故障和模型高不确定性区域。
控制策略学习： 控制策略（ $\pi$ ）利用真实环境交互和基于模型的推演进行训练，并经过当前安全过滤器 $\mu$ 的过滤。收集新数据以细化动力学模型，从而为下一次迭代扩展“确定”的安全区域。

关键技术革新

A. 不确定性感知模型中的可行性
本文将可行性理论的概念扩展到 MBRL 中。系统不仅要避免故障状态（ $S_F$ ），还必须避免模型不确定的状态。

**确定安全集（$SS(E) $）：** 状态安全*且*模型预测熵低于阈值（$ \lambda_1$）的状态 - 动作对集合。
确定可行性核（ $S_V(E)$ ）： 存在某种策略能在有限范围内以高概率将系统保持在 $SS(E)$ 内的状态集合。
过滤器被训练为将动作投影到保持在该核内的策略集合中。

B. 高效的过滤器动作空间公式化
主要贡献之一是对安全过滤器进行了重新参数化。以往的方法直接学习超平面参数（ $w, b$ ），导致搜索空间无界且过参数化。

单位超球动作空间（ $U$ ）： 过滤器策略 $\mu$ 输出单位超球内的向量 $u$ （ $0 < \|u\|_2 \leq 1$ ）。
双射变换（ $h$ ）： 确定性函数将 $u$ $u$ 映射到超平面参数 $(w, b)$ $(w, b)$ ：
- $w = u / \|u\|_2$ （法向量方向）
- $b = (2\|u\|_2 - 1)\|w\|_1$ （偏移量）
意义： 这确保了超平面始终与有界动作空间 $A = [-1, 1]^{n_A}$ 相交。范数 $\|u\|_2$ 充当“限制程度”旋钮：接近 0 的值表示宽松，接近 1 的值表示严格。这为 RL 代理创造了一个紧凑、有界的搜索空间。

C. 奖励塑形与数据分布
为了在不发生现实世界故障的情况下有效训练过滤器：

奖励函数： 如果下一状态保持在 $SS(E) $内，过滤器获得$ +1 $奖励；如果离开，则获得巨大的负惩罚（$ -1/(1-\gamma)$），这有效地编码了“故障时间”。
目标： 最大化预期故障时间，同时最小化过滤器动作的范数（ $\|u\|_2$ ），以避免过于保守的行为。
数据塑形： 过滤器训练的起始状态分布是以下三者的混合：
1. 初始环境数据。
2. 靠近故障区域的状态（以学习如何恢复/避免）。
3. 具有高控制回报的状态（以确保过滤器不会阻碍最优性能）。

3. 主要贡献

新颖算法： Dyna-SAuR 是首个可扩展的方法，能够利用最少的领域知识（仅需故障集和初始数据）为多样化的、高维系统学习基于可行性的安全过滤器。
紧凑的 RL 公式化： 它将安全过滤器学习表述为标准 RL 问题，并采用新颖的双射动作空间参数化，解决了以往超平面学习方法的扩展性问题。
不确定性感知可行性： 它将模型不确定性直接整合到可行性核中，使系统能够安全地探索并扩展对环境知识的认知。
迭代改进： 该框架建立了一个正向反馈循环：更好的模型降低了不确定性，允许安全过滤器变得不那么保守，从而促成更优的控制策略。

4. 实验结果

该方法在两个任务上进行了评估：

目标到达 CartPole： 一个具有位置和角度约束的低维任务。
MuJoCo Walker： 一个具有躯干约束的高维（17 个状态，6 个动作）双足行走任务。

性能指标：

安全性： 与最先进的安全 RL 方法（PPO-Lagrangian, DH-RL）相比，Dyna-SAuR 将训练期间的故障减少了2 个数量级（100 倍）。
控制性能： 其控制性能（回报）与现有安全 RL 方法相当或更优。
可扩展性： 该方法成功扩展到了高维 Walker 环境，而其他过滤器学习方法则难以应对。
消融研究： 移除新颖的动作空间公式化或数据塑形启发式方法会导致性能显著下降或无法学习到有效的过滤器，验证了设计选择的有效性。

5. 意义

Dyna-SAuR 代表了迈向现实世界机器人实用安全 RL的重要一步。

弥合差距： 它弥合了严谨的控制理论（可行性）与数据驱动学习之间的差距，消除了对手工构建模型或大量领域专家知识的依赖。
硬件适用性： 通过将训练期间的故障减少几个数量级，使得直接在物理硬件上训练 RL 代理（或仅需极少的仿真到现实迁移）变得更为可行。
可扩展性： 提出的动作空间参数化和不确定性感知方法，为将安全 RL 扩展到传统方法失效的复杂、高维系统提供了蓝图。

总之，Dyna-SAuR 提供了一个稳健的、数据驱动的框架，通过学习它不知道什么（不确定性）和它不能做什么（故障）来学会“保持安全”，并随着学习过程动态扩展安全运行包络。