⚡ electrical engineering

Deep Reinforcement Learning for Reach-Avoid-Stay Problems

本文提出了一种两阶段深度强化学习框架，该框架共同学习最大鲁棒的“到达-规避-停留”（Reach-Avoid-Stay）集合及相应的切换控制策略，证明了在有界扰动下，与现有方法相比，该框架在确保系统安全到达并保持在目标集合内方面具有更高的准确性和性能。

原作者： Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

发布于 2026-09-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在机器人技术和自主机器人的世界中，安全不仅仅是避免碰撞；它关乎于精确了解一台机器可以去哪里，以及更重要的，它必须在哪里停下。想象一辆自动驾驶汽车或一架送货无人机正在繁忙的城市中穿行。工程师们使用数学工具来绘制“安全区域”的图谱，以确保如果机器从某个特定位置出发，它能够到达目的地而不撞到任何东西。然而，这些安全地图的一个常见缺陷在于，它们通常只告诉机器如何到达目标，却未能告诉它如何留在那里。车辆可能会到达停车位，但由于风力或突然的速度变化，可能无法减速到足以保持停驻的状态，从而导致其漂出安全区并陷入危险之中。这种“到达”与“停留”之间的差距，长期以来一直是计算机科学家试图让机器在不可预测的环境中实现真正可靠运行时面临的一个难题。

为了解决这个问题，来自北卡罗来纳州立大学和德克萨斯大学奥斯汀分校的研究团队开发了一种新方法，教导机器如何到达目标并在任何干扰下守住阵地。他们专注于一个被称为“到达-规避-停留”（reach-avoid-stay）的具体挑战。简单来说，这个问题是在问：从哪些起点出发，机器可以安全地到达目标、避开所有障碍物，并且即使在风吹或路面湿滑的情况下，也能永远留在该目标区域内？以往的方法之所以难以应对，是因为它们要么依赖于难以为复杂机器设计的复杂数学设计，要么基于不切实际的假设（例如假设车辆可以瞬间停止）。研究人员提出了一种使用被称为“深度强化学习”的 AI 技术进行的两步学习过程，在这种学习中，计算机通过在模拟世界中的试错来学习。

该团队的方法运作起来就像一段两阶段的旅程。首先，计算机学习识别目标区域内的一个特殊内部区域。这个内部区域是机器无论面临何种干扰都能永远安全停留的地方。研究人员称之为“鲁棒可行性核”（robust viability kernel）。为了找到它，AI 会学习一种策略（即一套规则），使机器的运动方式始终不会让其漂出这个安全的内圈。一旦计算机掌握了这种“停留”行为，它就会进入第二步。在这里，它学习如何尽可能快地将机器从任何起点引导至该安全内圈，同时在此过程中避开所有障碍物。研究人员在数学上证明，如果一台机器能够到达这个内圈并停留在那里，它就成功完成了整个任务。通过将这两种学习到的行为结合成一个单一的切换系统，机器便能明确知道何时应该驶向目标，以及何时应该切换到保持原地不动的模式。

研究人员在多种不同的场景中测试了这种方法，范围从简单的二维轨道小车到复杂的、高维度的垂直起降飞行出租车在城市中飞行的模拟，再到拖拉机从移动的联合收割机中卸载农作物的模拟。在简单小车的案例中，他们将这种新方法与一种使用复杂数学函数的老技术进行了对比。他们的新方法识别出的安全起始区域比老方法找到的区域大了近十五倍，这意味着它允许机器从更多位置出发而不会面临失败风险。在涉及飞行出租车和拖拉机的更复杂的模拟中，该新方法即便在学习过程中包含典型的计算机训练误差时，仍能以超过 95% 的准确率识别出安全起始区域。

结果显示，使用旧方法训练的机器与使用这种全新两步框架训练的机器之间存在显著差异。在对飞行出租车的测试中，仅关注如何到达目标的旧有的“到达-规避”方法在执行“停留”任务时完全失败，成功率为零。相比之下，新方法成功率达到了 93%。同样，在拖拉机场景中，新方法成功率为 99.3%，而旧方法仅为 73.5%。研究人员发现，旧方法往往会将机器以全速驶入目标区域，导致其没有办法减速并停驻。而新方法则学会了提前减速，确保机器以能够无限期停留的速度进入安全内圈。

尽管模拟实验非常成功，但研究人员指出，他们的系统依赖于在训练开始前对环境和机器物理特性有精确的理解。如果现实世界的表现与计算机模型不同——例如，风力比预测的更强，或者地面比预测的更湿滑——那么训练好的机器可能无法保证安全性。团队表示，未来的工作需要整合现实世界的传感器数据来处理这些未知因素。目前，这个两步学习框架提供了一个重要的进步，它提供了一种不仅教导机器如何到达，还教导其如何停留的方法，将理论上的安全保证转化为了复杂现实应用中的实用工具。

技术摘要：用于“到达-规避-停留”（Reach-Avoid-Stay）问题的深度强化学习

问题定义

本文研究了受限有界对抗性扰动影响的非线性动力系统的**到达-规避-停留（Reach-Avoid-Stay, RAS）**问题。与标准的到达-规避（Reach-Avoid, RA）问题（仅要求系统到达目标集 $T$ 并规避不安全区域）不同，RAS 问题要求系统不仅要到达 $T$ ，还必须在面对所有有界扰动时，无限期地保持在其中。

文中识别出的核心挑战在于，现有的 RA 方法往往无法区分目标集 $T$ 与鲁棒可行性核（robust viability kernel）（即 $T$ 中最大的鲁棒控制不变子集）。如果系统进入了 $T$ 但未进入可行性核（例如，由于进入速度过快），则可能无法在扰动下保持在 $T$ 内，从而导致安全违规。目前的 RAS 方法面临显著局限性：

**控制-李雅普诺夫-障碍函数（CLBF）**方法难以针对高维或非线性系统进行设计。
基于漏斗（Funnel-based）的方法依赖于系统可以瞬间停止这一苛刻假设。
现有的强化学习（RL）方法通常无法识别出最大鲁棒 RAS 集，导致策略过于保守或安全分类不准确。

其目标是计算最大鲁棒 RAS 集（即所有可实现 RAS 任务的初始状态集合）以及相应的控制策略，以保证在所有有界扰动下都能完成任务。

方法论

作者提出了一种两步走深度强化学习（RL）框架，共同学习最大鲁棒 RAS 集及其关联的控制策略。该框架利用深度确定性策略梯度（DDPG）处理高维系统。

第一步：计算鲁棒可行性核 ( $A_S$ )

第一步是在目标集 $T$ 内识别鲁棒可行性核 $A_S$ 。这是指系统可以无限期保持在 $T \cap C$ （目标集与约束集）中的状态集合。

定义了一个折扣价值函数 $H(x)$ 来表征 $A_S$ 。
$H(x)$ 是涉及控制策略与扰动策略之间极大极小算子的贝尔曼方程（Bellman equation）的唯一解。
集合 $A_S$ 对应于 $H$ 的零水平集（即 $H(x)=0$ 的地方）。
推导出一种策略 $\pi_H$ ，用于在进入 $A_S$ 后使系统保持在其中。

第二步：计算最大鲁棒 RAS 集

第二步将 RAS 问题转化为一个 RA 问题，其中目标是鲁棒可行性核 $A_S$ ，而非原始的目标集 $T$ 。

价值函数变换： 由于 $H(x)$ $H (x)$ 在 $A_S$ $A_{S}$ 上为零，它不能直接作为到达 $A_S$ $A_{S}$ 的奖励（因为它无法提供快速到达该集合的动力）。作者引入了一个变换后的价值函数 $H_g(x)$ $H_{g} (x)$ ：
- 若 $H(x) < 0$ （在 $A_S$ 外部），则 $H_g(x) = H(x)$ 。
- 若 $x \in A_S$ ，则 $H_g(x) = g(x)$ （正值）。
- 这确保了 $H_g$ 在 $A_S$ 内部严格为正，而在其他地方为非正。
RA 公式化： 使用 $H_g$ 作为目标奖励来定义一个新的价值函数 $V(x)$ 。 $V(x)$ 表征了最大鲁棒 RAS 集。
切换策略： 通过在“到达”策略（ $\pi_V$ $π_{V}$ ）和“停留”策略（ $\pi_H$ $π_{H}$ ）之间进行切换，构建了一个统一的策略 $\pi_{RAS}$ $π_{R A S}$ ：
- 当 $H_g(x) \leq 0$ （在 $A_S$ 外部）时，使用 $\pi_V$ 将系统驱动向 $A_S$ 。
- 当 $H_g(x) > 0$ （在 $A_S$ 内部）时，切换至 $\pi_H$ 以确保无限期的安全性。

核心贡献

最大性的理论证明： 作者证明了在不存在训练误差的情况下，其框架能够识别出精确的最大鲁棒 RAS 集。他们证明了所提出的切换策略可以在所有有界扰动下，为该集合中的所有状态保证 RAS 任务的完成。这是通过所提议的价值函数变换（ $H_g$ ）实现的，该变换实现了可行性核分析与 RA 方法的集成。
基于深度 RL 的高精度学习： 该框架通过 DDPG 被应用于高维系统。作者展示了即使存在神经网络固有的训练误差，该框架仍能以**高精度（>95%）**表征最大鲁棒 RAS 集。
实际适用性： 该方法处理了 CLBF 设计难以实现或依赖“瞬间停止”假设的复杂环境。
实验验证： 在低维（双积分器）和高维（VTOL 飞行器、非线性能量收集器）系统上的仿真验证了该方法。

结果

最大集合识别： 在二维双积分器示例中，所提框架识别出的 RAS 集体积为 28.67，显著大于 CLBF 基准方法识别的 1.98。这表明所提方法更少保守，并能识别更多可行状态。
准确性： 在高维实验（VTOL 和 Harvester）中，与自身策略生成的真值相比，该框架识别 RAS 集的准确率分别达到了 95.8% 和 99.4%。
任务成功率： 所提 RAS 策略在完成 RAS 任务方面显著优于基准 RA 方法：
- VTOL： RAS 成功率为 93.0%，而 RA 基准为 0%。
- Harvester： RAS 成功率为 99.3%，而 RA 基准为 73.5%。
失效分析： 论文表明，RA 策略之所以无法完成 RAS 任务，是因为它们在进入目标集 $T$ 时速度过快，未能进入可行性核 $A_S$ 。因此，它们无法在扰动下维持状态在 $T$ 内。而 RAS 策略会在进入 $T$ 之前正确减速，以确保其落在 $A_S$ 范围内。

意义与主张

本文声称其主要意义在于提供了一个具有理论依据的、数据驱动的框架，用于解决通用非线性系统的 RAS 问题，且无需苛刻的假设。

它弥合了可达性分析与深度 RL 之间的鸿沟，证明了这种两步走方法可以产生最大鲁棒集。
它解决了保守型方法（如 CLBF）的“假阴性”问题，以及标准 RA 方法的“假阳性”安全风险。
作者承认该框架依赖于对系统动力学和环境约束的先验知识。他们指出，虽然目前的安全性关键强化学习往往缺乏严密的理论保证，但只要模型准确，这项工作为 RAS 问题提供了此类保证。未来的工作建议整合现实世界的传感器数据并处理未知的环境信息。