⚡ electrical engineering

Maximizing Reach-Avoid Probabilities for Linear Stochastic Systems via Control Architectures

本文提出了一种可扩展的控制架构，该架构将模型预测控制与基于马尔可夫决策过程的动态规划相结合，通过在线优化更新参考信号并鲁棒地处理近似误差，从而使高维线性随机系统的到达-规避概率最大化。

原作者： Niklas Schmid, Jaeyoun Choi, Oswin So, Chuchu Fan

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Niklas Schmid, Jaeyoun Choi, Oswin So, Chuchu Fan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图引导一架笨拙且受风力影响的无人机穿过一个充满墙壁的复杂迷宫。你的目标是让无人机到达特定的“终点线”区域，同时不能撞到任何墙壁。问题在于风向是不可预测的：有时会将无人机推向左边，有时又会推向右边。你不仅想碰运气，更想实现成功概率的最大化。

这篇论文提出了一种为无人机设计的全新“大脑”，它结合了两种不同的思考方式，从而比以往的方法更有效地解决这个问题。

双脑系统

作者提出了一种控制架构，将任务拆分为两个层级，就像将军与飞行员的关系：

1. 飞行员（模型预测控制 - MPC）
把 MPC 想象成一名坐在驾驶舱内、技术精湛且反应敏捷的飞行员。

它的作用： 它观察无人机此时此刻的位置以及风向。它进行毫秒级的微调，通过控制装置来确保无人机安全并沿着特定路径飞行。
局限性： 飞行员非常擅长执行指令，但他并不了解迷宫的“大局”。他不知道哪条路径风力更大，也不知道哪条路线整体上最安全。他只是在执行被赋予的路径。

2. 将军（动态规划 - DP）
把 DP 想象成一名站在高处俯瞰整个迷宫地图的战略家。

它的作用： 将军并不直接接触控制装置。相反，他告诉飞行员：“嘿，下一步瞄准这个特定的点。”他计算出最佳的“参考路径”，以最大化获胜的概率。
创新之处： 并没有尝试计算整个迷宫中每一种可能的风向（这对计算机来说太难了），将军只决定飞行员下一步应该瞄准哪里。他会根据当前情况不断更新这个目标。

“笨拙”的问题与解决方案

挑战：
如果无人机处于连续空间中（它可以位于房间内的任何位置），计算完美路径在数学上是不可能的，因为存在无限种可能性。以往的方法要么过度简化了问题（导致无人机过于保守而无法到达目标），要么只能处理非常简单、微小的系统。

论文的妙招：
作者使用了一个“网格”来简化世界。

想象迷宫的地面铺满了方块瓷砖。将军并不关心无人机是在瓷砖的正中心还是在角落，他将整个瓷砖视为一个“状态”。
安全网： 因为无人机是笨拙的（随机性的），它可能会从瓷砖中心漂移到边缘。作者构建了一个“鲁棒”系统，该系统假设了最坏情况下的漂移。他们稍微缩小了“安全区”和“目标区”的范围，以应对这种漂移。这确保了即使无人机在瓷砖内发生偏移，它依然能保持安全。

实际运作方式

设置： 无人机在迷宫中开始运行。将军观察无人机当前所在的瓷砖。
决策： 将军从 100 种可能性中挑选一个“指令”（目标方向）。他选择那个在统计学上能带来最高到达目标概率的指令。
执行： 将军将此指令发送给飞行员。飞行员接管控制，驾驶无人机遵循该路径，同时躲避即时障碍物。
循环： 几秒钟后，将军再次检查：“无人机现在在哪？它在哪个瓷砖里？”然后挑选一个新的指令。

实验结果

团队在模拟的 12 维无人机（想象一下一个同时具备位置、速度和旋转维度的无人机）于杂乱迷宫中的实验中进行了测试。

成功率： 在“迷宫（Labyrinth）”场景中，他们的方法实现了 40% 的成功率。
对比： 在其他复杂场景（如“之字形/Zigzag”路径）中，数学预测的成功率极低（0.3%），但实际表现却远好于预期（44%）。这表明其数学模型非常谨慎（保守）以保证安全性，但实际系统表现出色。
灵活性： 他们还展示了可以对系统进行微调。与其仅仅为了赢，还可以告诉无人机：“试着赢，但也要试着保持在房间中央且不要飞得太快。”系统完美地平衡了这些目标。

核心结论

这篇论文并不仅仅是在说“使用人工智能”。它构建了一个连接战略规划（将军）与反应控制（飞行员）的、具有明确数学证明的桥梁。通过将战略规划器作为飞行员的“参考生成器”，他们能够处理复杂的、高维度的系统（如无人机），而这类系统在以往难以在不可预测的环境中实现安全控制。他们提供了一份“证书”（数学保证），确保即使在数学计算略显保守的情况下，无人机依然能保持安全。

技术摘要：通过控制架构最大化线性随机系统的到达-规避概率

问题定义
本文解决了在有限时间范围内最大化线性随机系统到达-规避（reach-avoid）概率的挑战。系统由包含确定性演化状态（ $x_d$ ）和概率性演化状态（ $x_s$ ）的动力学组成，并受加性独立同分布（i.i.d.）噪声的影响。控制目标是寻找一种策略，在满足所有时刻确定性约束 $G$ （如输入限制和状态边界）的前提下，最大化系统在时长 $[0, T]$ 内到达目标集 $T$ 且保持在安全集 $S$ 内的概率。

现有方法面临着权衡：基于统计边界的方法（如随机管状控制、场景模型预测控制/Scenario MPC）具有可扩展性但通常过于保守；而直接优化方法（如马尔可夫决策过程/MDP）能提供紧致的保证，但在高维或连续状态空间下计算上是不可行的。

方法论
作者提出了一种结合了模型预测控制（MPC）的可扩展性与动态规划（DP）的最优性的分层控制架构。其核心创新在于将闭环系统（受控对象 + MPC）视为一个马尔可夫决策过程（MDP），其中“动作”是发送给 MPC 的参考信号，而非直接控制输入。

分层架构：
- 底层（MPC）： 模型预测控制器用于跟踪上层生成的参考信号。该 MPC 的设计与随机到达-规避目标无关；其唯一目的是确保系统满足确定性约束 $G$ 和输入限制 $U$ 。为了弥合离散时间 MPC 优化与连续时间约束满足之间的差距，作者推导了考虑采样间隔内系统动力学和噪声的约束收紧技术（引理 III.1）。
- 上层（DP 参考生成器）： 基于 DP 的策略以固定时间间隔（ $\Delta t$ ）运行。它选择参考序列（指令）供 MPC 使用，以最大化到达目标的概率并规避不安全区域。该 MDP 的状态空间为系统状态 $x_k$ ，动作空间由一组有限的参考轨迹组成。
处理连续状态空间与抽象：
由于状态空间是连续的，作者采用了有限网格抽象法使 DP 在计算上变得可行。为了确保尽管存在离散化但仍能保持理论保证，他们引入了一个鲁棒化框架：
- 鲁棒 MPC (RMPC)： 对 MPC 进行修改，使其生成的输入序列对于网格单元（分区）内的特定初始状态具有不变性。这是通过从网格中心而非测量状态初始化 MPC 预测来实现的，从而确保对分区内的所有状态应用相同的控制序列。
- 鲁棒价值迭代： 安全集和目标集通过半径 $r$ （由步长内的轨迹最大偏差导出）进行收紧，以应对抽象误差。DP 算法经过修改，通过考虑每个网格单元邻域内的最坏情况转移，来计算到达-规避概率的下界。

主要贡献

控制架构： 本文引入了一种新颖的架构，将 DP 规划空间的维度从全状态维度 $n$ 降低到概率性演化部分的维度 $n_s$ 。这是通过利用 $x_d$ 的确定性演化和 MPC 的跟踪能力实现的。
理论保证： 作者为该方法提供了形式化证明。他们证明了鲁棒化架构确保了连续时间约束的满足，并且由鲁棒 DP 算法计算出的价值是系统实际达到的到达-规避概率的严格下界（定理 IV.4）。
可扩展性与灵活性： 该方法在 12 维四旋翼飞行器模型上得到了验证，该模型能够应对复杂的杂乱环境。

结果
该方法在受扰动的 12 维四旋翼飞行器模型上进行了验证，该模型需在各种杂乱环境（如迷宫、之字形路径和障碍物场）中导航。

性能： 在迷宫场景中，该架构实现了 40% 的成功率，显著优于保守的基准方法。
对比： 在多个场景中，经验到达-规避概率（ $V_0(x_0)$ ）始终达到或超过了由鲁棒价值迭代计算出的下界（ $\tilde{V}_0(x_0)$ ），验证了其理论保证。例如，在“之字形”环境中，经验成功率为 44%，而理论下界仅为 0.3%。
权衡： 文中还展示了该架构解决约束优化控制问题的能力。通过调整拉格朗日乘子，系统可以在路径代价（保持轨迹靠近中心）与到达-规避概率之间进行权衡，从而生成帕累托前沿解。

意义与主张
本文声称，这项工作弥合了基于 MDP 方法的理论最优性与 MPC 的实际可扩展性之间的鸿沟。通过将安全性执行（由鲁棒 MPC 处理）与概率优化（由 DP 参考生成器处理）解耦，作者实现了一种既能在高维系统中进行计算可行控制，又能提供形式化到达-规避证书的控制策略，且无需依赖过于保守的统计边界。作者强调，其方法为随机系统提供了形式化证书（这是许多具有可扩展性的启发式方法所缺乏的特性），同时避免了全状态 MDP 解的计算不可行性。