💻 computer science

Trajectory Planning for Safe Dual Control with Active Exploration

本文提出了一种名为"Dual-gatekeeper"的框架，通过仅在能确保安全性且不超出性能预算的前提下进行主动探索，将鲁棒规划与主动探索相结合，从而在参数不确定性下实现安全且高效的轨迹规划。

原作者： Kaleb Ben Naveed, Manveer Singh, Devansh R. Agrawal, Dimitra Panagou

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaleb Ben Naveed, Manveer Singh, Devansh R. Agrawal, Dimitra Panagou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 "Dual-gatekeeper"（双重守门人） 的智能控制系统。为了让你轻松理解，我们可以把机器人（比如无人机或自动驾驶汽车）想象成一位正在执行任务的“探险家”，而我们要解决的核心问题是：如何在保证绝对安全的前提下，既高效完成任务，又能顺便“学习”新东西，让自己变得更聪明？

1. 核心难题：保守 vs. 好奇的矛盾

想象你是一位探险家，手里有一张地图，但地图上的某些细节（比如路有多滑、风有多大）是模糊不清的（这就是模型不确定性）。

传统的“保守派”做法（鲁棒规划）：
为了安全，探险家假设所有模糊的地方都是最坏的情况（比如假设路全是冰）。于是，他走得很慢、很小心，虽然绝对安全，但效率极低，甚至可能因为太保守而完不成任务。而且，他从不主动去试探路况，所以永远不知道路其实没那么滑。
传统的“好奇派”做法（主动探索）：
探险家为了搞清楚路况，故意走一些奇怪的路去“测试”摩擦力。虽然这能让他以后跑得更快，但风险很大，万一测试时摔了怎么办？而且，测试可能会浪费很多时间，导致任务超时。

这篇论文要解决的问题就是： 如何设计一个系统，让探险家既能安全地完成任务，又能在不牺牲太多时间（预算）的情况下，聪明地选择“什么时候该去试探一下”，从而让自己变得更强。

2. 解决方案：双重守门人（Dual-gatekeeper）

作者设计了一个聪明的“守门人”机制，就像是一个严格的交通指挥官，它的工作流程如下：

第一步：准备“安全网”（保守的备用方案）

在每次做决定前，指挥官首先会规划一条绝对安全的路线。这条路线假设了所有最坏的情况（比如路最滑、风最大），保证无论发生什么，探险家都不会撞车或掉下去。这就像探险家手里始终握着一根安全绳。

第二步：生成“候选方案”（尝试新路线）

同时，指挥官会生成一些更激进、更有趣的路线。这些路线可能会经过一些未知的区域，目的是收集数据，搞清楚那些模糊的参数（比如真实的摩擦系数）。

保守候选： 继续走那条安全绳路线。
探索候选： 走那条能收集数据的新路线。

第三步：严格的“守门人”检查（核心创新）

这是最关键的一步。指挥官不会盲目地让探险家去走新路线，而是像守门人一样，对每一条“探索路线”进行严格的双重考核：

安全考核（Safety Gate）：
通过模拟推演，问自己：“如果这条新路线真的走了，在最坏的情况下，探险家会撞车吗？”
- 如果答案是“可能会”，直接否决，哪怕它能学到再多东西也不行。
- 如果答案是“绝对安全”，进入下一关。
预算考核（Budget Gate）：
问自己：“走这条新路线，会比走安全路线多花多少时间/能量？这个额外的代价，是否超过了老板（用户）允许的‘探索预算’？”
- 如果代价太大，直接否决。
- 如果代价在预算内，通过。

第四步：做出决定

如果有通过考核的“探索路线”，指挥官会选择性价比最高（学得最多、代价最小）的那条让探险家走。
如果没有通过考核的，探险家就老老实实走那条绝对安全的备用路线。

3. 生活中的比喻

想象你在学骑自行车：

保守策略：你一直扶着墙慢慢骑，虽然安全，但永远学不会独立骑行，而且速度很慢。
盲目探索：你直接冲进人群里练习，虽然可能很快学会，但很容易摔伤。
Dual-gatekeeper 策略：
你有一个智能教练（守门人）。
1. 教练先规划好一条扶墙路线（安全网），保证你随时不会摔。
2. 教练计算一下：如果你松开手骑 5 米（探索），能不能学会平衡？
3. 检查安全：教练模拟了一下，发现如果你松开手，只要稍微歪一点，扶墙路线就能接住你，不会摔。 -> 安全通过。
4. 检查代价：教练算了一下，松开手骑这 5 米，只会让你多花 2 秒钟，而你的“练习时间预算”是 10 秒。 -> 预算通过。
5. 执行：教练让你松开手骑 5 米。你学会了平衡，而且没摔，也没超时。
6. 如果教练发现松开手可能会摔，或者会超时，他就会说：“不行，还是扶着墙骑吧。”

4. 论文的成果

作者用两个实际案例证明了这套方法很有效：

四旋翼无人机（Quadrotor）： 无人机在飞行中，一边安全地飞到目的地，一边通过特定的飞行轨迹，快速搞清楚了空气阻力系数。结果发现，因为搞清楚了阻力，它飞得比那些一直“瞎猜”阻力的无人机更省电、更高效。
自动驾驶赛车（Autonomous Racing）： 赛车在赛道上，一边安全地跑圈，一边通过微调路线来搞懂轮胎和地面的摩擦力。结果，赛车在确保安全（100% 不撞车）的前提下，圈速越来越快，最终比那些只敢慢慢开或者盲目乱冲的赛车都快得多。

总结

这篇论文的核心思想就是：不要为了学习而学习，也不要为了安全而停滞不前。

它提出了一种**“有原则的冒险”机制：只有在安全有保障且代价可接受**的时候，才允许系统去“探索”未知。就像一位经验丰富的老司机，既不会在暴雨天盲目飙车，也不会因为怕出事就永远停在车库里，而是会在确保安全的前提下，通过合理的试探，让自己开得越来越快、越来越稳。

论文技术总结：基于安全双控制与主动探索的轨迹规划 (Trajectory Planning for Safe Dual Control with Active Exploration)

1. 研究背景与问题定义 (Problem Statement)

在存在模型不确定性的情况下规划安全轨迹是控制与机器人领域的核心挑战。现有的方法主要分为两类，但各有局限：

鲁棒规划 (Robust Planning)： 通过考虑最坏情况来确保安全（如 Tube-MPC、CBF 等）。然而，这种方法通常忽略了对未知参数的不确定性降低，导致系统为了安全而采取过于保守的行为，从而降低了任务性能。
双控制 (Dual Control)： 旨在同时执行任务（利用）和降低不确定性（探索）。现有方法通常通过在目标函数中添加加权的信息获取项来鼓励探索。然而，这种方法缺乏对“何时探索是有益的”的形式化判断，且往往难以在严格的安全约束和任务成本预算下平衡探索与性能。

本文解决的问题：
提出了一种预算受限的双控制问题 (Budget-constrained Dual Control)。系统需要在满足以下三个条件的同时运行：

安全性： 在 bounded model uncertainty（有界模型不确定性）下满足状态和输入约束。
主动探索： 主动降低参数不确定性。
预算约束： 确保任务总成本（由探索引起的性能下降）不超过用户指定的预算 $B_{exp}$ 。

核心挑战在于：如何在不牺牲安全或超出成本预算的前提下，形式化地决定何时执行一条具有信息量的轨迹（探索轨迹）是有益的。

2. 方法论：Dual-gatekeeper 框架 (Methodology)

作者提出了名为 Dual-gatekeeper 的框架，该框架将鲁棒规划与主动探索在架构层面集成，提供形式化的安全和预算保证。

2.1 核心架构

框架采用滚动时域（Receding-horizon）方式运行，在每个重规划时刻 $t_k$ 执行以下步骤：

构建鲁棒备份策略 (Robust Backup Policy)： 首先计算一条保守的、保证安全的任务轨迹（Backup Trajectory）。该轨迹在当前的不确定性集合下，无论参数如何变化，都能满足所有约束并完成任务。
生成候选策略段 (Candidate Generation)：
- 保守候选： 直接沿用备份策略。
- 信息型候选 (Informative Candidates)： 生成旨在降低参数不确定性的轨迹（通常通过最大化信息矩阵行列式等指标）。
可行性验证 (Feasibility Check)：
- 安全性验证： 检查信息型候选轨迹在不确定性集合下是否满足安全约束（通过 Tube 或 Gatekeeper 机制）。
- 预算验证： 预测执行该候选轨迹相对于保守策略的额外成本（ $\Delta J_{exp}$ ），确保累积成本不超过预算 $B_{exp}$ 。
评分与决策 (Scoring & Commitment)：
- 对通过验证的候选轨迹进行评分。评分基于预测的不确定性缩减量（ $\Delta \xi$ ），并随时间 horizon 进行折扣（鼓励早期获取信息）。
- 决策逻辑： 如果存在既安全又符合预算的候选轨迹，选择评分最高的执行；否则，回退到保守的备份策略。
更新 (Update)： 执行选定轨迹，收集数据，利用集合成员识别 (SMID) 更新参数不确定性集合，进入下一个周期。

2.2 不确定性缩减预测

为了在规划阶段评估探索的价值，论文提出了两种预测不确定性缩减的方法：

基于仿真的方法 (Simulation-based)： 对候选轨迹进行多次前向仿真（采样参数和扰动），利用 SMID 更新后的集合宽度变化来估算缩减量。
基于数据一致性的方法 (Data-Consistency-based)： 直接分析规划轨迹的回归矩阵，计算在噪声边界下可区分参数的集合宽度上界。该方法计算更快，但假设执行轨迹与规划轨迹一致。

2.3 两种具体实现 (Instantiations)

论文展示了该框架的模块化特性，通过两种不同的安全机制实现：

Tube MPC 实现： 适用于四旋翼导航。利用 Tube-MPC 构建不变管（Invariant Tube），通过收紧约束来保证鲁棒性。信息型轨迹生成后，尝试构建围绕其的鲁棒管，若构建失败则视为不安全。
Gatekeeper (安全过滤器) 实现： 适用于自动驾驶赛车。包含一个保守的“回退策略”（Fallback Policy）和一个高性能的“标称策略”。Gatekeeper 模块通过大量前向仿真（Rollouts）来验证候选轨迹在不确定性下的安全性（基于经验安全概率）。

3. 主要贡献 (Key Contributions)

形式化的双控制框架： 提出了一种新的架构，将探索视为一个可验证的决策（Verifiable Decision），而非目标函数中的加权项。这确保了只有在满足安全和预算约束时才执行探索。
预算与安全的严格保证： 通过数学归纳法证明了该框架在闭环执行中始终满足状态/输入约束，且累积探索成本严格控制在预设预算内。
模块化设计： 框架可适配不同的安全机制（如 Tube-MPC 和 Gatekeeper），展示了其通用性。
实证验证： 在四旋翼导航（Tube-MPC 实例）和自动驾驶赛车（Gatekeeper 实例）两个案例研究中，证明了该方法能在降低参数不确定性的同时，显著提升任务性能（如降低飞行成本、缩短圈速）。

4. 实验结果 (Results)

4.1 案例 1：四旋翼导航 (Quadrotor Navigation)

场景： 四旋翼在存在未知气动阻力系数 ( $C_d$ ) 的情况下导航。
结果：
- 系统成功在线缩小了参数不确定性的边界（例如，从 $[0.0, 0.50]$ 缩小到 $[0.0, 0.33]$ ）。
- 与保守基线相比，提出的方法将任务总成本降低了约 17.5% (降至基线的 82.5%)，同时保持在 110% 的预算限制内。
- 证明了在降低不确定性的同时，系统能利用更精确的模型执行更高效的轨迹。

4.2 案例 2：自动驾驶赛车 (Autonomous Car Racing)

场景： 赛车在未知轮胎摩擦系数 ( $\mu$ ) 下进行竞速，需平衡圈速与安全。
对比基线：
- 纯标称控制（无安全）：安全性差（仅 30% 成功）。
- 加权目标（无安全）：安全性差（仅 20% 成功）。
- 纯回退策略（保守）：安全但圈速极慢（17.0s）。
- 带 Gatekeeper 的标称控制：安全但无法降低不确定性，性能受限。
- 带 Gatekeeper 的加权探索：降低了不确定性，但因过度偏离赛道导致性能下降。
Dual-gatekeeper 表现：
- 安全性： 100% 安全运行（100% Safe Runs）。
- 性能： 平均圈速 8.07 秒，显著优于保守策略（17.0s）和加权探索策略（21.6s）。
- 不确定性缩减： 实现了 95.5% 的不确定性缩减。
- 预算效率： 仅消耗了 23.8% 的探索预算，表明只需少量探索即可显著提升性能。
- 趋势： 随着不确定性降低，最终圈速从初始的 17 秒左右逐渐提升至 6.5-7.7 秒，体现了“越探索越高效”的良性循环。

5. 意义与局限性 (Significance & Limitations)

意义

理论突破： 解决了双控制中“探索与利用”的权衡难题，提供了一种无需在目标函数中手动调节权重即可自动判断探索时机的机制。
工程价值： 为高动态、高风险场景（如赛车、无人机）下的自适应控制提供了可证明安全的解决方案，使得系统能够在保证安全的前提下，通过主动学习模型参数来突破保守控制的性能瓶颈。
通用性： 框架设计解耦了安全机制与探索逻辑，易于集成到现有的机器人控制系统中。

局限性与未来工作

时不变参数假设： 当前假设参数是时不变的。对于时变参数（如变化的摩擦力或风），集合成员识别（SMID）可能不再单调收缩。未来需扩展至自适应或遗忘机制。
预算的启发式性质： 探索预算是用户预设的。目前缺乏一种形式化的方法来量化“不确定性减少”对“未来任务成本”的具体影响，从而自动确定最优预算。
预测与执行的偏差： 不确定性缩减的预测基于规划轨迹，未完全考虑执行过程中的跟踪误差和扰动。未来需研究执行感知的不确定性预测。

总结： 该论文提出了一种名为 Dual-gatekeeper 的创新框架，成功地将安全性、预算约束和主动探索统一在一个决策架构中。通过“先保守备份，后验证探索”的策略，系统能够在严格保证安全的前提下，智能地利用探索机会降低模型不确定性，从而显著提升任务执行效率。实验结果有力地证明了该方法在复杂动态系统中的有效性和优越性。