⚡ electrical engineering

TRUST-UP: Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit

本文介绍了 TRUST-UP，这是一个用于无人机追逐的可信强化学习框架，它将基于控制障碍函数的安全滤波器与透明的切换策略相结合，以确保在拥挤的城市环境中实现可证明安全且可认证的自主飞行。

原作者： Yaosheng Deng, Mengtao Lyu, Junjie Gao, Jiaping Xiao, Mir Feroskhan

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yaosheng Deng, Mengtao Lyu, Junjie Gao, Jiaping Xiao, Mir Feroskhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一台无人机玩“捉迷藏”游戏，场景是一个充满了人、其他无人机和树木的繁忙城市公园。你希望这台无人机既要速度快、反应灵敏，又要能够追逐移动的目标。

问题所在：“技术上安全”但“令人恐惧”的无人机
标准的 AI（强化学习）在学习如何快速移动方面表现出色。然而，它有一个重大缺陷：它只关心数学上的安全性。

数学视角： 如果无人机在撞到人头部的最后一秒紧急转向避开，数学逻辑会说：“做得好！没有发生碰撞。”
人类视角： 同样这种临阵变向的行为会让人的感觉非常惊悚。它侵犯了人的个人空间，让人感到不安和不信任。

这篇论文指出，如果无人机想要在人群周围飞行，它们不仅需要具备“技术上的安全性”，还需要具备“感知上的安全性”。它们需要尊重一个“信任半径”（Trust Radius）——即围绕在人周围的一个更大的、无形的保护圈，这个圈子能让人们感到舒适，而不是仅仅保证物理上不受伤害。

解决方案：TRUST-UP
作者创建了一个名为 TRUST-UP（用于无人机追逐任务的安全可靠强化学习技术）的系统。你可以把它想象成一个坐在 AI 大脑与无人机电机之间的“智能安全副驾驶”。

它是如何工作的，这里使用简单的类比来解释：

1. “狂野”飞行员（RL 模型）

首先，他们训练了一个标准的 AI（使用一种叫做 Soft Actor-Critic 的方法）来成为一名优秀的飞行员。这个 AI 学习如何高效地追逐目标。然而，就像一个鲁莽的赛车手一样，它可能会为了赢得比赛而尝试进行危险、剧烈的动作。它本质上并不理解人类的舒适区。

2. “严厉”的安全过滤器（CBF）

这是核心创新点。在 AI 的指令到达无人机电机之前，它必须通过一个安全过滤器。

类比： 想象 AI 是一个在操场上奔跑的孩子，而安全过滤器就是一个拿着牵引绳、严格但公正的家长。
工作原理： 该过滤器使用被称为**控制障碍函数（Control Barrier Functions, CBFs）**的数学规则。这些规则就像是隐形的、具有弹性的墙壁。
- 墙壁 1（碰撞）： 你不能撞到人或树木。
- 墙壁 2（感知）： 你必须保持足够近的距离以便观察目标（就像一条狗被绳子拴着，不能跑得太远）。
- 墙壁 3（引擎极限）： 你不能将无人机的引擎推向其物理极限。
  如果“狂野飞行员”试图冲向墙壁，过滤器会瞬间抓住“绳索”并重新引导无人机走向一条安全的路径。论文从数学上证明，即使在有风吹袭或目标进行不规则移动的情况下，这个过滤器也始终能找到一条安全的路径。

3. “开关”（透明度）

该系统有一个特殊的“开关”，决定在任何给定时刻由谁掌控。

绿灯： 如果 AI 的计划已经足够安全，并且尊重“信任半径”，开关就会让 AI 自由驾驶。
红灯： 如果 AI 试图做出不安全的动作，开关会瞬间接管，计算出最安全的可能路径，并执行该路径。
为什么这很重要： 这使得系统具有“透明度”。我们可以查看代码并明确知道：“我们确切知道为什么无人机停止了或转向了”，这对于获得官方认证（例如在城市中飞行的许可）至关重要。

4. “虚拟引擎”技巧

论文提到了一个巧妙的技巧，即在数学模型中加入了一个“虚拟引擎”。

类比： 想象一辆汽车只能以特定的速度加速。如果你突然要求进行急转弯，汽车可能会侧滑。作者的方法增加了一个“虚拟档位”来平滑这些突发的指令，确保无人机不会产生剧烈晃动，从而即使在紧急情况下也能保持“信任半径”不受侵犯。

结果：模拟实验中发生了什么？

作者在计算机模拟中进行了测试，两台无人机在障碍物周围追逐两个目标。

“狂野”AI（仅使用 SAC）： 它撞上了障碍物，丢失了对目标的观测，并做出了不稳定的动作。它未能维持“信任半径”。
TRUST-UP 系统： 无人机成功追逐了目标，避开了所有障碍物，保持了观察目标的必要距离，并且从未违反安全限制。即使当目标进行“8 字形”突然转向或有风吹袭时，TRUST-UP 无人机依然保持稳定且安全。

核心结论

论文声称，TRUST-UP 弥合了快速、智能的 AI 与人类信任需求之间的鸿沟。它将一个潜在危险的 AI 包装在一个经过数学证明的“安全防护服”中，保证无人机永远不会做出让感官上觉得不安全的行为，使其为在拥挤的城市空中实际应用做好准备。

技术摘要：TRUST-UP

问题陈述

本文旨在解决强化学习（RL）在自主无人机（UAV）追踪任务中表现出的高性能，与航空认证所需的严格安全性及透明度要求之间存在的关键差距，特别是在存在人类活动的低空城市环境中。

虽然强化学习能够实现敏捷的飞行控制，但其“黑盒”性质以及缺乏确定性的安全保证，阻碍了其适航认证。文中识别出的一个特定挑战是**“感知安全性”或“信任半径”**的概念。与无生命障碍物不同，人类需要基于心理舒适度和近距行为学（proxemics）的扩展安全裕度。标准的强化学习策略通常优先考虑技术层面的碰撞规避（例如，高速掠过行人边缘），这在技术上可能满足碰撞约束，但会因侵犯个人空间而破坏人类的信任。现有的安全强化学习方法（如奖励塑造或静态屏蔽）往往无法提供人类心理信任所需的确定性保证，或者在同时执行复杂的、具备人类意识的约束（包括推力限制和感知范围）时，难以兼顾可行性。

方法论：TRUST-UP 框架

作者提出了 TRUST-UP（基于安全技术的可靠无人机追踪强化学习），该框架将无模型强化学习策略与基于控制障碍函数（CBF）的形式化安全滤波器相结合。该系统旨在将不安全的强化学习动作转化为可证明安全的飞行指令，同时保持操作的透明度。

1. 系统增广与变换

为了解决推力受限系统中常见的可行性问题，作者通过引入虚拟控制输入来增广无人机动力学。这种方法将原始的一阶、推力受限问题转化为二阶、输出受限问题。该变换将执行器惯性纳入安全约束中，缓解了传统一阶 CBF 因输入突变导致的过载问题，并增强了所得二次规划（QP）问题的可行性。

2. 自适应安全滤波器构建

TRUST-UP 的核心是由三个自适应 CBF 构建的安全滤波器，其形式化为 QP 问题。这些约束确保了三个特定安全集合的前向不变性：

输入约束 ( $C_{u,i}$ ): 一个随时间变化的约束，根据追逐者与目标之间的相对位置动态调整最大推力限额。这允许在紧急机动期间放宽限制，同时在常规飞行期间严格监管异常指令。
碰撞规避 ( $C_{c,i}$ ): 确保追逐者与所有其他智能体（目标、其他无人机）及静态障碍物之间保持最小安全距离。
感知范围 ( $C_{s,i}$ ): 确保追逐者保持在最大距离内，以维持对其目标的传感器覆盖。

该滤波器利用自适应律估计未知参数，以应对系统不确定性（如风力、传感器噪声），从而确保对扰动的鲁棒性。

3. 透明切换策略

该框架采用一种具有切换策略的混合控制律：

区域 $R_1$ : 如果标称强化学习动作 ( $\pi_i$ ) 满足所有安全约束（即位于容许集内），则系统直接执行该强化学习动作。
区域 $R_2$ : 如果强化学习动作违反了任何约束，则激活安全滤波器。系统求解 CBF-QP，以寻找最接近标称动作且满足所有约束的最优安全控制输入 ( $v^*_i$ )。

作者从形式上证明了该切换策略确保了 QP 问题满足 KKT 条件，从而保证了存在唯一的、利普希茨连续（Lipschitz continuous）的解，并维持了安全集合的不变性。

核心贡献

受推力约束的 CBF 设计: 本文引入了一种通过用虚拟输入增广系统来处理推力约束的方法。该方法在执行飞行包线限制的同时，通过自适应放宽上限来应对紧急机动，平衡了任务性能与可验证的安全性。
自适应安全滤波器: 通过设计两个基于位置的 CBF（用于碰撞规避和感知）结合推力受限的 CBF，构建了一个具有保证可行性的安全滤波器。这些约束的自适应特性使得无人机即使在存在大气扰动的情况下也能维持安全运行。
具有可行性证明的 TRUST-UP 算法: 提出了一种用于判定强化学习输出安全性的透明切换策略。作者提供了形式化证明，表明该算法对于所有安全约束均满足 KKT 条件，从而确保符合航空信任度要求的适航认证。

仿真结果

作者通过涉及两架追踪目标的追逐无人机在含有静态障碍物和未知扰动环境中的数值仿真验证了 TRUST-UP。测试了两种场景：

圆形机动: 目标进行大幅度的圆形机动。
“8”字形机动: 目标进行具有变化曲率的复杂“8”字形轨迹运动。

对比分析:

仅使用 SAC vs. TRUST-UP: 基准算法 Soft Actor-Critic (SAC) 在没有安全滤波器的情况下进行训练，未能保证安全性。在仿真中，仅使用 SAC 的智能体发生了与障碍物的碰撞，并丢失了对目标的感知（超过了感知半径）。
安全保证: 即使在目标进行激进规避机动的情况下，TRUST-UP 仍成功维持了所有安全约束（碰撞规避、感知范围和输入限制）。
控制稳定性: TRUST-UP 生成的控制输入保持在预设范围内，没有出现高频振荡；相比之下，仅使用 SAC 的方法在受到扰动时表现出不稳定的追踪行为。
计算效率: TRUST-UP CBF-QP 实现展示了更高的在线计算效率，与标准的输入受限 CBF-QP 技术相比，平均 QP 求解时间降低了约 14.1%。

重要性与主张

本文声称 TRUST-UP 解决了在人类环境中部署自主系统的一个根本缺陷：即技术安全性与感知信任度之间的脱节。通过将心理安全区（信任半径）转化为透明安全滤波器中的确定性硬约束，该框架弥合了人工智能性能与航空认证标准之间的鸿沟。

作者强调，其工作为低空航空领域提供了可认证且可解释的 AI 框架。不同于依赖奖励塑造（软惩罚）的方法，TRUST-UP 提供了确定性的保证。透明的切换策略确保了安全决策的可解释性，满足了安全关键型空中作业的适航认证要求。论文总结道，对于未来城市空中交通中人类存在感和心理舒适度至关重要的场景，该方法是实现值得信赖的自主飞行系统的必要步骤。