🤖 machine learning

ASGARD: Action-Space Guard for UAV Resilience via Reinforcement Learning

本文介绍了 ASGARD，这是一个两阶段教师-学生框架，通过训练一个仅利用物理状态历史来生成修正动作指令的监测器，增强了基于强化学习的无人机控制器在面对运行时动作空间攻击时的韧性。

原作者： Mohsen Salehi, Karthik Pattabiraman

发布于 2026-09-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohsen Salehi, Karthik Pattabiraman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

无人机已不再仅仅是遥控玩具；它们是复杂的机器，利用软件来解释世界并决定飞行路径，从而在空中进行导航。这种自主性的核心是一种被称为“强化学习”的人工智能，在这种学习方式下，计算机程序通过试错法来学习控制飞行器，就像儿童学习骑自行车一样。系统观察周围环境，尝试一次动作，并根据该动作是否使其更接近目标而获得反馈。随着时间的推移，它会建立起一套安全且高效飞行的策略。然而，这种对软件的依赖也制造了一个漏洞。正如人类飞行员会被错误信号误导一样，无人机的计算机也会被欺骗。虽然研究人员长期以来一直担心黑客向无人机的传感器输入虚假数据，但一种更隐蔽、更危险的威胁已经出现：即在无人机已经做出决策之后发生的攻击。

想象一下，无人机计算出为了保持航向，它需要稍微向左倾斜。计算机将这一指令发送给电机。在一种特定类型的网络攻击中，入侵者会在计算机做出决策与电机执行动作之间的那极短瞬间拦截该指令，在指令被执行前对其进行篡改。无人机的“大脑”认为自己正在正确飞行，但其“身体”却被强迫向一个错误且危险的方向移动。这被称为“动作空间攻击”（action-space attack）。由于攻击发生在决策之后，那些检查无人机传感器或计算机逻辑的传统安全系统往往完全无法察觉。即使在被劫持的过程中，无人机看起来仍是在清晰地思考。

为了应对这一隐形威胁，不列颠哥伦比亚大学的研究人员开发了一种名为 ASGARD 的新型防御系统。该系统旨在作为无人机指令的守护者，确保电机接收到的内容正是计算机原本意图执行的内容，即使有攻击者试图篡改信息。研究人员使用了一种“两阶段训练法”来构建这个系统，模拟了大师如何训练学生的过程。在第一阶段，“教师”系统在拥有关于攻击的秘密信息（例如确切知道入侵者何时以及如何试图干扰控制）的情况下学习飞行。这种特权知识使教师能够理解什么是安全的指令，什么是被破坏的指令。它学习生成一种隐藏信号，无论环境中有多少噪声，都能捕捉到飞行的真实意图。

一旦教师掌握了这项技能，它就会将知识传递给将在现实世界中实际驾驶无人机的“学生”系统。学生无法获取关于攻击的秘密信息；它只能看到无人机物理运动的历史记录，例如位置、速度和姿态。通过精心的训练，学生学会了仅利用这些可观测的事实来重建教师的隐藏信号。这使得学生即使在不知道攻击具体细节的情况下，也能识别出指令是否被篡改。该系统包含一个轻量级的监控组件，位于决策软件与电机之间。该监控器不断将输出的指令与重建的隐藏信号进行对比。一旦检测到差异，它会在指令到达电机之前立即进行修正，从而有效地实时抵消攻击。

研究人员在一个模拟环境中测试了这种方法，在该环境中，无人机必须飞过一系列检查点。他们让无人机遭受了各种类型的攻击，包括试图强制其俯仰、横滚或改变速度的攻击。在这些测试中，没有这种保护的标准无人机控制器在近一半的情景中坠毁。甚至此前一种旨在应对传感器攻击的高级防御系统，在面对这些动作空间入侵时也完全失效——当四个控制通道同时受到攻击时，该系统在所有尝试中全部失败。相比之下，ASGARD 系统保持了无人机的安全飞行。当只有一个控制通道受到攻击时，该系统成功完成了 95% 的任务，未发生一次坠毁。即使在最困难的情景下，即四个控制通道同时受到攻击时，该系统仍设法完成了三分之二的任务，这是其他系统无法实现的壮举。

该系统还表现出了惊人的适应性。研究人员训练无人机去防御针对单一特定控制（如俯仰）的攻击，然后测试它对从未见过的其他控制攻击的防御能力。该系统表现出了良好的泛化能力，成功防御了这些未知的威胁并完成了大部分任务。这表明该系统学习到的是一种检测控制流损坏的基础理解，而不仅仅是记忆特定的攻击模式。此外，该系统对于那些随着时间推移逐渐增加干扰程度的隐蔽攻击依然有效，而这类策略往往会让其他防御系统措手不及。通过持续追踪无人机的历史记录并随着扰动的增长调整其修正措施，该系统防止了无人机偏离航线。

结果表明，这种两阶段方法为解决让自主无人机处于脆弱境地的难题提供了一个稳健的解决方案。通过在决策软件与物理电机之间放置一个智能的修正层，该系统确保了无人机能够执行其预定路径，即使攻击者试图劫持指令行。虽然这项研究是在模拟环境中进行的，但其发现为在日益互联且可能充满敌意的世界中实现更安全的自主飞行指明了清晰的路径。这项工作证明，抵御网络攻击的韧性并不一定需要停止无人机或进行紧急着陆；相反，可以通过实时修复指令来实现，从而让机器能够充满信心地继续执行其任务。

技术摘要：ASGARD —— 基于强化学习的无人机韧性动作空间防护机制

问题陈述

强化学习（RL）因其对复杂环境的适应能力，已成为无人驾驶飞行器（UAV）导航与控制的标准方法。然而，基于强化学习的控制器极易受到**动作空间攻击（action-space attacks）**的影响。与破坏传感器输入的物理攻击（如 GPS 欺骗）不同，动作空间攻击发生在控制策略生成动作指令之后、执行器执行指令之前。攻击者可以通过在内存中覆盖这些指令（例如，通过仅数据攻击或内存损坏），在俯仰（pitch）、横滚（roll）、推力（thrust）或增益（gain）等控制通道中注入偏差。

现有的防御手段（如鲁棒强化学习方法 ARMOR、RARL）主要侧重于通过对抗输入来增强策略的鲁棒性。一旦部署，这些系统会将策略输出直接转发给执行器，而没有在动作传输过程中进行干预的机制。因此，即使策略生成了“安全”的指令，无人机执行的仍是受损的指令，从而导致任务失败或坠毁。

方法论：ASGARD 流水线

作者提出了 ASGARD（Action-Space GuARD，动作空间防护），这是一个旨在无需在部署期间使用特权信息的情况下，在运行时恢复受损动作指令的两阶段教师-学生流水线。该系统由三个核心组件组成：编码器、控制策略和监控器。

1. 教师阶段（利用特权信息进行训练）

在此阶段，系统在可以访问有关攻击的特权信息（例如目标动作通道、攻击偏差和持续时间）的情况下进行训练，而这些信息在运行时是不可用的。

教师编码器（Teacher Encoder）： 实现为变分自编码器（VAE），它接收无人机的物理状态 ( $o_t$ ) 和攻击上下文 ( $x_t$ )，以生成动作-攻击感知潜变量表示 ( $\bar{l}_t$ )。
控制策略（Control Policy）： 使用近端策略优化（PPO）算法进行训练，将 $\bar{l}_t$ 作为输入以生成预期动作 ( $\bar{a}_t$ )。
教师监控器（Teacher Monitor）： 一个轻量级的多层感知器（MLP），位于策略与执行器之间。它观察潜变量 ( $\bar{l}_t$ )、可能受损的动作 ( $\bar{a}'_t$ ) 以及通过辅助头预测的预期下一状态 ( $\hat{s}_{t+1}$ )。监控器通过监督回归进行训练，以输出一个修正后的动作 ( $\tilde{\bar{a}}_t$ )，使其与未受损的意图相匹配，从而有效地学习在指令到达硬件前对其进行修复。

2. 学生阶段（运行时部署）

此阶段将系统适配于缺乏特权攻击信息的机载执行环境。

学生编码器（Student Encoder）： 实现为基于长短期记忆网络（LSTM）的时间变分自编码器（Temporal VAE）。它通过监督学习进行训练，旨在仅利用物理状态历史和先前执行的动作历史 ( $H_t$ ) 来逼近教师的潜变量表示。
学生监控器（Student Monitor）： 旨在模仿教师监控器的修正行为，使用学生潜变量 ( $l_t$ ) 代替特权潜变量。
执行（Execution）： 在运行时，学生编码器、控制策略和学生监控器协同工作。监控器主动拦截每一个动作指令，并在必要时对其进行修正，然后将安全指令转发给执行器。

核心贡献

运行时恢复机制： 不同于以往侧重于使策略对扰动具有鲁棒性的动作空间防御方法，ASGARD 引入了一种在运行时恢复受损动作的机制。它通过主动修正指令，而非仅仅检测攻击或停止系统来进行防御。
两阶段教师-学生流水线： 作者提出了一种训练方案，其中拥有特权攻击知识的教师监督仅依赖物理状态历史的学生。这使得系统能够在不需要实时攻击数据的情况下，学习到具备攻击感知能力的表示。
主动修正监控器： 引入了一个位于策略与执行器之间的轻量级 MLP 监控器。该组件能够学习区分安全动作与受损动作，在转发安全指令的同时修复受损指令，确保无人机维持在安全控制信号下，而不是退化到降级模式。

实验结果

作者在 gym-pybullet 模拟器上的四旋翼航点跟随任务中评估了 ASGARD，并将其与基准 RL 控制器及最先进的 ARMOR 防御方法进行了对比。

单通道攻击： 在针对单个通道的攻击下，ASGARD 实现了极高的任务成功率且零坠毁。具体而言，在 Pitch 攻击下成功率为 95%，Gain 为 94%，Roll 为 94%，Thrust 为 97%，且在所有四个单通道场景中坠毁率为 0%。相比之下，基准 RL 控制器的任务成功率约为 40%（坠毁率 47%），而 ARMOR 的成功率约为 50%（坠毁率 36%）。
组合攻击： 当四个动作通道同时受损（最坏情况）时，基准 RL 和 ARMOR 的任务成功率均为 0%。ASGARD 则保持了 67% 的成功率，且坠毁率仅为 10%。
零样本泛化（Zero-Shot Generalization）： ASGARD 在未见过的攻击通道上表现出强大的泛化能力。当针对单一攻击类型（如 Pitch）进行训练并在其他类型（如 Roll, Thrust, Gain）上进行测试时，其成功率是 ARMOR 的 2-3 倍，且坠毁率比 ARMOR 低 5-6 倍。
隐蔽攻击： 面对逐渐累积偏差的隐蔽攻击，ASGASRD 保持了 100% 的成功率，而 ARMOR 则完全失效。作者将其归功于 ASGARD 通过潜变量历史追踪偏差累积的能力，而 ARMOR 缺乏运行时修正阶段。
训练效率： 在对抗训练条件下，教师-学生流水线的收敛速度比 ARMOR 快（约 5 倍），且方差更小。

重要性与主张

论文声称 ASGARD 解决了无人机安全领域的一个关键空白：即现有鲁棒强化学习方法无法处理发生在策略推理之后的动作空间攻击。通过将防御策略从“强化策略”转向“主动修正输出”，ASGARD 确保了即使在控制指令受损的情况下也能维持任务连续性。

作者强调，其方法允许无人机在动作指令发生运行时损坏的情况下完成任务，这是以往防御手段所不具备的能力。他们指出，虽然目前的评估局限于模拟环境中的单一四旋翼模型，但该架构的设计足以支持轻量级的机载部署。论文总结道，将该框架扩展到其他机器人系统以及实现从模拟到现实（sim-to-real）的迁移仍是未来的研究方向。