🤖 machine learning

Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

本文提出了一种用于强化学习的课程引导自适应框架，该框架通过在不断增加的对抗强度下对齐时序差分误差分布，以确保无人机冲突规避的鲁棒性，并在未见的 GNSS 欺骗攻击下实现性能退化的有界性。

原作者： Deepak Kumar Panda, Adolfo Perrusquia, Weisi Guo

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Deepak Kumar Panda, Adolfo Perrusquia, Weisi Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：在迷雾重重、充满欺骗的世界中飞行无人机

想象一下，你正在教一架无人机如何在繁忙的城市中穿梭，躲避建筑物和其他无人机，以到达特定的目的地。你使用一个“大脑”（人工智能）来学习，它通过试错来学习，就像学生学习骑自行车一样。这被称为强化学习 (Reinforcement Learning, RL)。

然而，这里有一个问题：GPS 欺骗 (GPS Spoofing)。

把 GPS 欺骗想象成黑客玩的一个“魔术”。黑客并没有破坏无人机，而是发送了虚假信号，让无人机以为自己处于一个与实际位置不同的地方。

现实情况： 无人机很安全，距离建筑物 100 英尺。
虚假信号： 无人机的“大脑”认为自己现在正撞向那栋建筑物。

当这种情况发生时，无人机会陷入恐慌，做出错误的决策，并可能导致坠毁。这被称为分布偏移 (distribution shift)——即无人机所看到的现实世界（虚假数据）与其训练时的世界（真实数据）完全不同。

现有方法的局限性

目前的方法试图通过针对特定类型的“诡计”进行训练，来让无人机变得“强壮”。

类比： 想象你在训练一名拳击手，但只让他对抗左撇子选手。如果这名拳击手学会了完美地挡住那一种特定的拳法，他会表现得很出色。但如果出现了一个右撇子选手，或者有人使用了踢技，这名拳击手可能会被击倒。
论文的批判： 现有的 AI 安全方法就像那位拳击手。它们过于专注于曾经见过的特定攻击。如果出现了一种全新的、未见过的 GPS 欺骗手段，AI 会忘记它学到的一切，并发生灾难性的失败。

解决方案：“循序渐进”的训练营

作者提出了一种名为课程自适应鲁棒强化学习 (Curriculum-Adapted Robust Reinforcement Learning) 的新训练方法。

你可以把它想象成一个拥有非常特定训练方法的武术道场：

“专家”老师 (The "Expert" Sensei)： 首先，他们训练一个非常强大且基础的无人机飞行员（“专家”），这个飞行员已经擅长躲避障碍物。
循序渐进的课程： 他们不是立即将无人机投入混乱的战斗，而是缓慢地引入“虚假攻击”（对抗性扰动）。
- 第一级： 虚假信号非常微弱，无人机几乎察觉不到。
- 第二级： 虚假信号变得稍强，无人机必须进行调整。
- 第三级： 信号变得更强。
- 目标： 无人机逐级晋升，在每个阶段都变得更加强韧。

核心秘诀：倾听“内心深处的声音” (TD-Error)

这是最聪明的部分。通常在训练 AI 时，我们会观察输入（无人机看到了什么）。但本文指出：“不要只看眼睛，要看大脑的信心。”

在 AI 术语中，这被称为 TD-Error（时序差分误差）。

类比： 想象你在黑暗中行走。你的“内心声音”（AI 的价值估计）在说：“我觉得我很安全，但我有点不确定。”
技巧： 当黑客发送虚假信号时，无人机的“内心声音”开始尖叫：“我好困惑！我不知道我在哪里！”这种困惑就是 TD-error。

作者的方法迫使无人机在通过这些训练等级时，保持其**“内心声音”的冷静与一致**。

即使虚假信号变得更强，无人机也被训练去确保其内部关于“这一步走得有多好”的计算不会发生剧烈波动。
通过保持这种内部信心的稳定，无人机学会了一条通用规则：“无论收到多么奇怪的信号，都要信任我的核心逻辑。”

结果：战胜“未见之敌”

作者在模拟环境中测试了该方法，要求无人机在 3D 障碍物中飞行。他们测试了两种他们在训练期间从未见过的 GPS 欺骗手段：

固定欺骗 (Fixed Spoofing)： 对无人机位置进行持续、稳定的谎言。
动态欺骗 (Dynamic Spoofing)： 一种根据障碍物位置变化的狡猾谎言，试图将无人机诱入陷阱。

测试结果：

标准 AI： 表现糟糕。它要么坠毁，要么迷失方向（成功率：20–56%）。
新方法： 几乎从未失败（成功率：接近 100%）。
效率： 即使在需要躲避障碍时，它的速度也比其他方法更快，且步骤更少。

为什么这很重要（根据论文所述）

论文声称，通过训练无人机在面对逐渐增强的谎言时保持其内部信心 (TD-error) 的一致性，无人机获得了一种“超能力”。它不仅仅是学会了如何对付某一个特定的骗子，它学会了如何忽略任何骗子，甚至是它从未遇见的骗子。

简而言之： 无人机并没有死记硬背每一个可能的测试题答案，而是学会了无论测试题变得多么令人困惑，都要保持冷静并清晰思考。这使得它即使在黑客试图通过 GPS 欺骗它时，也能安全飞行。

技术摘要：面向对抗环境下无人机冲突解避的课程自适应鲁棒强化学习

问题陈述
自主无人机（UAV）越来越多地依赖强化学习（RL）进行复杂空域中的导航与冲突解避。然而，这些系统面临显著的安全漏洞，特别是全球导航卫星系统（GNSS）欺骗攻击。此类攻击会诱发分布外（out-of-distribution）观测偏移，从而破坏价值估计，导致灾难性遗忘和不安全行为。现有的鲁棒强化学习方法通常针对特定的、预定义的攻击模型进行改进，却无法泛化到未见的攻击机制。此外，目前的防御策略往往依赖于以检测为中心的方法或特定的传感器冗余，忽略了决策策略在不损害任务效率的前提下，适应对抗性诱导的分布偏移的需求。

方法论
作者提出了一种课程引导的自适应框架，该框架在时序差分（TD）误差分布空间而非原始观测空间内运行。其核心假设是：尽管攻击在如何破坏传感器输入方面可能存在差异，但其对策略行为的最终影响会反映在价值分布空间中。

该框架通过四个主要步骤进行：

专家评论家构建（Expert Critic Formulation）： 首先通过一个二元零和博弈（DDPG）训练一个初始鲁棒策略，其中智能体与对抗者在动作空间内进行竞争。这产生了一个对动作空间扰动具有韧性的“专家评论家”（ $Q_{AR}$ ）。
对抗性课程生成： 系统采用课程策略，使策略逐步暴露在强度递增（ $\epsilon$ ）的基于梯度的对抗性观测扰动之下。这些扰动是通过多步投影梯度上升生成的，旨在在限定范数内最大化策略损失。
TD空间自适应： 在自适应过程中，框架通过对齐当前阶段与前一阶段之间的 TD 误差分布来进行调整。前一阶段的评论家作为参考（专家），通过最小化标称观测与对抗观测之间的 TD 误差分布的 Wasserstein-1 距离来实现对齐。这种对齐旨在防止灾难性遗忘和价值函数漂移。
泛化证书： 作者推导出了一个理论上的“TD空间泛化证书”。该定理确立了：如果测试时攻击诱发的 TD 误差分布与最终课程阶段的分布保持足够接近，则由此产生的性能下降是受限的。这为通过合成扰动学习到的鲁棒性向未见的网络物理攻击迁移提供了形式化保证。

核心贡献

TD空间课程自适应： 本文引入了一种新型自适应策略，该策略强制要求在不同课程阶段保持 TD 误差分布的一致性。不同于假设固定不确定性集的传统鲁棒强化学习，该方法通过适应不断增加的扰动强度来应对变化，同时限制价值估计的漂移。
理论泛化保证： 作者推导出了一个形式化证书，证明了鲁棒性可以在根本不同的攻击领域（例如，从合成梯度扰动到真实的 GNSS 欺骗）之间进行迁移，前提是诱发的 TD 误差分布偏移保持在界限内。这解决了现有方法缺乏针对未知攻击机制的理论保证的问题。
无人机冲突解避中的实证验证： 该框架在包含动态 3D 障碍物的 3D 无人机冲突解避环境中进行了验证，并针对固定和动态 GNSS 欺骗攻击进行了测试。研究表明，课程自适应策略在未经历训练的攻击条件下仍能保持高任务成功率和导航效率。

结果
实验在包含动态 3D 障碍物和变化的空中交通密度的模拟环境中进行。

固定欺骗攻击： 在固定 GNSS 欺骗（恒定位置偏差）下，课程自适应策略实现了近乎完美的任务成功率。相比之下，标准 DDPG 及其他鲁棒强化学习基准（包括对抗性元学习和 NR-MDP）的成功率仅在 20% 到 56% 之间，且往往无法在飞行预算内到达目的地。
动态欺骗攻击： 在动态的、旨在扭曲障碍物感知的“障碍物诱导型”欺骗攻击下，所提方法获得了最高的阶段性奖励。在交通密度增加的情况下，它比基准方法减少了高达 45% 的任务完成步骤。
感知-现实差异： 课程自适应策略表现出最小的感知障碍物间距与真实间距之间的偏差，表明其在观测受损的情况下，能够维持更准确的内部风险表征。
消融实验与敏感性分析： 研究确定 $\epsilon = 4.0$ 为最优的课程停止点，平衡了鲁棒性与性能。此外，研究发现较小的课程步长（ $\Delta\epsilon = 0.25$ ）比较大的步长能产生更平滑的 TD 对齐和更高的稳定性，而较大的步长会导致类似模式崩溃（mode-collapse）的行为。

意义与主张
本文声称其主要意义在于证明了对抗性课程自适应可以将韧性从合成扰动迁移到真实的 GNSS 欺骗攻击，而无需针对特定攻击进行重新训练。通过专注于保持 TD 误差分布的一致性而非拟合特定的攻击模型，该框架提供了一种原则性的机制，用于提高自主决策系统在未知网络物理威胁下的韧性。作者断言，这种方法通过提供针对未知攻击领域的经验性能提升和可证明的理论界限，超越了传统的鲁棒强化学习。该工作表明，保持价值函数的一致性是防止对抗环境下发生灾难性遗忘的关键因素。