Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

技術要約：敵対的環境におけるUAVデコンフリクションのためのカリキュラム適応型ロバスト強化学習

問題提起
自律型無人航空機（UAV）は、複雑な空域におけるナビゲーションおよびデコンフリクション（衝突回避）のために、強化学習（RL）への依存を強めている。しかし、これらのシステムは重大なセキュリティ上の脆弱性に直面しており、特にグローバル・ナビゲーション・サテライト・システム（GNSS）のスプーフィング攻撃が挙げられる。このような攻撃は、分布外（out-of-distribution）の観測シフトを引き起こし、価値推定を破壊し、破滅的な忘却や安全性の欠如を招く。既存のロバストRL手法は、通常、特定の定義された攻撃モデルに対する耐性を向上させるが、未知の攻撃メカニズムへの汎化には失敗する。さらに、現在の防御戦略は、検知中心の手法や特定のセンサー冗長性に依存することが多く、ミッションの効率性を損なうことなく、敵対的に誘発された分布シフトに適応できる意思決定ポリシーの必要性を軽視している。

手法
著者らは、生の観測空間ではなく、時間差（TD）誤差分布空間において動作するカリキュラム誘導型適応フレームワークを提案している。核心となる仮説は、攻撃がセンサー入力をどのように歪めるかは異なっていても、ポリシーの振る舞いに対する最終的な影響は、価値分布空間に反映されるという点にある。

本フレームワークは、以下の4つのステップで進行する：

1. エキスパート・クリティックの定式化： 初期段階のロバストなポリシーは、エージェントと敵対者が行動空間で競合する二プレイヤー・ゼロサムゲーム（DDPG）を用いて訓練される。これにより、行動空間の摂動に対して耐性を持つ「エキスパート・クリティック」（$Q_{AR}$）が得られる。
2. 敵対的カリキュラム生成： システムは、強度が段階的に増加する（$\epsilon$）勾配ベースの敵対的観測摂動に対して、ポリシーを漸進的にさらしていくカリキュラム戦略を採用する。これらの摂動は、有界なノルム内でポリシーの損失を最大化するように、マルチステップ投影勾配上昇法を通じて生成される。
3. TD空間における適応： 適応中、フレームワークは現在のステージと前のステージ間のTD誤差分布を整合させる。前のステージのクリティックが参照（エキスパート）として機能し、適応プロセスは、定常的な観測と敵対的な観測の間のTD誤差分布間のワッサーシュタイン1距離を最小化する。この整合は、破滅的な忘却と価値関数のドリフトを防ぐよう設計されている。
4. 汎化証明書： 著者らは、理論的な「TD空間汎化証明書」を導出している。この定理は、テスト時の攻撃によって誘発されるTD誤差分布が、最終カリキュラムステージの分布に十分に近ければ、結果としての性能低下が制限されることを確立している。これにより、合成された摂動の下で学習されたロバスト性が、未知のサイバー物理攻撃へと転移することに対する形式的な保証を提供する。

主な貢献

• TD空間カリキュラム適応： カリキュラムの各ステージ間でTD誤差分布の一貫性を強制する、新しい適応戦略を導入した。固定された不確実性集合を想定する従来のロバストRLとは異なり、このアプローチは摂動強度の増加に適応しながら、価値推定のドリフトを抑制する。
• 理論的汎化保証： 著者らは、合成された勾配摂動から実際のGNSSスプーフィングといった、根本的に異なる攻撃ドメイン間でもロバスト性が転移することを示す形式的な証明書を導出した。これは、既存の手法に未知の攻撃メカニズムへの汎化に関する理論的保証が欠けているという課題に対処するものである。
• UAVデコンフリクションにおける実証的検証： 本フレームワークは、動的な3D障害物および変動する航空交通密度を含む環境において、固定および動的なGN士スプーフィング攻撃に対して検証された。研究では、提案手法が攻撃条件下でも高いミッション成功率を維持できることが示された。

結果
実験は、動的な3D障害物と変化する航空交通密度を持つシミュレーション環境で実施された。

• 固定スプーフィング攻撃： 固定GNSSスプーフィング（一定のポジションバイアス）の下で、カリキュラム適応型ポリシーはほぼ完璧なミッション成功率を達成した。これに対し、標準的なDDPGや他のロバストRLベースライン（敵対的メタ学習やNR-MDPを含む）は、20%から56%の成功率にとどまり、飛行予算内に目的地へ到達できないことが多かった。
• 動的スプーフィング攻撃： 障害物の知覚を歪めるためにバイアスが調整される、動的な障害物誘引型スプーフィング攻撃に対し、提案手法は最高の逐次報酬（episodic rewards）を達成した。これは、増加する交通密度において、ベースラインと比較してミッション完了ステップ数を最大45%削減した。
• 知覚と現実の乖離： カリキュラム適応型ポリシーは、知覚された障害物クリアランスと真のクリアランスとの間の乖離が最も小さかった。これは、破損した観測条件下でも、正確な内部リスク表現を維持する優れた能力を示している。
• アブレーションと感度分析： 研究により、ロバスト性とパフォーマンスのバランスをとる最適なカリキュラム停止点は $\epsilon = 4.0$ であることが特定された。さらに、より小さいカリキュラムステップサイズ（$\Delta\epsilon = 0ের.25$）は、より大きなステップサイズが引き起こすモード崩壊のような挙動と比較して、より滑らかなTD整合と高い安定性をもたらすことが判明した。

意義と主張
本論文の主要な意義は、敵対的カリキュラム適応が、攻撃特有の再学習を行うことなく、合成された摂動から現実的なGNSSスプーフィング攻撃へとレジリエンス（回復力）を転移できることを実証した点にある。特定の攻撃モデルへの適合ではなく、TD誤差分布の一貫性を保持することに焦点を当てることで、本フレームワークは、未知のサイバー物理脅威下における自律的意思決定システムのレジリエンスを向上させるための原理的なメカニズムを提供する。著者らは、このアプローチが、価値関数の整合性を維持することが、敵対的環境における破滅的な忘却を防ぐための重要な要因であることを示唆しており、従来のロバストRLを超え、未知の攻撃ドメインに対する理論的な保証と実証的な性能向上を両立させていると主張している。