RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning

技術要約: RoAd-RL

問題提起
深層強化学習（DRL）はロボティクスや自律システムにおいて顕著な成功を収めているが、安全でない挙動を誘発し性能を低下させる敵対的摂動に対して脆弱なままである。FGSM、PGD、JSMAといった数多くの敵対的攻撃（adversarial attacks）や、敵対的学習（adversarial training）や時間的平滑化（temporal smoothing）といった防御メカニメントが提案されているが、敵対的強化学習の分野は断片化が進んでいる。現在の研究は、カスタムで再現性のない実装、一貫性のない評価プロトコル、および標準化されたベンチマークの欠如によって阻害されている。RobustBenchやFoolboxのような統一されたフレームワークの恩恵を受けている教師あり学習のコミュニティとは異なり、敵対的強化学習には、同等の拡張性と再現性を提供する広く採用されたインフラストラクチャが欠けている。

手法とフレームワーク設計
これらの制限に対処するため、著者らは、堅牢な敵対的強化学習（Robust Adversarial Reinforcement Learning）のために設計されたオープンソースの統一ベンチマークフレームワークであるRoAd-RLを提示する。本フレームワークは、以下の3つのコア設計原則に基づいている：

1. 構成可能性（Composability）: 攻撃、防御、方策（policy）、および指標は、共通の評価パイプライン内の独立したコンポーネントとして機能する。
2. 拡張性（Extensibility）: すべての主要なコンポーネントは抽象基底クラスを継承しており、研究者はフレームワークのコア部分を修正することなく、サブクラス化を通じて新しい手法を統合できる。
3. 再現性（Reproducibility）: 決定論的なシード管理、構造化されたロギング、および標準化された手順により、異なる環境間での一貫した結果を保証する。

フレームワークのアーキテクチャは、4つの主要な抽象化によって構成される：

• Policy（方策）: 学習アルゴリズムと評価を分離する、RLエージェントのための統一インターフェース（現在はStable-Baselines3の実装であるDQN、PPO、SACをサポート）。これには、勾配ベースの攻撃のためのDifferentiablePolicyインターフェースが含まれる。
• Attack（攻撃）: 観測空間内で動作する敵対的摂動の生成（例：FGSM、PGD、JSMA）をカプセル化する。
• Defense（防御）: 方策の推論前に観測を処理する、推論時のメカニズム（例：時間的平滑化、フィーチャースクイージング、アウトライパークリッピング）を表す。
• Metric（指標）: リターン指標（平均/中央値リターン）、リスク指標（CVaR）、安全性指標（終了率）、および堅牢性指標（曲線下の面積、AUC–$\epsilon$）を含む、堅牢性の報告を標準化する。

評価ワークフローは3つのステージに従う：(1) 選択された環境内での方策の学習、(2) 学習済みの方策と特定の攻撃および防御モジュールの組み合わせ、(3) 複数の摂動予算（$\epsilon$）、ランダムシード、およびエピソードにわたる堅牢性の評価。本フレームワークはStable-Baselines3およびGymnasiumとシームレスに統合されており、Python APIとコマンドラインインターフェース（CLI）による実行の両方を提供する。

実験評価
著者らは、2つの異なる環境であるLunarLander-v2（コンパクトで敏感なダイナミクスを持つ）とHighway-v0（構造化された運動学的特徴を持つ）において、DQN、PPO、およびSACエージェントを評価することでRoAd-RLを検証した。ベンチマークは、以下の組み合わせによる192の構成のフルファクトリアルグリッドをカバーした：

• アルゴリズム: DQN、PPO、SAC。
• 攻撃: FGSM、PGD、JSMA、およびクリーンなベースライン。
• 防御: 防御なし、時間的平滑化、中央値平滑化、ガウスノイズ、フィーチャースクイージング、アウトライパークリッピング（MAD）、および敵対的検出。
• 摂動予算: $\epsilon \in \{0.0, 0.005, 0.01, 0.025, 0.05\}$。

性能は、1.0をクリーンなベースラインの性能とする正規化されたAUC–$\epsilon$（Return–$\epsilon$曲線の下の面積）を用いて測定された。

主な結果

• 環境依存性: 堅牢性は環境によって大きく異なる。LunarLanderのエージェントは摂動に対して非常に脆弱であったのに対し、Highway-v0のエージェントは攻撃に対して概ね堅牢であった。
• アルゴリズムの感受性: LunarLanderにおけるSACエージェントは、特に反復的なPGD攻撃に対して脆弱であり（AUCが0.590まで低下）、これはおそらく滑らかな方策勾配の搾取によるものである。DQNは、単一ステップのFGSMの下で明確な劣化を示した。
• 防御の有効性:
  • 時間的平滑化（Temporal Smoothing）: 一貫して最も強力な性能を達成し、特にLunarLanderにおけるPGD下でのSACにおいて、防御なしのベースラインに対して約27%の性能を回復させた。
  • フィーチャースクイージング（Feature Squeezing）: 低次元の制御タスクにおいてしばしば有害であることが判明した（例：FGSM下でのDQNのAUCを0.793から0.547に減少させた）。これは、高次元の画像観測により適していることを示唆している。
  • 防御による失敗: いくつかの防御（アウトライパークリップ、敵対的検出器）は、軽減しようとした攻撃よりも性能を低下させた。特に連続アクションのエージェントにおいて顕著であった。場合によっては、防御自体が攻撃よりも大きな性能損失を引き起こした。
• PPOのアノマリー: LunarLanderにおけるPPOは、特定の攻撃下で1.0を超えるAUC値を示した。著者らはこれを、方策が弱いベースライン付近で動作しており、小さな摂動が暗黙的なノイズとして作用し、最終的な崩壊の前に一時的にリターンを向上させたためであると考えている。

意義と主張
本論文は、RoAd-RLが再現性と拡張性の決定的なギャップを埋め、敵対的強化学習のための標準化されたベンチマークを確立することを主張している。方策、攻撃、防御、および指標の相互作用を標準化する統一されたフレームワークを提供することで、RoAd-RLは公平な比較と体系的な分析を可能にする。

著者らは、防御を評価する際には、攻撃を緩和する能力だけでなく、公称の方策性能への影響についても評価する必要があることを強調している。なぜなら、一般的な防御の中には、対処しようとしている脅威よりも有害なものがあるためである。RoAd-RLは、堅牢性評価手法のコミュニティ主導の開発を促進するために、Pythonパッケージとして公開されている。今後の展望として、ブラックボックス攻撃、敵対的学習、証明可能な堅牢性、およびマルチエージェント環境へのサポートが挙げられている。