Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

以下は、論文「Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation (AdapAM)」の詳細な技術的サマリーです。

1. 問題定義

本論文は、厳密なブラックボックス設定で動作する**マルチエージェントシステム（MAS）**における、重要なセキュリティと信頼性の課題に取り組んでいます。

• 背景: MAS は、無人航空機（UAV）、産業用ロボット、自動運転においてますます利用されています。しかし、意思決定を誤らせるために入力に摂動を加える敵対的攻撃に対して脆弱です。
• 既存研究の限界:
  • ホワイトボックス仮定: 多くの既存手法は、内部モデルパラメータやネットワーク出力へのアクセスを必要としますが、これは現実的な展開においては非現実的です。
  • 高い制御権限: 一部の手法は、攻撃者がエージェントの動作を直接制御できると仮定していますが、これは稀にしか実現できません。
  • 隠密性と効果性のトレードオフの欠如: 現在のブラックボックス手法は、多くの場合、すべてのエージェントに摂動を加える（隠密性が低い）か、環境の状態に関係なく固定されたエージェントを標的にする（効果性が低い）傾向があります。最も重要な被害者エージェントと、最も破壊的な動作を動的に選択する戦略が欠けています。
• 目的: 厳密なブラックボックス設定（入力/出力のみの観測）で動作し、エージェントの動作ではなく観測のみを摂動させ、単一の適応的に選択されたエージェントのみを攻撃することで高い隠密性を維持しつつ、高い効果性を達成する攻撃フレームワークの開発です。

2. 手法：AdapAM フレームワーク

著者らは、2 つの中核モジュールから構成されるAdapAM（Adaptive adversarial Attacks on Multi-Agent systems）を提案します。

A. 適応的選択ポリシー（$\pi_\phi$）

このモジュールは、各時間ステップでどのエージェントを攻撃し、どのような悪意ある動作を誘発するかを決定します。

• 目的: 最も重要なエージェント（攻撃対象）と、最悪の影響を与える動作を選択することで、MAS のグローバル報酬の低下を最大化することです。
• アーキテクチャ:
  • Soft Actor-Critic (SAC) を使用した強化学習（RL）プロセスとしてモデル化されます。
  • 階層的設計: 探索空間を削減するため、ポリシーは 2 つの分類器を使用します。
    1. $C_{\phi_1}$: グローバル状態 $s_t$ に基づいて、攻撃対象エージェントのインデックス（$i_t$）を選択します。
    2. $C_{\phi_2}$: $s_t$ と選択されたエージェント $i_t$ に基づいて、悪意ある動作（$\tilde{a}_t$）を選択します。
  • 報酬信号: 選択ポリシーの報酬は、被害 MAS のグローバル報酬の負の値（$R^\alpha_t = -R(s_t, a_t, s_{t+1})$）です。
• 動作: 各ステップにおいて、ポリシーはエージェントと目標動作をサンプリングします。その後、システムは選択されたエージェントの観測を摂動させ、その特定の動作を実行させようと試みます。

B. 悪意ある動作を誘発するためのプロキシベースの摂動生成

被害 MAS がブラックボックスであるため、攻撃者は摂動を生成するために直接勾配を計算できません。

• プロキシエージェント: 攻撃者は、Multi-Agent Generative Adversarial Imitation Learning (MAGAIL) を使用して一連のプロキシエージェント（$\pi_{\psi}$）を訓練します。これらのプロキシは、観測から動作へのマッピングを模倣することで、被害エージェントのポリシー（$\pi_{\psi} \approx \pi_{victim}$）を近似します。
• 摂動生成:
  • プロキシエージェントが訓練されると、攻撃者はプロキシモデルに対して「ホワイトボックス」アクセスを獲得します。
  • プロキシモデルに対してC&W (Carlini & Wagner) 攻撃技術を使用し、プロキシ（および転移性により被害者）が望ましい悪意ある動作 $\tilde{a}_t$ を出力するように強制する摂動観測 $\tilde{o}_{t,i}$ を生成します。
  • 制約条件としてポリシーが目標動作を出力することを満たしつつ、摂動を最小化（ユークリッド距離）して隠密性を確保します。
• 注入: 生成された摂動観測は、実際のブラックボックス環境において、選択された被害エージェントの入力ストリームに注入されます。

3. 主要な貢献

1. 新規ブラックボックスフレームワーク: 厳密なブラックボックス MAS 設定において、動作制御を必要とせずに、被害エージェントと予想される悪意ある動作の両方を適応的に選択する最初のフレームワークである AdapAM を提案します。
2. プロキシベースの摂動: 生成敵対的模倣学習（MAGAIL）を使用してプロキシエージェントを訓練する手法を導入します。これにより、ブラックボックスの制約と、効果的な摂動を生成するために必要なホワイトボックス勾配情報の間のギャップを埋めます。
3. バランスの取れた性能: すべてのエージェントを攻撃するのではなく、重要な 1 つのエージェントのみを攻撃することで、効果性（システム性能の低下）と隠密性（最小限の摂動強度と低い検出率）の間の優れたトレードオフを達成します。

4. 実験結果

著者らは、SMAC（StarCraft）、GF（Google Research Football）、MPE（Multi-Agent Particle）の 3 つのベンチマークにわたる8 つのマルチエージェント環境で AdapAM を評価しました。比較対象として、MASafe、AMCA、AMI、Lin の 4 つのベースラインと対比しました。

• 攻撃性能:

  • 効果性: AdapAM は、「Normal」および「Robust」（ROMANCE 訓練済み）の両方のターゲット MAS の報酬と勝率を大幅に低下させました。
  • 比較: エージェント数が少ない環境（10 未満）では、AdapAM は勝率を**0%**まで低下させ、すべてのベースラインを上回りました。大規模環境（例：27m vs 30m）でも、すべてのエージェントに摂動を加える手法を凌駕することが多く、非常に競争力がありました。
  • 頑健性: AdapAM は、攻撃に対して特に頑健に訓練された MAS に対しても、優れた性能を維持しました。
  • 摂動率: さまざまな摂動率（15% から 100%）において、AdapAM は一貫してベースラインを上回りました。

• 隠密性評価:

  • 摂動強度: $L_\infty$ ノルムで測定されます。AdapAM は、すべてのベースラインと比較して最小の摂動を追加しました（例：SMAC-8m で 0.12 対 0.33）。これにより攻撃は知覚不可能となりました。
  • 検出耐性: 既存の攻撃検出メカニズムの F1 スコアで測定されます。AdapAM は最低の F1 スコア（例：0.57 対 0.82）を示し、検出が最も困難であることを示しています。
  • 理由: すべてのエージェントを摂動させ、容易に検出される MASafe とは異なり、AdapAM の選択的・単一エージェントアプローチと最適化された摂動生成の組み合わせが、高い隠密性を保証しています。

5. 意義

• セキュリティ評価: AdapAM は、現実的なブラックボックスシナリオにおける MAS の真の頑健性を評価するための厳密なツールを提供し、ホワイトボックスまたは非適応的な手法では見逃される可能性のある脆弱性を明らかにします。
• 実用性: 厳密なブラックボックス制約（観測摂動のみ）の下で動作し、最小限の攻撃予算（単一エージェント）を必要とするため、自動運転やドローン群などの重要インフラに対する現実的な脅威モデルを反映しています。
• 防御への示唆: AdapAM の成功は、適応的で標的型の攻撃に対する現在の頑健な訓練手法の不足を浮き彫りにしており、エージェントの選択と観測の完全性に対処する防御メカニズムの必要性を示唆しています。

結論として、AdapAM は、適応的なターゲティングとプロキシベースのホワイトボックス生成を組み合わせることが、マルチエージェントシステムを侵害するための非常に効果的で隠密性の高い戦略であることを実証しており、攻撃の成功と隠蔽の両方において最先端の手法を上回っています。