BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks

以下は、論文「BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks」の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）ベースのマルチエージェントシステム（MAS）は、伝播脆弱性に対してますます脆弱になっています。これは、少数の悪意あるエージェントがエージェント間の相互作用を通じて集団的な意思決定を歪めることを指します。一般的な攻撃ベクトルには以下が含まれます：

• プロンプトインジェクション（PI）： システムプロンプトやユーザー入力を操作する。
• メモリポイズニング（MA）： 過去の相互作用データや知識ベースを汚染する。
• ツール悪用（TA）： 外部プラグインの脆弱性を悪用する。

既存のソリューションの限界：
現在の防御メカニズム、例えばG-Safeguardは、**教師ありグラフ異常検出（GAD）**に依存しています。これらの手法は、検出モデルを訓練するために悪意あるエージェントのラベル付きデータを必要とします。これにより、2 つの重要なボトルネックが生じます：

1. データの不足： 現実世界の敵対的攻撃は希少で巧妙に隠蔽されているため、適切に注釈付けされた悪意あるサンプルを取得することが困難です。
2. 汎化性の欠如： 特定の攻撃タイプで訓練された教師ありモデルは、新規、未確認、または進化中の攻撃パターンを検出できないことがよくあります。

核心的な研究課題は以下の通りです：ラベル付き攻撃データや攻撃パターンの事前知識なしに動作する MAS 向けの防御フレームワークを設計することは可能か？

2. 手法：BlindGuard

BlindGuard は、正常な相互作用データのみを使用して悪意あるエージェントを検出・軽減するために設計された教師なし防御フレームワークです。これは 3 つの中核コンポーネントで構成されています：

A. 階層的エージェントエンコーダ

「多レベルの文脈認識」のギャップに対処するため、BlindGuard は 3 つの異なるレベルからの情報を融合することで包括的なエージェント表現を構築します：

1. エージェントレベル（エゴ）： エージェントのテキスト応答から導出された個々の意味的特徴を捉えます（SentenceBERT を通じてエンコード）。
2. 近隣レベル： 直接接続されたエージェントからの文脈情報を集約し、局所的な相互作用をモデル化します。
3. システムレベル： 全体の MAS グラフにわたるグローバル情報を統合し、長距離依存関係と集団行動パターンを捉えます。

エンコーダは、これらの特徴（$h^s_i, h^n_i, h^g_i$）を統合された表現 $z_i$ に結合する「要約 - 変換」アーキテクチャを使用します。これにより、モデルは近隣からの逸脱を通じて孤立した攻撃者を、またグローバルな行動逸脱を通じて協調的な攻撃グループを検出することが可能になります。

B. 汚染誘導型攻撃検出器

訓練用のラベル付き悪意あるデータが存在しないため、BlindGuard は攻撃をシミュレートするために汚染ベースの戦略を採用します：

1. 意味的汚染： 複雑な生テキストを操作する代わりに、モデルは正常なエージェント特徴の埋め込み空間に方向性ノイズを注入します。これは敵対的攻撃によって引き起こされる意味的逸脱をシミュレートします。
   • 数式：$\tilde{x}_i = x_i + \alpha \|x_i\|_2 \cdot \frac{\epsilon_i}{\|\epsilon_i\|_2}$。ここで、$\epsilon_i$ はランダムノイズ、$\alpha$ は強度を制御します。
2. 教師あり対照学習： モデルは、これらの合成された「汚染された」エージェントを負のサンプルとして、正常なエージェントを正のサンプルとして使用して訓練されます。目的は、正常なエージェント間の類似性を最大化し、正常なエージェントと汚染されたエージェント間の類似性を最小化することです。これにより、実際の攻撃ラベルを必要とせずに埋め込み空間内に堅牢な決定境界が作成されます。

C. 剪定ベースの修復

推論中、システムはグローバル表現との文脈的類似性に基づいて、各エージェントの異常スコアを計算します。

• 検出： 高い異常スコア（正常なクラスターとの類似性が低い）を持つエージェントはフラグ付けされます。
• 修復： システムは双方向エッジ剪定を実行し、検出された悪意あるエージェントとのすべての通信リンクを切断します。これにより脅威を隔離し、敵対的伝播を防ぎながら、正常なエージェント間の正当な相互作用を維持します。

3. 主要な貢献

1. シナリオの革新： 特定の攻撃パターンのラベル付き攻撃データや事前知識なしに機能する MAS 向けの実用的な防御パラダイムを提案し、現実世界での展開における重要なギャップに対処します。
2. 方法論的進展： LLM ベースの MAS に特化した最初の教師なし GAD 手法であるBlindGuardを導入します。これは、局所およびグローバル文脈を組み合わせた階層的エンコーディングと、汚染誘導型対照学習を独自に組み合わせ、従来の構造的 GAD 手法が見逃す意味的異常に対処します。
3. 包括的な評価： 4 つの異なる MAS トポロジー（チェーン、ツリー、スター、ランダム）、3 つの攻撃タイプ（PI、MA、TA）、および複数の LLM バックボーン（GPT-4o-mini、DeepSeek-V3、Qwen3）にわたって、手法を広く検証しました。

4. 実験結果

BlindGuard は、教師あり手法（G-Safeguard）や教師なし GAD 手法（DOMINANT、PREM、TAM）を含む最先端のベースラインに対して評価されました。

• 教師なしベースラインとの比較： BlindGuard は他の教師なし手法を大幅に上回り、ほとんどのシナリオで80% 超の AUC スコアを達成しました。「防御なし」や他の教師なしアプローチと比較して、攻撃成功率（ASR）を大幅に削減し続けます。
• 教師あり上限との比較： ラベル付き訓練データがないにもかかわらず、BlindGuard は（真の攻撃ラベルにアクセスできる）教師あり G-Safeguard と同等のパフォーマンスを達成します。
• 汎化性：
  • 未確認攻撃： BlindGuard は未確認の攻撃タイプ（例：プロンプトインジェクションで訓練し、メモリポイズニングでテスト）に対して優れた汎化性を示しますが、教師ありモデルはパフォーマンスが大幅に低下します。
  • トポロジーおよび LLM 非依存： この手法は、さまざまな通信トポロジーやさまざまな LLM バックボーンにわたって堅牢なパフォーマンスを維持し、特定の構造やモデルに過学習するのではなく、普遍的な敵対的パターンを学習していることを示しています。
• スケーラビリティ： この手法は、パフォーマンスの低下なしに、より大規模な MAS（最大 50 エージェント）に効果的に拡張されます。

5. 意義と影響

• 実用性： ラベル付き悪意あるデータへの依存を排除することで、BlindGuard は攻撃データが利用できない、または機密扱いされている現実世界の MAS 展開において、堅牢なセキュリティを実行可能にします。
• 攻撃非依存性： 「未知の」攻撃を検出する能力は、動的な環境における新興の脅威から防御するための重要なツールとなります。
• 理論的貢献： この論文は、MAS セキュリティにおけるグローバルシステム文脈の必要性を浮き彫りにしています。局所的な近隣特徴のみに依存することは、協調的または微妙な意味的攻撃を検出するには不十分であることを実証し、言語中心システムにおけるグラフベースの異常検出のための新たな基準を確立しています。

結論として、BlindGuard は LLM ベースのマルチエージェントシステムのセキュリティにおいて重要な前進を表しており、敵対的伝播の増大する脅威に対するスケーラブルで汎用的かつ実用的な解決策を提供します。