技術要約: INFA-GUARD

問題提起

大規模言語モデル（LLM）ベースのマルチエージェントシステム（MAS）の急速な進化は、エージェント間の相互通信を通じて悪意のある影響がウイルスのように伝播するという、重大なセキュリティ脆弱性をもたらしています。MASに対する既存の防御策は、通常、「良性」エージェントと「攻撃」エージェントを厳格に区別するバイナリ・パラダイムの下で動作していますが、これらは**感染エージェント（infected agents）**という極めて重要な第三のカテゴリーを見落としています。

感染エージェントとは、攻撃エージェントによって説得または誤導された、本来は良性であるエンティティのことです。これにより、その内部ロジックが侵害され、元の攻撃エージェントが排除された後でも、誤った結論を出力し続け、有害な情報を拡散し続けます。現在の防御策は、多くの場合これらの感染エージェントを見過ごしており、主に以下の2つの失敗を招いています：

1. 継続的な伝播: 感染エージェントは二次的な伝播者として機能し、ソース（発生源）が遮断された後も攻撃を維持させます。
2. トポロジー情報の喪失: 既存の手法は、感染エージェントが攻撃ソースの近傍に存在する可能性が高いという構造的関係を活用できておらず、ローカライゼーション（局在化）のための重要な指標を見逃しています。

手法: INFA-GUARD

本論文では、発生源となる攻撃エージェントと、説得された感染エージェントを明示的にモデル化し、区別する防御フレームワークである INFA-GUARD (Infection-Aware Guard) を提案します。このフレームワークは、以下の3つのコアメカニズムを通じて動作します。

1. 感染を考慮した検知 (Infection-Aware Detection)

本システムは、MASをグラフ $G=(V, E)$ としてモデル化し、検知をグラフ異常検知タスクとして扱います。

• 時間的ダイナミクス: エージェントの発話のテンポラル・エンベディング（時間的埋め込み）をモデル化することで、エージェントが良性状態から感染状態へと遷移する動的なプロセスを捉えます。特化した関数 $\Psi$ は、反復（イテレーション）を通じた自己返信やメッセージ交換を分析することで、これらのダイナミクスを抽出します。
• ターン適応型GNN (Turn-Adaptive GNN): 感染の進化する性質に合わせ、検出器はターン適応型の並列ブランチを持つグラフニューラルネットワーク（GNN）を採用しています。これにより、モデルはマルチエージェント対話の異なるステージに対してパラメータを最適化できます。
• デュアルヘッド分類: モデルはデュアルヘッド・アーキテクチャを利用し、エージェントが攻撃者 ($V_{atk}$) である確率と、感染エージェント ($V_{inf}$) である確率を同時に予測し、これらを異なる脅威カテゴリとして扱います。

2. トポロジー制約による空間的調整 (Spatial Adjustment via Topology Constraints)

本フレームワークは、感染がランダムではなく、構造的に制約されたプロセスであるという観察に基づいたトポロジー制約を組み込んでいます。

• 連座制 (Guilt-by-Association): システムは、感染エージェントの存在が、その直近の近傍における攻撃ソースの存在確率を著しく高めるという制約を課します。
• 損失関数: 学習中にトポロジーを考慮した損失項 ($L_{topo}$) が追加されます。これは、周囲に攻撃者や感染エージェントが存在しない「孤立した」感染エージェントを特定してしまうことを罰することで、偽陽性を低減します。
• 適応後の処理 (Post-Adaptation): 修復プロセスにおいて、システムは時間的トレンドと近傍関係を分析することで予測を精緻化します。あるエージェントが感染していると予測されていても、それが孤立している場合、システムは未検出の近傍が存在すると推論し、それに応じて近傍の分類を調整します。

3. 標的を絞った修復 (Targeted Remediation)

INFA-GUARDは、システムのトポロジーの完全性を維持するために、2つの脅威カテゴリに対して異なる戦略を採用します。

• 攻撃エージェント: これらは、グラフ構造を維持しつつ、悪意のあるレスポンスの生成を停止させるために、攻撃確率が最も低い良性エージェントへと**置き換え（replaced）**られます。
• 感染エージェント: これらは除去されるのではなく、**リハビリテーション（rehabilitated）**されます。システムは、LLMを活用してエージェントのレスポンスをチェックし、書き換える返信レベルの修復関数 ($R_F$) を使用します。これにより、有益な意味内容を保持しつつ、悪意のあるコンテキストを除去します。これにより、エージェントは後続のイテレーションにおいて、良性の情報源として回復することが可能になります。

主な貢献

1. 新しい脅威の分類: 本論文は、MASセキュリティにおいて、バイナリな良性/攻撃のパラダイムを超え、感染エージェントを明確な脅威カテゴリとして定義し、対処した初めての研究です。
2. 感染を考慮したフレームワーク: 時間的ダイナミクスとトポロジー制約を用いて、攻撃ソースと感染エージェントの両方を共同で検知・局在化する防御メカニズムを導入しました。
3. トポロジーの保存: ノードを削除して接続性を損なう手法とは異なり、INFA-GUARDは攻撃者を置き換え、感染者をリハビリテーションすることで、MASグラフの構造的完全性とレスポンスの多様性を維持します。
4. 実証的検証: 本フレームワークは、多様な攻撃シナリオ（プロンプト注入、ツール攻撃、メモリ攻撃）、異なるLLMバックボーン（GPT-4o-mini, Qwen3）、および様々なトポロジー（チェーン、ツリー、スター、ランダム）にわたって検証されています。

実験結果

広範な実験により、INFA-GUARDが最先端の性能を達成していることが示されました。

• 攻撃成功率 (ASR): 本フレームワークは、ベースラインと比較してASRを平均で 33% 低減します。特定のシナリオでは、既存の最良のベースライン（Inspector）を 3% から 12.9% を超える差で上回ります。例えば、Tool Attack (TA) において、GPT-4o-miniを用いた場合のASR@3は 2.1% であり、競合手法よりも大幅に低い値を示しました。
• 防御成功率 (MDSR): すべてのタスクにおいて一貫して最高のMDSRを達成しており、Tool Attackでは 98.3%、Memory Attackでは 96.7% まで回復しています。
• スケーラビリティ: 本手法は、再学習なしで最大50エージェント規模のシステムに対しても堅牢な汎用性を示し、通信ラウンドが進むにつれてASRが低下するという「自己修復」能力を発揮します。
• 効率性: INFA-GUARDは、コストとパフォーマンスの優れたトレードオフを実現しています。プロンプトトークンの増加はわずか 7.2%、完了トークンの増加は 9.3% であり、AgentXposed（200%を超えるオーバーヘッドが発生する場合がある）のようなベースラインよりも大幅に低くなっています。

意義と主張

本論文は、従来のバイナリ防御が無視してきた「感染」のダイナミクスに対処することで、根本原因からの攻撃伝播を阻止するための方法論的な解決策を提示していると主張しています。感染状態への遷移を明示的にモデル化し、トポロジー制約を利用することで、INFA-GUARDは協調的な接続性を損なうことなく、MASを効果的に保護します。

著者らは、本研究を信頼できる協調型AIエコシステムの開発に向けた不可欠なステップとして位置づけており、バイナリな検知パラダイムを脱却することが、高度なマルチエージェント環境における非倫理的かつ悪意のある活動に対抗するために極めて重要であると述べています。本研究は、感染エージェントを無視することがシステムに残留的なセキュリティリスクを残す一方で、INFA-GUARDが検知とリハビリテーションの両面において包括的なアプローチを提供することを強調しています。