論文要約：マルチエージェント LLM システムにおける結合型プロンプト攻撃 (Conjunctive Prompt Attacks)

この論文は、単一エージェントモデルではなく、複数のエージェントが相互作用するマルチエージェント LLM システムにおける新たなセキュリティ脆弱性「結合型プロンプト攻撃（Conjunctive Prompt Attacks）」を提案・実証した研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

近年、LLM は単独のチャットボットとしてではなく、タスク分解、通信、ツール利用を通じて協調する「エージェントシステム」として展開されつつあります。しかし、既存の安全性評価は主に単一エージェントを対象としており、マルチエージェントシステム特有の攻撃面を見落としています。

• 核心的な問題: マルチエージェントシステムでは、ユーザーのクエリがセグメント化され、異なるエージェントへルーティングされます。この際、**「ユーザー側にあるトリガー（鍵）」と「遠隔エージェントに埋め込まれた隠れた悪意あるテンプレート」が、個別には無害に見えますが、ルーティングによって特定の脆弱なエージェントで「結合（Conjunction）」**した瞬間に有害な動作を誘発する攻撃が可能になります。
• 攻撃者の制約: 攻撃者はモデルの重みやクライアントエージェントを変更できません。また、遠隔エージェントの内部（プロンプトやラッパー）はブラックボックス（サードパーティ製や外部ホスト）であるため、直接改ざんできません。攻撃者はユーザー入力内のトリガーの配置と、遠隔エージェントへのテンプレート注入（サプライチェーンの弱点）のみを制御します。
• 既存防御の限界: 従来のガードモデル（PromptGuard や Llama-Guard など）は、個別のプロンプトや出力を監視しますが、攻撃のトリガーが分散しているため、単独では悪意を検出できず、防御が機能しません。

2. 提案手法：ルーティング意識型の結合型攻撃フレームワーク

著者らは、モデルの重みを変更せず、プロンプトレベルの最適化のみで攻撃成功率を最大化するフレームワークを提案しました。

2.1 脅威モデル

• システム構成: クライアントエージェント（オーケストレーター）がユーザークエリをセグメント化し、確率的なルーティング機構を通じて複数の遠隔エージェントへ分配します。
• 攻撃条件: 攻撃が成功するためには以下の 3 条件が同時に満たされる必要があります。
  1. ユーザークエリ内に特定のトリガーキーが含まれている。
  2. そのセグメントが、悪意あるテンプレートが注入された「侵害されたエージェント」へルーティングされる。
  3. 侵害されたエージェント内で、キーとテンプレートが結合し、悪意ある動作（例：権限付きツールの実行）が活性化される。

2.2 最適化手法（Routing-Aware Counterpart Optimization）

攻撃成功率（ASR）を直接最適化することは、モデルがブラックボックスであり、配置が離散的であるため困難です。そこで、以下の方策を用います。

• 微分可能な代替目的関数: 攻撃の成功確率を近似する微分可能な目的関数を設計します。
  • $P_{route}$: キーを含むセグメントが侵害されたエージェントへ到達する確率。
  • $P_{template}$: テンプレートが有効に機能する確率。
  • 目的関数はこれらの積（$\hat{ASR} = P_{route} \cdot P_{template}$）を最大化するように設計されます。
• 最適化変数:
  1. キー配置 ($j$): ユーザークエリのどのセグメントにトリガーを置くか。
  2. テンプレート配置 ($\tau$): 侵害されたエージェント内でテンプレートをどこに配置するか（プレフィックス、ラップ、サフィックス）。
  3. ルーティングバイアス ($\rho$): キーを含むセグメントが侵害されたエージェントへ誘導される確率を高めるパラメータ（攻撃者は直接ルーティングロジックを制御せず、入力分布を操作してルーティング決定に影響を与えます）。
• 正則化: 誤検知（Clean, Key-only, Template-only の状態での活性化）を抑制し、真の結合攻撃のみを強化するようにペナルティ項を追加します。

3. 主要な貢献

1. 現実的な脅威モデルの形式化: ユーザー側のトリガーと遠隔エージェントのテンプレートが相互作用することで発生する「結合型プロンプト攻撃」の脅威モデルを定義しました。
2. プロンプトレベルの最適化フレームワーク: モデル重みやクライアントを変更せず、ルーティングとプロンプト配置を最適化することで、効率的な攻撃を構築する手法を開発しました。
3. 既存防御の無力化の証明: 広範な実験により、現在のガードモデルやシステムレベルの制御（ツール制限など）が、この結合型攻撃に対して脆弱であることを実証しました。

4. 実験結果

4.1 設定

• トポロジー: スター型、チェーン型、有向非巡回グラフ（DAG）型の 3 種類の通信構造。
• モデル: Gemma-2B, Mistral-7B, LLaMA3-8B など、複数のオープンソースモデルと閉鎖源モデル（GPT-5-mini）で評価。
• 評価指標: 4 つのレジーム（Clean, Key-only, Template-only, Both）における攻撃成功率（ASR）。

4.2 結果の要点

• 最適化による劇的な効果: 最適化を行わない場合、攻撃成功率は低く、トポロジーに依存してばらつきがありました。しかし、**完全な最適化（ルーティングバイアス、キー配置、テンプレート配置のすべて）**を行うことで、すべてのモデルとトポロジーにおいて ASR が 1.0 に近づき、攻撃が安定して成功しました。
• 低い誤検知率: 最適化された攻撃は「Both」レジームでのみ高成功率を示し、他のレジーム（キーのみ、テンプレートのみなど）では ASR がほぼ 0 のまま維持されました。これは、個々のコンポーネントが単独では無害であることを示しています。
• 防御の失敗:
  • Guard Models: PromptGuard や Llama-Guard などの既存の防御モデルは、最適化された攻撃に対して F1 スコアが急激に低下しました。特に小規模なモデルは検出能力をほぼ失いました。
  • システム制御: ツールの許可リストや最小権限の原則などの制御も、攻撃を完全に阻止できませんでした（ASR は低下しましたが、ゼロにはなりませんでした）。
• トポロジー依存性: 最適化前はトポロジーによって結果が大きく異なりましたが、最適化後はどのトポロジーでも高い成功率が得られるようになり、攻撃の汎用性が確認されました。

5. 意義と結論

この研究は、マルチエージェント LLM システムにおける構造的な脆弱性を明らかにしました。

• 安全性評価の盲点: 従来の単一エージェントベースの安全性評価や、個別のプロンプト検査だけでは、分散型で結合的に発現する攻撃を検出できません。
• 防御の方向性: 今後の防御策は、個別のメッセージではなく、**「ルーティング経路」「エージェント間のコンポジション（構成）」「プロンプトの伝播」**を考慮した、トポロジー意識型の防御メカニズムの構築が必要です。
• サプライチェーンリスク: 外部提供の遠隔エージェント（ブラックボックス）が侵害されている場合、クライアント側が完全に安全なプロンプトを送っても、システム全体が危険にさらされる可能性があります。

結論として、LLM ベースの自律システムが普及する中で、エージェント間の相互作用とルーティングに起因する新たな攻撃ベクトルへの理解と、それに対応する堅牢な防御策の確立が急務であることが示されました。