AgentSentry: 時間的因果診断とコンテキスト精製による LLM エージェントの間接プロンプトインジェクション対策

本論文は、外部ツールや検索システムを活用する大規模言語モデル（LLM）エージェントに対する**間接プロンプトインジェクション（IPI）攻撃を、推論時（inference-time）に検出・緩和する新しいフレームワーク「AgentSentry」**を提案するものです。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、結果、意義の観点から詳細にまとめます。

1. 問題定義：間接プロンプトインジェクション（IPI）の課題

LLM エージェントは、検索、メール、カレンダー、企業 API などの外部ツールを自律的に使用して複雑なタスクを遂行します。しかし、この設計は**間接プロンプトインジェクション（IPI）**という新たな攻撃ベクトルを生み出しています。

• 攻撃メカニズム: 攻撃者はユーザーの直接入力（プロンプト）を制御する必要はありません。代わりに、ツールが返す結果や検索されたコンテンツ（信頼されていないアーティファクト）に悪意のある指示を埋め込みます。
• 多ターン・遅延型 takeover: 従来の直接攻撃と異なり、IPI は単一のターンで完結せず、エージェントの状態（コンテキスト）に蓄積された信頼できない情報を通じて、数ターン後にエージェントの行動をユーザーの意図から逸脱させます（例：初期の「読み取り」操作で埋め込まれた指示が、後の「書き込み」操作で実行される）。
• 既存防御の限界:
  • 検出中心のアプローチ: 既存の防御（ヒューリスティックな検出や行動の一致確認など）は、不確実な状況で早期にタスクを中止したり、ツール使用を過度に制限したりする傾向があります。
  • ユーティリティの低下: 攻撃を検知した際にタスクを完全に停止させるため、攻撃が成功しなくても本来のタスク完了率（Utility）が大幅に低下します（例：MELON などの既存手法は、攻撃下でのユーティリティが 30% 台に留まるケースがある）。
  • 因果関係の特定困難: どの時点で、どの外部情報がエージェントの意思決定を支配したのか（「takeover point」）を特定する principled なメカニズムが欠如していました。

2. 手法：AgentSentry のアーキテクチャ

AgentSentry は、多ターン IPI を**「時間的因果的乗っ取り（temporal causal takeover）」**としてモデル化し、推論時に以下の 2 つの主要な段階で動作します。

2.1 時間的因果診断（Temporal Causal Diagnostics）

ツールからの応答がエージェントの状態に組み込まれる直後（ツール・リターン境界）で、制御された**対照的再実行（counterfactual re-execution）**を行います。

• 境界の定義: ツールの結果がコンテキストに追加され、次のアクションが生成される直前の時点。
• 4 つの介入レジーム（Regimes）: 各境界で、以下の 4 つの条件でエージェントを「ドライラン（外部影響なし）」で再実行し、次のアクションの傾向を評価します。
  1. orig: 元のユーザー入力 + 元のメディエータ（ツール出力）
  2. mask: 中立な診断プローブ（ユーザー入力を無意味化） + 元のメディエータ
  3. mask_sanitized: 中立なプローブ + 精製されたメディエータ（指示文を除去）
  4. orig_sanitized: 元のユーザー入力 + 精製されたメディエータ
• 因果効果の推定: これらの結果から、ユーザーの意図による影響（Direct Effect）と、不審なコンテキストによる影響（Indirect Effect）を分離・推定します。
  • 特定の境界で「不審なコンテキストの影響」が統計的に有意に増加し、ユーザーの意図の支配力が低下している場合、そこを**「乗っ取り点（Takeover Point）」**として特定します。

2.2 因果ゲート付きコンテキスト精製（Causally Gated Context Purification）

診断結果に基づき、攻撃を緩和しつつタスクを継続します。

• 条件付き活性化: 診断が「コンテキスト媒介による因果的支配」を検出した場合にのみ、緩和措置を講じます。
• コンテキスト精製（Purification）: 攻撃的な指示（imperative directives）や優先順位を覆す命令を除去し、タスクに関連する事実（証拠）のみを残すようにコンテキストを変換します。
  • 例：「ファイルを削除せよ」という指示を「ファイル削除の提案（事実）」に変換し、実行可能なコマンドとして扱えないようにします。
• 安全な継続（Safe Continuation）: 精製されたコンテキストと、最小限の修正を加えた次のアクションに基づいて、エージェントの元のワークフローを再開します。これにより、タスクを中止することなく、攻撃的な行動のみを阻止します。

3. 主要な貢献

1. 初の時間的因果的アプローチ: ツール拡張型 LLM エージェントにおける多ターン IPI に対する、推論時防御として初めて「乗っ取りのモデル化、局所化、緩和」を時間的因果の視点で統合したフレームワークを提案しました。
2. 対照的再実行に基づく診断プロトコル: 辞書的な一致や閾値ベースのヒューリスティックに依存せず、ツール・リターン境界での制御された対照的再実行により、攻撃コンテキストが意思決定を支配する「転換点」を解釈可能に特定します。
3. 因果ゲート付き緩和メカニズム: 攻撃による制御信号のみを選択的に抑制し、タスクに必要な証拠は保持することで、早期のタスク中止を回避し、長期的な多ツールワークフローでの安全な継続を可能にします。
4. 高性能な防御性能: AgentDojo ベンチマークにおいて、攻撃成功率（ASR）を 0% に抑えつつ、攻撃下でのユーティリティ（UA）を大幅に向上させました。

4. 実験結果

評価環境:

• ベンチマーク: AgentDojo（4 つのタスクスイート：Travel, Workspace, Banking, Slack）。
• 攻撃ファミリー: Important Instructions, Tool Knowledge, InjecAgent の 3 種類。
• モデル: GPT-4o, GPT-3.5-turbo, Qwen-3-Max（ブラックボックス設定）。

結果の要点:

• 攻撃成功率（ASR）: 全てのモデルと攻撃タイプにおいて、ASR = 0% を達成しました。
• 攻撃下でのユーティリティ（UA）: 平均 74.55% を達成。
  • 既存の最強力なベースライン（Task Shield, MELON-Aug など）と比較して、UA が 20.8% 〜 33.6% 向上しました。
  • 例：GPT-4o において、Task Shield の UA 53.13% に対し、AgentSentry は 73.90% を達成。
• 正常タスクへの影響: 攻撃がない場合のタスク成功率（CU）や誤検知率（FPR）は、防御なしの状態と同等か、わずかに向上しており、防御による性能劣化は確認されませんでした。
• アブレーション研究: 精製された対照的再実行（Sanitized Counterfactuals）がセキュリティとユーティリティの両立に不可欠であることを示しました。これを除去すると、UA は 58% 台まで低下し、ASR は 20% 台まで上昇しました。

5. 意義と結論

AgentSentry は、LLM エージェントのセキュリティにおいて重要な転換点となる成果です。

• パラダイムシフト: 「検出したら停止する（Detection-and-Block）」という従来の保守的な防御から、「原因を特定し、修正して継続する（Causal Attribution-and-Continuation）」という新しいアプローチへ移行しました。
• 実用性: 推論時のみで動作し、モデルの再学習やパラメータへのアクセスを必要としないため、ブラックボックス環境やプロプライエタリな LLM にも適用可能です。
• 将来展望: 時間的因果診断の概念は、単なるプロンプトインジェクションだけでなく、エージェントの意思決定プロセスにおける外部情報の影響を定量化・制御する一般的な枠組みとして応用が期待されます。

本論文は、複雑な多ターンタスクにおいて、攻撃を完全に防ぎつつ、エージェントの本来の能力（ユーティリティ）を最大限に引き出すための、実用的かつ堅牢な防御策を提供しています。