技術要約：DataFilterによるプロンプトインジェクションへの防御

1. 問題提起

本論文は、LLM（大規模言語モデル）エージェントにおける極めて重要なセキュリティ脆弱性であるプロンプトインジェクションに対処している。LLMがタスクの自動化（例：ウェブナビゲーション、ツール呼び出し）を実行し、信頼できない外部データ（文書、メール、ツールの出力など）と相互作用する場面が増えるにつれ、攻撃者はこれらのデータ内に悪意のある指示を注入することが可能になる。これらのインジェクションは、元の信頼されたユーザープロンプトを上書きし、エージェントをデータの漏洩やマルウェアの実行といった、意図しない潜在的に有害なアクションへと誘導する。

既存の防御策には、以下のような重大なトレードオフが存在する：

• システムレベルの防御: 非自明なシステム再設計を必要とし、データのフロー制御を制限するため、しばしば大幅なユーティリティ（有用性）の低下を招く。
• モデルレベルの防御（ファインチューニング）: モデルの重みへのアクセスを必要とするため、プロプライエタリなブラックボックスモデルには適用できない。
• 検知ベースの防御: 高い偽陽性率（誤検知）を招くことが多く、良性な入力を拒絶することでユーティリティを低下させる。
• プロンプトベースの防御: 一般にセキュリティが弱く、攻撃成功率（ASR）が40%を超えることも多い。

著者らは、モデルに依存せず（プロプライエタリなバックエンドを含むあらゆるバックエンドで動作し）、ユーティリティを維持し、かつシステム再設計を必要とせずに高度なセキュリティを実現する防御策の欠如を指摘している。

2. 手法：DataFilter

著者らは、テスト時におけるモデルに依存しない防御メカニズとしてDataFilterを提案している。入力全体を拒絶する検知システムとは異なり、DataFilterは信頼できないデータソースとバックエンドLLMの間に位置するフィルターとして機能する。

コアメカニズム

DataFilterは以下の2つの入力を受け取る：

1. 信頼された指示 ($u$): 元のユーザープロンプト。
2. 信頼できないデータ ($x$): インジェクションが含まれている可能性のある外部データ。

フィルターの任務は、信頼された指示に関連する良性なコンテンツを保持しつつ、悪意のある指示を除去した浄化されたデータ ($x_{clean}$) を出力することである。これは、条件付きシーケンス・トゥ・シーケンス生成問題として定式化される。

学習プロセス（教師ありファインチューニング）

フィルターモデル（Llama-3.1-8B-Instructに基づく）は、Alpaca指示チューニングデータセットから構築されたカスタムデータセットを用いて、教師ありファインチューニング（SFT）を通じて学習される。学習戦略には、堅牢性を確保するための4つの主要な設計目標が含まれている：

1. 良性の保持 (Benign Preservation): モデルは、インジェクションが含まれていないサンプルを用いて学習され、データが良性であればそのまま出力することを学習する。
2. ハルシネーションの防止 (Preventing Hallucination): インジェクションを削除した後にテキストを「補完」してしまう現象（LLMに共通する挙動）を防ぐため、学習データには良性データを切り詰めた（truncated）サンプルが含まれている。これにより、モデルは新しいトークンを生成することなく、切り詰められたデータを正確に出力することを学習する。
3. 無限反復の防止 (Preventing Endless Repetition): 特殊な終了トークン（<|end_of_data|>）が導入されており、浄化されたデータの直後に生成を停止させ、無限ループを防ぐよう訓練されている。
4. 位置の汎用化 (Positional Generalization): インジェクションは、データ内のランダムな位置（開始、中間、終了）にシミュレートされており、フィルターが場所に関わらずインジェクションを特定して除去できるようにしている。

学習目的は、プロンプトとインジェクションされたデータのペアが与えられたときに、正解となるクリーンなデータを生成する負の対数尤度を最小化することである：
$$L(\theta) = -\log p_\theta(x_{clean} | \langle u, x \rangle)$$

構造化データの処理

JSONなどの構造化データを持つエージェントアプリケーションにおいて、DataFilterは構造を解析し、キーと値のテキストコンテンツを再帰的にフィルタリングしてオブジェクトを再構成する。これにより、構文的に不正なJSONが生成されることを防ぐ。

3. 主な貢献

• 新しい防御アーキテクチャ: DataFilterは、システムレベルのアプローチのセキュリティと、モデルレベルのアプローチの導入の容易さを組み合わせた、初のモデルに依存しない防御策であり、バックエンドのモデルの重みを必要としない。
• 洗練されたフィルタリング論理: フィルターを信頼されたユーザー指示に条件付けることで、システムは、悪意のあるインジェクションである命令的な文章と、良性なコンテキスト（例：メール内の「TODO」リスト）である文章を区別できる。この区別は従来のメソッドでは困難であった。
• 包括的な評価: 本論文は、複数のベンチマーク（SEP、InjecAgent、AgentDojo、AlpacaEval2）および多様な攻撃ベクトル（Straightforward、Ignore、Completion、Multi-Turn、Context攻撃）に対して防御を評価している。

4. 実験結果

著者らは、PromptGuard、DataSentinel、Sandwich prompting、Spotlighting、Tool Filter、および同時期の研究であるPromptArmorを含むベースラインに対してDataFilterを評価した。

セキュリティ性能（攻撃成功率 - ASR）

• AgentDojo: DataFilterは、様々な攻撃タイプにおいてASRを平均0.4%（最大1.2%）に減少させ、PromptArmor（平均0.7%）を上回り、検知ベースおよびプロンプトベースの防御（しばしばASR > 20%）を大幅に凌駕した。
• InjecAgent: DataFilterは、gpt-4oにおいて2.0%（Base attack）および0.0%（Enhanced attack）を、Llama-3.1-8B-Instructにおいて**2.1%および1.2%**のASRを達成した。
• SEP (指示遂行能力): DataFilterは、gpt-4oとLlama-3.1-8B-Instructの両方において、6つの攻撃タイプすべてで低いASRを維持した。特に、正当な指示を模倣するContext攻撃に対して効果的であった数少ない防御策の一つである。
• 適応型攻撃 (Adaptive Attacks): 人間が設計した適応型攻撃や、強力なLLMベースの適応型攻撃（遺伝アルゴリズムを使用）の下でも、DataFilterはテストされた全防御策の中で最も低いASRを維持した（最悪のケースであるLLMベースのシナリオにおいて、PromptArmorが93%であるのに対し、DataFilterは83%）。ただし、著者らは、最も洗練された適応型攻撃に対して完全に免疫を持つ防御は現在存在しないことも注記している。

ユーティリティ性能

• AgentDojo: DataFilterは**79.4%**の良性ユーティリティを保持した（未防御のモデルと比較してわずか約2%の低下）。これに対し、DataSentinelのような検知ベースの防御は、偽陽性により深刻なユーティリティ低下（36.6%）を招いた。
• AlpacaEval2: DataFilterは、未防御のベースラインと同等のユーティリティスコア（gpt-4oで54.1%）を維持しており、フィルタリングプロセスが良性タスクに対する回答の質を低下させないことを示した。

トレードオフ

論文内の図に示されている通り、DataFilterは優れたセキュリティとユーティリティのトレードオフを実現しており、従来の手法よりも「理想的な防御」（ASRゼロかつユーティリティ低下ゼロ）に近づいている。

5. 意義と主張

本論文は、DataFilterがプロンプトインジェクションからブラックボックス型の商用LLMを保護するための、実用的でプラグアンドプレイな防御策を提供すると主張している。その意義は以下の点にある：

1. アクセシビリティ: モデルの重みへのアクセスを必要としないため、プロプライエタリなAPIを使用するサードパーティの開発者でも展開が可能である。
2. 有効性: 文脈に関連しており検出が困難なインジェクションを含む、幅広い攻撃を効果的に軽減する。
3. ユーティリティの保持: 検知ベースのシステムに共通する「過剰拒絶（over-refusal）」の問題を回避し、エージェントが正当なタスクに対して機能し続けることを保証する。

著者らは、DataFilterが現在の攻撃ベクトルに対しては堅牢であるものの、最も洗練された適応型攻撃に対しては依然として脆弱である可能性があることを認めている。これは既存のすべての防御策に共通する限界である。しかし、彼らはDataFilterを、生産レベルのLLMエージェントを保護するための、強力かつ即時的な短・中期的なソリューションとして位置付けている。