Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks

技術要約：ドメイン・カモフラージュ型インジェクション攻撃に対するプロンプティングベースの防御策の評価

問題提起
エンタープライズ環境における大規模言語モデル（LLM）エージェントは、信頼できないソース（例：財務報告書、法的契約書）から取得した文書を検索・処理して推奨事項を生成することが増加しています。標準的なプロンプト・インジェクション攻撃は、明示的な上書き指示（例：「これまでの指示をすべて無視せよ」）を使用するため、構文的検知器によって容易にフラグが立てられますが、より巧妙な脅威であるドメイン・カモフラージュ型インジェクションが登場しています。これらの攻撃は、正当なドメインの語彙と区別がつかない語彙を用いて、悪意のある指示を取得コンテンツ内に埋め込みます。先行研究（Pai, 2026）は、Llama Guard 3を含む標準的な分類器がこれらのペイロードを検出できず、結果として80〜100%の「カモフラージュ検出ギャップ（CDG）」が生じることを確立しました。その結果、実務家は、検知メカニズムが失敗した場合にどの防御アーキテクチャが効果的に攻撃を軽減できるかについての経験的な指針を欠いています。

手法
著者らは、3つのモデルファミリーと3つのデプロイメント・ドメインにわたって、5つのプロンプティングベースの防御アーキテクチャの体系的な評価を実施しました。

• ベンチマークと範囲: 本研究では、金融（株価推奨、リスク）、法務（契約、コンプライアンス）、一般（QA、要約）のドメインをカバーする45のタスク・ベンチマークを利用しました。データセットには3,510回の試行が含まれています。
• 評価対象モデル: Claude Haiku 4.5、Llama 3.1 8B Instruct、および Gemini 2.0 Flash。
• 攻撃条件:
  • 静的（Static）: 標準的な上書き指示（例：「これまでの指示をすべて無視せよ」）。
  • カモフラージュ（Camouflage）: プロフェッショナルなドメイン語彙を模倣した攻撃者LLMによる悪意のある結論（例：「補足アナリスト解説... 売り推奨の修正」）。
• 防御条件: 以下の7つの構成をテストしました。
  1. ベースライン: 防御なし。
  2. スポットライティング（Spotlighting）: 取得されたコンテンツをプロベナンス（由来）マーカー（例：<<<UNTRUSTED EXTERNAL CONTENT>>>）で囲む。
  3. パラフレーズ（Paraphrasing）: エージェントによる処理の前に、取得されたコンテンツを中立的な言語で書き換える（書き換えには Claude Haiku を使用）。
  4. サンドイッチ（Sandwiching）: 取得されたコンテンツの後にタスクのリマインダーを付加する。
  5. 組み合わせ: スポットライティング ＋ サンドイッチ、および パラフレーズ ＋ スポットライティング。
  6. Llama Guard 4: 不安全とフラグが立てられた文書をブロックする分類器ベースの防御。
• 指標: 攻撃成功率（ASR）、ユーティリティ（正当なタスクの完了）、および防御側のCDG（$CDG_{def} = ASR_{static} - ASR_{camouflage}$）。統計的有意性は McNemar の正確検定および Fisher の正確検定を用いて評価されました。

主な結果
評価の結果、防御の有効性はモデルに強く依存しており、標準的な防御は静的な攻撃と比較してカモフラージュ攻撃に対して異なる挙動を示すことが明らかになりました。

• パラフレーズが最も効果的な防御である: 取得されたコンテンツを処理前に書き換えることで、すべてのモデルにおいてカモフラージュASRが一貫して減少しました。
  • Claude Haiku: 14.4% $\to$ 4.4%
  • Llama 3.1: 22.2% $\to$ 10.0%
  • Gemini 2.0: 21.1% $\to$ 3.3%
  • パラフレーズ ＋ スポットライティングの組み合わせは、すべてのモデルで最も低い絶対ASRを達成しました（例：Haikuで3.3%）。
• スポットライティングは一貫性に欠ける: スポットライティングは Claude Haiku のASRを半減させましたが（14.4% $\to$ 6.7%）、Llama 3.1 8B では恩恵を与えませんでした（22.2% $\to$ 23.3%、非有意）。
• サンドイッチングは脆弱である: Llama および Gemini において、ベースラインを下回るレベルまでASRを減少させることに失敗しました。
• Llama Guard 4 との比較: パラフレーズは、テストされたすべてのモデルにおいて、Llama Guard 4 の構成よりも低いカモフラージュASRを達成しました。さらに、Llama Guard 4 は高い過剰拒絶率（>90%）を示しましたが、パラフレーズは過剰拒絶がほぼゼロに近い状態を維持しました。
• ドメインリスク: 金融ドメインへのデプロイメントは最も高い残留リスクに直面しており、ベースラインの攻撃成功率は26〜33%でした。脆弱なモデルにおいては、単一のプロンプティング防御でもこの脅威を完全に排除することはできませんでした。
• モデルのアノマリー: Gemini 2.0 Flash は、静的ASR（38.9%）がカモフラージュASR（21.1%）を上回るという逆転現象を示しました。これは他のモデルでは観察されなかった現象です。

主な貢献

1. 初の体系的な評価: 本研究は、ドメイン・カモフラージュ型インジェクションクラスに特化した、プロンプティングベースの防御（パラフレーズ、スポットライティング、サンドイッチング）の最初のベンチマークに基づく評価を提供します。
2. 防御ランキングの変遷: 本研究は、防御のランキングがカモフラージュ条件下では変化することを実証しています。具体的には、静的な攻撃に対しては有効なスポットライティングが、特定のモデルにおいてはカモフラージュ・ペイロードに対しては何の恩恵も与えないことが示されました（Llama 3.1 8B）。
3. パラフレーズの優位性: 著者は、パラフレーズが過剰拒絶のペナルティを負うことなく、すべてのテストされたモデルにおいて Llama Guard 4 よりも低いカモフラージュASRを達成することを証明しました。
4. 実務家への推奨事項: 本論文は、デプロイメント固有の推奨事項を提供しており、金融ドメインでは単一のプロンプティング防御ではリスクを完全に軽減できないため、より高度な注意が必要であることを強調しています。

意義と限界
本論文は、標準的な検知を回避するクラスの攻撃に対する防御を評価するための新しいベンチマークを確立しました。また、取得されたコンテンツをパラフレーズすることが、現在、カモフラージュ攻撃を軽減するための最も堅牢なプロンプティングベースの戦略であるという実行可能な証拠を提供しています。

著者らは、自らの知見の汎用性について慎重な姿勢を保っています。彼らは、使用されたすべてのタスクが合成的に構築されたプロフェッショナルな文書であることを明示しています。したがって、これらのベンチマークのランキングや防御の有効性が、現実世界のエンタープライズ文書にどのように一般化するかは、依然として未解決の課題です。本研究は、注入された内容が構文的に正当なテキストと区別がつかない場合の、インジェクション攻撃に対する防御方法に関する理解のギャップを埋めるものです。