Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks

技術要約：動的セパレータ生成によるポリモーフィック・プロンプト・アセンブリングの強化

問題提起

大規模言語モデル（LLM）エージェントは、ユーザー入力がシステム指示を上書きするプロンプトインジェクション攻撃に対してますます脆弱になっています。ポリモーフィック・プロンプト・アセンブリング（PPA）は、ユーザー入力とシステム指示を区切るために使用されるセパレータのペア（例：BEGIN/END トークン）をランダム化することで強力な防御を提供しますが、現在の実装は、事前生成された静的なプールに依存しています。

著者らは、この静的なアプローチにおける決定的なアーキテクチャ上の脆弱性を指摘しています。それは、**セパレータ漏洩のブラスト半径（影響範囲）**です。攻撃者がモデルのレスポンスからセパレータの抽出に成功した場合、その特定のデリミタは固定された再利用可能なプールから抽出されているため、将来のすべてのリクエストに対して有効なままとなります。これにより、攻撃者は漏洩したセパレータを再利用して、後続のインタラクションにおいて標的を絞ったバイパス用ペイロードを構築することが可能になり、システムの長期的なセキュリティを損なうことになります。

手法

静的なプールの制限に対処するため、本論文では**動的セパレータ生成（Dynamic Separator Generation）**を提案しています。これは、プールの選択を、リクエストごとの暗号学的派生メカニズムに置き換える仕組みです。

• 生成メカニズム: 固定リストから選択する代わりに、システムはリクエストごとに固有の (BEGIN, END) カナリーペアを生成します。これらのペアは、以下の3つの動的な入力に基づいたドメイン分離された SHA-256 ダイジェストから派生されます。
  1. ナノ秒単位のタイムスタンプ (ts)
  2. UUIDv4 セッション識別子 (sid)
  3. 16バイトの暗号学的ノンス (nonce)
• 構成: セパレータは ====BEGIN-{24 hex chars}==== および ====END-{24 hex chars}==== という形式でフォーマットされます。ドメイン接頭辞（BEGIN: 対 END:）は衝突を防ぎ、24文字のヘックス文字（96ビット）への切り詰めは、衝突確率を $2^{-96}$ 未満に抑えます。
• 統合: このソリューションは、既存の PPA SDK に対する後方互換性のある拡張として実装されています。separator_mode パラメータ（static | dynamic）を導入しており、モデルのファインチューニングを必要としません。DynamicSeparatorProvider コール可能オブジェクトは、タイムスタンプとノンスが変化するため、同一セッション内であっても呼び出しごとに新しいペアが生成されることを保証します。

主な貢献

1. 動的ジェネレータ: 後方互換性を壊すことなく PPA フレームワークに統合された、プロベーブ（証明可能）に一意な、リクエストごとのカナリー生成器。
2. 評価ハーネス: マーカーベースおよび LLM ベースの分類器の両方を利用し、ポストパブリケーション攻撃（M1, M2）や「サラダ（salad）」系のフォーマット/ディストラクター・インジェクションを含む、16 の命名された攻撃ペイロードをサポートするテストフレームワーク。
3. 実証的証拠: 動的生成が攻撃成功率（ASR）を大幅に減少させ、静的プールでは軽減できないセパレータ漏洩ベクトルを排除することを示す定量的データ。

実験結果

システムは、Llama-3.3-70B-Instruct-Turbo（主要モデル）および DeepSeek-V4-Flash（クロスモデル検証）を用い、16 の異なるペイロードに対して評価されました。

• M1 オブファスケーション・ペイロード（リートスピーク + 緊急性）:
  • Static モード: ASR = 0.88。
  • Dynamic モード: ASR = 0.38。
  • 有意性: 静的な [0.802, 0.930] と動的な [0.291, 0.478] の 95% Wilson 信頼区間は重なっておらず、$N=100$ において統計的に有意であることを確認しました。攻撃成功率が 2.3倍減少 しています。
• フォーマット脱出サラダ（Format Breakout Salad）:
  • Static モード: セパレータ漏洩率 = 0.467（攻撃者がセパレータのエコーに成功）。
  • Dynamic モード: 漏洩率 = 0.000。
  • 有意性: 動的カナリーは、注入されたパターンがリクエスト固有のセパレータと一致できないため、漏洩ベクトルを完全に排除しました。
• 認知的オーバーライド (M2):
  • ASR は 0.09（static）から 0.00（dynamic）へと減少しました。
• クロスモデル検証: DeepSeek-V4-Flash において、動的モードは ASR を 0.45 から 0.38 に減少させましたが、信頼区間が重なっていたため、ベースラインモデルの脆弱性に依存して効果がスケールすることを示唆しています。
• パフォーマンス・オーバーヘッド: 動的生成によるリクエストあたりのオーバーヘッドはわずか 2.7 µs であり、典型的な LLM 推論レイテンシ（>500 ms）と比較して無視できるレベルです。
• 品質への影響: 5 つのタスクカテゴリにおける 100 件の良質なリクエストに対する評価では、レスポンス品質の低下は見られませんでした（Dynamic PPA 平均スコア: 5.00 vs. Baseline: 4.96）。

意義と限界

本論文は、動的セパレータ生成が、漏洩したセパレータをリクエスト単位でスコープ化することにより、潜在的な漏洩のブラスト半径を制限し、脅威モデルを根本的に変えるものであると主張しています。漏洩したセパレータは、構造上、リクエストごとに限定されているため、将来のリクエストには無効化されます。

しかし、著者らはこの防御の範囲について慎重な姿勢を維持しています。

• 万能薬ではない: モデルが明示的に境界の繰り返しを指示された場合（例：separator_echo_salad は両モードで 1.00 の漏洩率を達成）、動的生成はセパレータの初期開示を防ぐことはできません。著者らは、これを軽減するにはレスポンスレベルの出力フィルタが必要であり、それは現在の研究の範囲外であると述べています。
• 暗号学的強化: 現在の実装は鍵なしの SHA-256 を使用しています。攻撃者がセッション ID、タイムスタンプ、およびノンスにアクセスできた場合（例：ログ経由）、セパレータを再現できる可能性があることを著者らは認めています。本番環境へのデプロイメントでは、これを防ぐためにサーバーサイドの秘密鍵を用いた HMAC-SHA256 を使用することを推奨しています。
• モデル依存性: 動的アプローチの有効性は、Llama-3 に対する DeepSeek-V4-Flash の結果に見られるように、ベースラインとなるモデルの感受性によってスケールするようです。

結論として、本論文は、静的 PPA の「プール再利用」の脆弱性を効果的に中和し、レスポンス品質を維持しながら、洗練されたインジェクション・ペイロードに対する攻撃成功率を大幅に減少させる、軽量で後方互換性のあるアーキテクチャ上のアップグレードを提示しています。