技術要約：共有埋め込みシーケンスモデルにおける指示とデータの不可分性について

1. 問題提起

本論文は、大規模言語モデル（LLM）が直面している、ユーザー入力によってモデルを意図したシステム指示から逸脱させる「プロンプト・インジェクション」に対する持続的な脆弱性に対処している。研究コミュニティは、多くの防御策（例：指示チューニング、ガードレール、表現エンジニアリング）を提案してきたが、これらは堅牢で長期的な保護を提供することに一貫して失敗してきた。著者らは根本的な問いを投げかけている：現在の共有埋め込みアーキテクチャを持つトランスフォーマーにおいて、完璧なプロンプト・インジェクション防止は理論的に可能なのか？

核心となる問題は、信頼されたシステム指示と信頼できないユーザーデータが、共有された表現パイプラインを通じて処理されるというアーキテクチャ設計にある。これらのアーキテクチャでは、両方の入力が共通の埋め込み関数を介して同一のベクトル空間にマッピングされるため、入力がモデルに入った時点で、「コード（指示）」と「データ（ユーザー入力）」の間の不変の区別が消失してしまう。

2. 方法論および形式的フレームワーク

2.1 プロンプト付きアクションモデル

著者らは、システムを以下のプロンプト付きアクションモデル $M = (\Sigma, d, E, f, A)$ として定式化している：

• 共有埋め込み ($E$): 信頼された指示 ($s$) と信頼できないユーザーコンテンツ ($u$) の両方が、同一の関数 $E: \Sigma \to \mathbb{R}^d$ を通じてマッピングされる。
• アクション空間 ($A$): トークン生成および制御権限を持つアクション（拒絶、ツール呼び出し、ポリシー・ルーティング、メモリ書き込み）を含む。
• セキュリティ特性（セマンティック・フェイスフル・コントロール - SFC）: 著者らは、SFCを、制御権限を持つ振る舞いが、信頼できない入力の「意味論的に無関係なバリエーション（例：難読化、敵対的サフィックス）」ではなく、「意味的な内容」のみに依存するという要件として定義する。

2.2 理論的アプローチ

不可能性の証明は、以下の3つの異なる理論的柱に基づいている：

1. プロベナンス（由来）復元の不可能性: 全変動（Total Variation; TV）距離を用いて、信頼された入力と信頼できない入力が共有の表現空間を共有する場合、表現の起源（プロベナンス）を復元するためのベイズ最適誤差は、分布が互いに素でない限り、厳密にゼロではないことを示している。
2. 制御パスへの露出: 標準的なアテンション機構において、信頼できないコンテンツが制御に関連するノード（拒絶やツール使用を決定するノード）の値の集約に寄与することを示す。したがって、信頼できないデータは制御出力に対して因果的な影響を与える。
3. 有限被覆の不変性ギャップ: セマンティック等価クラス（例：リクエストのあらゆる可能なエンコーディング）は無限または超多項式的であり、かつ学習データは有限であるため、共有パイプライン内でのみ動作するメカニズムは、あらゆるエンコーディングに対して不変性を保証できないことを論じている。

3. 主な貢献

1. セマンティック・フェイスフル・コントロール（SFC）の定式化: 本論文は、エージェント・システムの最小限のセキュリティ特性としてSFCを定義し、正当な意味的依存（有害なリクエストの拒絶）と、不正な表現的依存（エンコーディングのトリックによる拒絶の回避）を区別している。
2. 不可分性定理: 制御とデータの分離が強制されていない共有埋め込みアーキテクチャにおいては、共有表現パイプライン内で完璧なSFCを保証することはできないことを証明している。これは、現在の学習手法への批判ではなく、不可能性の結果である。
3. フォン・ノイマン・アーキテクチャとの構造的同型性: 本論文は、LLMにおけるプロンプト・インジェクションと、フォン・ノイマン・マシンにおけるバッファオーバーフローの脆弱性との間の正確な類似性を確立している。共有メモリがコードとデータを混同させる（オーバーフローを招く）のと同様に、共有埋め込みは指示とユーザーデータを混同させる（プロンプト・インジェクションを招く）。
4. 実証的根拠: 著者らは、理論的仮定を裏付ける測定結果を提供している：
   • 語彙の重複: 指示とユーザーデータのコーパスは、大部分のトークンを共有しており（61.5%～82.3%のカバー率）、埋め込みの衝突を保証している。
   • 表現の重複: 深層レイヤー（特に制御出力に関連するレイヤー）においても、指示とユーザーデータの隠れ状態の分布は区別がつかない（高いMMD重複）。
   • 行動の汚染: 実験により、モデルが有害なペイロードを拒絶する場合であっても、信頼できないトークンが制御に関連する隠れ状態を変化させ、出力のフレーミングや長さを変えてしまうことが示されており、制御パスが露出していることが確認された。

4. 結果と知見

• 完璧な防止の不可能性: 中心的な結果は、共有表現パイプライン内でのみ動作する防御策（例：より優れた分類器、アライメント・チューニング、またはパイプライン内のフィルタリング）では、完璧なプロンプト・インジェクション防止を保証できないということである。
• 学習の役割: 現在の防御策（RLHF、ガードレール）は、平均的なケースの振る舞いを改善する「パッチ」として機能するが、構造的な脆弱性を排除することはできない。本論文は、アブラブレーション（abliteration）（拒絶能力を取り除く重みの手術）を、安全性が共有空間内の脆弱な方向としてエンコードされている証拠として挙げている。
• 位置/セグメントマーカーの限界: 位置エンコーディングやソフトなセグメントマーカー（例：[INST]）は、場所をエンコードするものであり、不変のプロベナンスをエンコードするものではないため、敵対者によって偽装可能であり、不十分であることを示している。
• 定量的境界: 敵対者の計算予算が増加するにつれて、信頼された表現と敵対的な表現を区別する能力がランダムな推測に近づく（TV距離が0に近づく）ことを示す境界を導出している。

5. 意義と主張

本論文は、プロンプト・インジェクションは単なる修正すべき欠陥ではなく、共有埋め込みアーキテクチャに固有の構造的な脆弱性であると主張している。

• アーキテクチャ的類推: 本論文の意義は、プロンプト・インジェクションを、コードとデータの混同（バッファオーバーフローを招く）と同様の現象として再定義した点にある。バッファオーバーフローがスタックカナリやASLR、NXビットなどの階層的な防御、そして最終的にはメモリ安全な言語を必要としたのと同様に、プロンプト・インジェクションには、指示とデータのアーキテクチャ的な分離が必要である。
• 防御への示唆: 著者らは、「より優れた学習」や「パイプライン内の分類」だけに頼ることは不十分であると論じている。成熟した防御体制には以下が含まれる必要がある：
  1. アーキテクチャによる緩和策: 信頼された制御と信頼できないコンテンツの間の不変の分離（例：分離されたエンコーダー、型付きアテンション）を強制すること。
  2. 実行時の保護: ASLRやスタックカナリに似た階層的な防御。
  3. 長期的なパラダイムシフト: 構築段階で共有埋め込みによる混乱を排除する「セマンティック的に安全な」表現パラダイムへの移行。

本論文は、有用なシステムがユーザー入力を無視する必要はないものの、完璧な防止は不可能であると結論付けている。そのような分離が達成されるまで、プロンプト・インジェクションはLLM統合アプリケーションにおける削減不可能なリスクであり続ける。