💻 computer science

The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

この論文は、連続性、有用性の維持、完全な安全性という 3 つの要件を同時に満たすプロンプトインジェクション防御ラッパーが存在しないことを数学的に証明し、その限界を「防御のトリレmma」として定式化しています。

原著者： Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

公開日 2026-04-09

📖 1 分で読めます☕ さくっと読める

原著者： Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）のセキュリティを守るために、入力文を事前にチェック・修正する『防御フィルター』を作ろうとすると、数学的に『完璧な防御』は不可能である」**という衝撃的な結論を導き出した研究です。

著者たちはこれを**「防衛のトリレンマ（3 つのジレンマ）」**と呼んでいます。

以下に、難しい数式を使わず、日常の例え話を使って解説します。

🛡️ 3 つの「守りたいもの」と「矛盾」

この研究は、AI のセキュリティ対策（防御）において、以下の 3 つの要素を同時に達成することは「数学的に不可能」だと証明しています。

連続性（なめらかさ）：
- 意味：「少しだけ危険な言葉」を「少しだけ安全な言葉」に直す。極端に跳ね返したり、突然ブロックしたりしないこと。
- 例え： 川の流れのように、危険な場所から安全な場所へ滑らかに誘導する。
有用性の維持（本質を守ること）：
- 意味：「本来安全な質問」は、AI に届く前に全く変えずにそのまま通すこと。
- 例え： 普通の人が「今日の天気は？」と聞けば、そのまま「晴れです」と答えられるように、邪魔をしないこと。
完全性（100% 安全）：
- 意味：どんなに巧妙な「悪意ある攻撃（プロンプト・インジェクション）」も、すべて防ぎきること。
- 例え： 1 人のハッカーも、1 つの隙も許さない完璧な城壁。

結論： この 3 つは、**「どれか 2 つは選べるが、3 つ目は必ず犠牲になる」**という関係にあります。

🎨 具体的な例え話：「絵画の修復師」と「境界線」

この論文の核心を、**「美術館の修復師」**の例えで説明します。

1. 設定

美術館（AI）：絵画（回答）を展示しています。
安全な絵（Safe）：子供が見ても平気な優しい絵。
危険な絵（Unsafe）：暴力的で子供が見てはいけない絵。
境界線（Boundary）：「優しい」と「暴力的」のちょうど境目にある、微妙な色合いの絵。
修復師（Defense Wrapper）：入ってくる絵をチェックし、危険な絵を「安全な絵」に塗り替える人です。

2. 修復師のルール（論文の前提）

ルール A（有用性）：「もともと安全な絵」は、絶対に触らずにそのまま展示しなさい。
ルール B（連続性）：「少しだけ危険な絵」を直すとき、突然真っ黒に塗りつぶすのではなく、少しずつ色を薄くして安全側に近づけなさい。

3. 問題発生：「境界線の呪い」

修復師は「安全な絵」には触れません（ルール A）。しかし、絵は「安全」から「危険」へ滑らかにつながっています（連続性）。

ここで、**「安全と危険のちょうど境目」**にある絵（境界線）を考えます。

修復師は「安全な絵」には触れないので、境界線のすぐ内側（安全側）の絵も触れません。
しかし、「連続性」のルールがあるため、修復師が「安全な絵」を触らないまま、境界線のすぐ外側（危険側）の絵を安全側に直すことはできません。
結果： 修復師は、「境目の絵」をそのままにしてしまうことになります。

もしその「境目の絵」が、攻撃者が「少しだけ危険な言葉」を工夫して作ったものだった場合、修復師はそれを**「安全な絵」と勘違いしてそのまま通してしまい、AI が危険な回答をしてしまいます。**

これが論文が言う**「境界線の固定（Boundary Fixation）」です。
「安全なものを壊さない」かつ「なめらかに直す」ことを決めると、「境目の攻撃」は必ず見逃してしまう**というジレンマが生まれるのです。

📉 さらに深刻な 2 つの段階

論文は、この失敗が単なる「1 点」の話ではなく、広範囲に及ぶことを示しています。

段階 1：境界線の固定
- 上記の通り、境目の絵はそのまま通ってしまいます。
段階 2：逃げられない帯（ε-robust constraint）
- 境目のすぐ近く（少しだけ危険な領域）の絵も、修復師は「なめらかに」直すしかないので、**「完全に安全にするほど深くは直せない」**ことが証明されました。
- 例え： 泥だらけの服を、水で少しだけすすぐ程度では、まだ泥が落ちきらないのと同じです。
段階 3：消えない危険地帯（Persistent Unsafe Region）
- もし「危険な絵」の危険度が、修復師が直せる速度よりも急激に高まっている場所があれば、**「どんなに頑張っても、どうしても危険な絵が残るエリア」**が必ず存在します。
- 例え： 修復師が「1 秒に 1 枚」しか直せないのに、危険な絵が「1 秒に 10 枚」生まれてくる場所があれば、必ず見逃しが発生します。

💡 私たちはどうすればいい？（論文の提言）

「じゃあ、AI のセキュリティは諦めるしかないのか？」というと、いいえです。論文は「完璧な防御は不可能」だが、「管理は可能」と説いています。

「境目」を無害にする
- 境目でさえも「少し危険」ではなく「完全に無害（丁寧な拒絶）」になるように AI を訓練する。
- 例え： 境目の絵が「少し怖い」ではなく「ただのグレーの絵」なら、そのまま通しても問題ない。
攻撃の「急勾配」をなくす
- AI の反応が急激に変わる場所（危険な領域への入り口）を、なだらかにする。
- 例え： 崖（急な危険）ではなく、緩やかな坂（なだらか）にすれば、修復師が追いつきやすくなる。
監視を強化する
- 「100% 防ごう」とするのではなく、「境目に近づいたら警報を鳴らす」システムを作る。
- 例え： 城壁を完璧に作ろうとせず、城壁に近づく人影を監視員が見張る。

📝 まとめ

この論文は、「入力文を前もってチェックして直す（Wrapper Defense）」という手法には、数学的な限界があることを突き止めました。

**完璧な城壁（100% 安全）を作ろうとすると、「普通の人の邪魔（有用性の喪失）」か「滑らかさの欠如（なめらかさの欠如）」**のどちらかを犠牲にしなければなりません。
したがって、エンジニアリングの目標は「攻撃をゼロにすること」ではなく、**「境界線を安全な場所に作り、監視を強化してリスクを管理すること」**にシフトすべきだと提言しています。

これは、AI 開発者が「魔法の防御ツール」を期待するのをやめ、より現実的で堅牢なシステム設計をするための重要な指針となります。

論文要約：The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

この論文は、大規模言語モデル（LLM）に対する「プロンプトインジェクション」の防御において、**連続性（Continuity）と有用性の維持（Utility Preservation）**という 2 つの制約の下では、完全な防御（Completeness）は数学的に不可能であることを証明しています。著者らはこれを「防御トライレム（Defense Trilemma）」と呼び、その理論的根拠を位相幾何学、リプシッツ連続性、および離散数学を用いて厳密に導出しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

現在の LLM 防御の多くは、入力プロンプトをモデルに渡す前に処理する「ラッパー防御（Wrapper Defense）」を採用しています。これは、安全な入力をそのまま通り抜けさせ（有用性の維持）、危険な入力を安全な形に変換する関数 $D: X \to X$ として機能します。

仮定: 多くの防御システムは、以下の 3 つの性質を同時に満たせると暗黙的に仮定しています。
1. 連続性 (Continuity): 類似した入力プロンプトは、類似した出力（修正）を生む。
2. 有用性の維持 (Utility Preservation): 元々安全なプロンプトは、内容を変えずにそのまま通過する（ $D(x) = x$ for safe $x$ ）。
3. 完全性 (Completeness): すべての出力が安全になる（すべての入力に対して $f(D(x)) < \tau$ ）。
核心課題: この 3 つの性質を同時に満たす防御関数は存在し得るのか？
- 著者らは、プロンプト空間が「連結（connected）」であるという自然な条件下において、これら 3 つは同時に成立し得ないことを証明しました。

2. 手法と理論的枠組み (Methodology)

論文は、数学的厳密性を重視したアプローチを取っています。

数学的定式化:
- 整合性逸脱関数 (Alignment Deviation Function): $f: X \to \mathbb{R}$ 。入力 $x$ に対する安全性スコアを定義し、閾値 $\tau$ に対して安全領域 $S_\tau$ 、危険領域 $U_\tau$ 、境界 $B_\tau$ を定義します。
- 防御関数: 連続写像 $D: X \to X$ 。
証明手法:
- 位相幾何学: 連結なハウスドルフ空間における固定点定理や、開集合・閉集合の性質（Tietze 拡張定理など）を利用。
- リプシッツ連続性 (Lipschitz Regularity): 関数の変化率を制限し、防御が境界付近でどれだけスコアを下げられるかを定量化。
- 離散数学: 連続性の仮定を排し、有限集合における単射性と完全性のトレードオフを証明。
- 機械的検証 (Mechanical Verification): 全ての証明は Lean 4 と Mathlib を用いて形式化され、45 ファイル、約 350 定理、ゼロの「sorry（未証明）」ステートメントで検証済みです。
実証的検証: 3 つの異なる LLM（Llama-3, GPT-OSS, GPT-5-Mini）を用いた実験で、理論的予測が実データと一致することを確認しました。

3. 主要な貢献と結果 (Key Contributions & Results)

著者らは、仮定の強さに応じて 3 つの段階的な不可能性定理を導出しました。

3.1 境界固定 (Boundary Fixation) - 定理 4.1

主張: 連続かつ有用性を維持する防御は、安全領域の境界にある少なくとも 1 つの点（ $f(z)=\tau$ ）を固定（変更せず）しなければならない。
直感的説明: 安全な領域は開集合であり、防御は安全な点をそのまま通すため、その固定点集合は閉集合にならざるを得ません。しかし、連結空間において安全領域の境界は閉集合に含まれないため、防御は境界点上でも「変更しない」ことを余儀なくされます。
結果: 防御は境界上の攻撃を完全に除去できません。

3.2 $\epsilon$ -ロバスト制約 ( $\epsilon$ -Robust Constraint) - 定理 5.1

主張: リプシッツ連続性を仮定すると、境界固定点 $z$ $z$ の近傍では、防御がスコアを下げられる量に上限が生じます。
- 式: $f(D(x)) \ge \tau - LK \cdot \text{dist}(x, z)$
意味: 境界に近い入力に対して、防御はスコアを閾値 $\tau$ よりも大幅に下回らせることができません。防御の「滑らかさ（リプシッツ定数 $K$ ）」とモデルの「感度（ $L$ ）」の積によって、防御の効果が制限されます。

3.3 永続的な危険領域 (Persistent Unsafe Region) - 定理 6.3

主張: 特定の条件（横断性条件：整合性表面の傾きが防御の能力を上回る場合）の下では、正の測度を持つ（無視できない大きさの）入力領域が、防御後も依然として危険（ $f(D(x)) > \tau$ ）のまま残ります。
条件: 整合性表面が防御が引き下げられる方向よりも急峻に上昇する場合（異方性がある場合）。
結果: 防御は、ある領域の攻撃を完全に防ぐことが数学的に不可能です。

3.4 離散版のジレンマ (Discrete Defense Dilemma) - 定理 8.3

主張: 連続性を仮定しない離散的な設定でも、以下のトレードオフが存在します。
- 単射性（情報保存）を維持する $\rightarrow$ 完全性（すべての危険を除去）は達成できない。
- 完全性を達成する $\rightarrow$ 単射性を失う（異なる入力を同じ出力にマッピングし、情報を失う）。
意味: 防御が「完全」であるためには、元のプロンプトの多様性を犠牲にして、異なる入力を同一の安全な出力に圧縮する必要があります。

3.5 拡張結果

多ターン対話: 各ターンで境界固定が発生し、攻撃者が徐々に最適化されたエクスプロイトを構築できるため、問題は累積します。
確率的防御: 期待値においても同様の境界固定が発生し、確率的に危険な出力を生む可能性があります。
パイプライン: 防御ステージが積み重なるほど、リプシッツ定数が指数関数的に増大し、防御の失敗領域が拡大します。

4. 実験的検証 (Experimental Validation)

著者らは、Manifold of Failure フレームワークを用いて 3 つのモデルで実験を行いました。

Llama-3-8B: 平坦な整合性表面（小 $L$ ）を持ち、大きなロバスト半径を示しましたが、境界付近の急峻な傾き（ $G$ ）により、防御の限界が観測されました。
GPT-OSS-20B: 荒れた地形（大 $L$ ）を持ち、多くの小さな断片（フラグメント）が存在しました。
GPT-5-Mini: 閾値設定により危険領域が空となる場合、定理は適用されず、防御が可能であることを示唆しました（境界が「浅い」場合）。
結果: 理論が予測する「境界の固定」「 $\epsilon$ -バンドの存在」「永続的な危険領域」のすべてが、実験データ（ヒートマップ、収束曲線など）と一致しました。

5. 意義と工学的示唆 (Significance & Engineering Prescription)

理論的意義

防御の限界の明確化: 特定の防御アーキテクチャ（連続かつ有用性を維持するラッパー）には本質的な限界があることを数学的に証明しました。これは「特定の攻撃手法」の問題ではなく、「プロンプト空間の幾何学的構造」に起因する問題です。
設計指針の転換: 「すべての攻撃を排除する」という目標は非現実的であることを示し、防御設計の目標を「排除」から「管理」へとシフトさせる必要性を説いています。

工学的示唆 (Engineering Prescription)

著者らは、完全な防御が不可能である以上、以下の戦略を提案しています。

境界を浅くする (Make the boundary shallow): 閾値 $\tau$ 付近の挙動自体が benign（無害）になるように調整する（例：拒絶しても丁寧な応答をする）。GPT-5-Mini のようなモデルはこれに該当します。
リプシッツ定数を低減する: 整合性表面を滑らかにし、防御がスコアを下げられる余地を広げる。
次元を削減する: 入力インターフェースを制限し、行動空間の次元 $d$ を小さくすることで、防御のコストを管理可能にする。
境界を監視する: 完全な除去を目指さず、境界への接近を検知するランタイム監視システムを導入する。

限界と注意点

この結果はラッパー防御に限定されます。
除外されるアプローチ: 学習時のアライメント（RLHF など）、モデルアーキテクチャの変更、離散的なフィルタリング（ハードブロックリスト）、人間のレビュー、アンサンブル防御などは、この「トライレム」の制約を受けません。
したがって、この論文は「防御は無意味だ」と主張するものではなく、「特定の防御手法には限界があるため、より多層的なアプローチが必要である」という設計指針を提供するものです。

結論

この論文は、プロンプトインジェクションに対する連続的なラッパー防御が、数学的に完全な安全性を達成できないことを証明しました。これは「防御トライレム」として、連続性、有用性、完全性の 3 つは同時に達成不可能であることを示しています。今後の防御戦略は、攻撃を完全に消し去るのではなく、境界の性質を制御し、多層的な防御体制を構築することへとシフトする必要があります。