技術要約：プロンプト感度最小化 (Prompt Sensitivity Minimization: PSM)

問題提起

システムプロンプトは、大規模言語モデル（LLM）アプリケーションにおける「秘伝のソース」であり、独自のロジック、運用上の制約、および競争優位性をカプセル化しています。しかし、この価値の高さゆえに、攻撃者が悪意のある入力を生成して隠された指示を暴露させようとする「プロンプト抽出攻撃」の主要な標的となります。既存の防御策は、脆弱なヒューリスティック（例：「指示を明かさないこと」）に依存していることが多く、これらは敵対的な言い回しによって容易に回避されます。また、モデルの重みや勾配へのホワイトボックス的なアクセスを必要とする手法も存在しますが、これらはクローズドソースのAPIモデルには適用できません。さらに、多くの堅牢な防御メカニズムは、大幅な計算オーバーヘッドを導入したり、モデルが意図した機能性（ユーティリティ）を低下させたりします。

本論文は、開発者が直面する課題を扱います：いかにして、ブラックボックス型（モデルへのアクセス不要）で、軽量（最小限のオーバーヘッド）であり、かつタスクの有用性（ユーティリティ）を損なうことなく、システムプロンプト抽出に対する防御を設計できるか？

手法：プロンプト感度最小化 (PSM)

PSMは、プロンプトの硬化（ハーデニング）をユーティリティ制約付き最適化問題として再定義します。静的なルールに頼るのではなく、PSMは元のシステムプロンプトに付加される、**SHIELD（シールド）**と呼ばれる最適化された保護用テキスト・サフィックス（接尾辞）を自動的に生成し、反復的に洗練させます。

1. 問題の定式化

目標は、敵対的な攻撃下において元のプロンプト $P$ の漏洩を最小化しつつ、良質な入力に対するモデルのユーティリティ $U$ が閾値 $\tau$ を上回るような、最適化されたサフィックス $S$ を見つけることです。
$$\min_{S} L(P \oplus S) \quad \text{subject to} \quad U(P \oplus S) \geq \tau$$
ここで：

• $L(P \oplus S)$ は、敵対的なクエリによって $P$ がどの程度回収されるかを定量化する漏洩スコアです。
• $U(P \oplus S)$ は、正当なタスクにおけるベースラインの出力に対する意味的な忠実度を測定するユーティリティスコアです。

2. シールドの構造

シールドは、構造化されたマーカーを用いてサフィックスとして末尾に付加されます：
[SYSTEM PROMPT] {Original Prompt} [SHIELD] {Optimized Shield}
この設計は、LLMはコンテキストの末尾にある情報をより重視し、衝突が発生した場合には直近の指示に従うという経験的な観察に基づいています。構造化されたマーカーは、元のプロンプトと保護レイヤーを明確に区別し、モデルが指示の階層を認識するのを助けます。

3. 目的関数

• 漏洩目的関数 ($L$): 一連の敵対的なクエリに対するモデルの応答と、元のプロンプトとの間のROUGE-L Recallを使用して測定されます。最適化を容易にするため、本論文では50個の構成的な敵対的プロンプト（ディストラクター、繰り返し要求、フォーマット要求を組み合わせ、強力で現実的な攻撃者をシミュレートしたもの）における最大漏洩の滑らかな近似（log-sum-exp）を使用しています。
• ユーティリティ目的関数 ($U$): 良質なクエリに対するシールド適用済みモデルの出力と、ゴールドスタンダードの応答との意味的類似性（文章埋め込みによる）を比較することで測定されます。これは、タスク品質の相対的な保持を保証するために、ベースラインモデルのパフォーマンスに対する比率として算出されます。

4. LLM-as-Optimizer による最適化

PSMは、LLMが最適化器として機能する、ブラックボックス型の進化論的アルゴリズムを採用しています：

1. 初期化: LLMが多様なシールド候補の初期集団を生成します。
2. 評価: 各候補は、適合度関数 $fitness(S) = L(P \oplus S) + \lambda \cdot \max(0, \tau - U(P \oplus S))$ を用いて評価されます（ここで $\lambda$ はユーティリティ損失に対する大きなペナルティ乗数です）。
3. 選択と生成: 上位のシールドが選択され、そのテキストとスコアが最適化用LLMにインコンテキスト例としてフィードバックされます。LLMは成功したパターンを分析し、新しい、より優れた候補を生成します。
4. 反復: このプロセスは、収束（低い漏洩と高いユーティリティ）するまで繰り返されます。

主な貢献

• ブラックボックス互換性: PSMはモデルの重み、勾配、または内部構造へのアクセスを必要としないため、API経由でアクセス可能なあらゆるプロプライエタリまたはオープンソースのLLMに適用可能です。
• 低オーバーヘッド: 学習されたシールドは静的なテキスト・サフィックスです。これは推論時のコストをほとんど課さず、サービングスタックの変更も必要ありません。最適化はオフラインで行われます。
• 反復的な改善: LLM-as-optimizerを用いることで、フレームワークは自然言語の高次元な意味空間をインテリジェントに探索し、非自明で効果的な防御戦略を発見します。
• ユーティリティの保持: フレームワークは厳格なユーティリティ制約を課すことで、硬化処理が意図したタスクの性能を低下させないことを保証します。

実験結果

著者らは、3つのクローズドソースモデル（GPT-5-MINI, GPT-4.1-MINI, GPT-4O-MINI）を用い、2つのシステムプロンプト・コーパス（Unnatural Instructions および Synthetic System Prompts）に対してPSMを評価しました。テストには、Raccoon、Raccoon-Language、Polite-Requests、Command-Overrideの4つの攻撃スイートを使用しました。

• 漏洩の削減: PSMは、ベースライン（防御なし、N-gramフィルタ、ヒューリスティック・ガードレール、およびデコイ・プロンプト）を大幅に上回りました。すべてのデータセットとモデルにおいて、PSMは攻撃成功率（ASR）を**0〜6%**に減少させ、しばしばゼロに近い漏洩を実現しました。
• パラフレーズへの堅牢性: 言い換えや翻訳攻撃（Raccoon-Language）に対して失敗するN-gramフィルタとは異なり、PSMは低いASRを維持しており、リテラルなテキストの重複を超えた堅牢性を示しました。
• ユーティリティの保持: 表3は、PSMが意味的なタスクの忠実度を保持したことを示しています。ユーティリティスコアはしばしばベースラインの100%を超えており、防御が有用な能力を抑制していないことを示しています。
• 汎用性: 最適化されたシールドは強いクロスモデル汎用性を示し、異なるモデルファミリー間でも一様に低いASRをもたらしました。

意義と主張

本論文は、PSMがLLMセキュリティにおけるパラダイムシフトを提示していると主張しています。すなわち、脆弱なヒューリスティックベースの防御から、堅牢な最適化駆動型のアプローチへの移行です。その意義は以下の通りです：

1. 実用性: ホワイトボックスへのアクセスや専門知識を必要とせず、価値あるプロンプト資産を保護するための体系的かつ再現可能な手法を提供します。
2. スケーラビリティ: シールドの軽量な性質により、推論時のオーバーヘッドをほとんど伴わずに実世界のシナリオへ展開可能です。
3. セキュリティ体制: プロンプトの漏洩を効果的に抑制しつつユーティリティを維持することで、PSMはプロプライエタリな知的財産や運用データを保護し、LLMアプリケーションの商業化における重要な脆弱性に対処します。

著者らは、PSMがプロンプトのIPを保護し、次世代のLLMシステムを安全にするためのアクセシブルな道筋を提供すると結論付けていますが、最適化ループの計算負荷や、トレーニングに使用される攻撃スイートの幅への依存性といった限界についても認めています。