技術要約：言語モデルのための構成可能な信頼（Composable Trust）

1. 問題提起

現在の大規模言語モデル（LLM）の根本的なアーキテクチャ上の限界は、指示（instruction）とデータが単一の未分化なトークンストリームを共有していることです。その結果、モデルの生成プロセスにおいて、信頼できるシステム指示と、信頼できないユーザー入力や検索されたデータを本質的に区別することができません。これにより、信頼できないテキストがシステム指示を上書きし、データの漏洩や不正なアクションの実行を「誘導」するプロンプトインジェクションに対して脆弱になります。

これらを軽減しようとする既存のアプローチは、それぞれ異なる失敗モードを抱えています：

• 性能テスト： 精度と拒絶率（accuracy vs. rejection rates）などのベンチマークのみに依存する方法は、すべての入力を無視して回答を幻覚（hallucinate）させるシステムの方が、攻撃を正しく拒絶するが精度を失うシステムよりも高い性能を示す可能性があるため、不十分です。
• 指示ベースの禁止事項： モデル自身にルールを強制させることは、モデルが改ざん不可能なリファレンスモニターではないため、失敗します。コンプライアンスは、その後のコンテキストやアテンションの失敗によって覆される可能性があります。
• エージェントによる自己チェック： モデルにコンプライアンス・チェックのループを行わせることは、各チェックもまた同じ信頼できない分布からのサンプリングに過ぎないため、複雑さを増すだけで保証にはなりません。

核心となる問題は、権威がコンテンツの文言ではなく、ソースの完全性（チャネル）によって決定される証明可能な境界を確立することであり、これにより、低信頼のソースが高信頼のソースを上書きすることなく、異なる信頼レベルを持つ複数のソースを合成できるようにすることです。

2. 手法：条件付きカスケード（The Conditioned Cascade）

本論文は、権威をモデルの「外」へと移し、決定論的なパイプラインへと移行するシステム設計を提案しています。このアーキテクチャは、決定論的モニター（Deterministic Monitor）、条件付きパッシベーション・カスケード（Conditioned Passivation Cascade）、および**ラッパー（Wrapper）**の3つのコンポーネントで構成されています。

A. インテグリティ・ラティス（完全性の格子）とモニター

システムは、入力がどのチャネルを経由してきたかに基づいて、すべての入力を固定されたインテグリティ・リング（完全性階層）（信頼レベル）に割り当てます。展開される階層（信頼度の降順）は以下の通りです：

1. SYSTEM: オペレーターによる指示（完全信頼）。
2. USER: ユーザーのリクエスト。
3. CONTENT: 検索されたドキュメント。
4. WEB: ツールやウェブからの返り値。

モニターは、これらのラベル付けされた値に対して5つの不変条件（invariants）を強制する、モデルを用いない決定論的なコンポーネントです：

• I1 (Meet Rule): 入力の結合は、最も低いリングを採用します（Biba完全性モデル）。これにより、構成を通じて信頼度が高まることはありません。
• I2 (Out-of-Band Authority): リングの上昇は、アウトオブバンド（帯域外）トークンを通じてのみ可能であり、コンテンツがこれを偽造することはできません。
• I3 (Action Threshold): アクションは、制御する入力が固定された閾値を満たしている場合にのみ許可されます。
• I4 (Stamping): 値は中間ステップを経ても自身のリングを保持し続け、失うことはありません。
• I5 (Operation Binding): 操作は、存在する中で最も高いリングを持つ指示にバインドされます。

理論的保証： ラティスは有限であるため、モニターは列挙によって、信頼できない入力がシステムの操作を変更したり、アクションを承認したりできないことを証明できます。これにより、モデルの挙動とは独立した、権威に関する**非干渉性の特性（non-interference property）**が提供されます。

B. 条件付きパッシベーション・カスケード

モニターは権威を保証しますが、テキスト生成自体は依然として「ソフト」な防御です。システムは、**パッシベーション（不活性化）**プロセスを用いて、事実としての内容は保持しつつ、埋め込まれたコマンドから低信頼のコンテンツを剥ぎ取ります。

• 条件付け（Conditioning）： 標準的なフィルタリングとは異なり、パッシベーションは、これまでに処理された高信頼チャネルによって確立されたコンテキストに条件付けされます。これにより、システムは関連する事実と、無関係または悪意のある指示を区別できます。
• 順序（Ordering）： チャネルは、信頼度の降順（SYSTEM $\to$ USER $\to$ CONTENT $\to$ WEB）で処理されます。各低信頼チャネルは、高信頼のコンテキストに基づいて一度だけパッシベーションされます。
• 属性付け（Attribution）： 低い信頼のソース（例：WEB）に高信頼のソース（例：CONTENT）に含まれていない事実が含まれている場合、システムはその事実を保持しますが、それを絶対的な事実として断定するのではなく、低い信頼のソースに帰属させます。

C. ラッパー

ラッパーは最終的なプロンプトを組み立てます。ラッパーは以下の役割を担います：

• ノンス（nonce）を用いて入力を区切り、それらに固定されたリングラベルを付与します。
• モデルに対し、SYSTEMブロックのみに従うよう明示的に指示します。
• （CONTENT vs. WEB のような）競合を、より高いリングを優先することで解決します。
• 「信頼の洗浄（trust laundering）」（例：ユーザーが、インジェクションを含むウェブページに従うようモデルに求めること）を防ぎます。

D. SkillOptによるチューニング

防御はパッシベーションとラベル付けのための自然言語プロンプトに依存しています。勾配が得られないプロンプト探索のため、著者らはSkillOptスタイルの構造化書き換えレジームを使用しています：

• 共同探索（Joint Search）： プロンプトは、パッシベーション段階とラッパーの間の結合を考慮し、独立してではなく、エンドツーエンドで共同にチューニングされます。
• 多目的最適化（Multi-Objective）： 探索は、**クリーンな品質（Clean Quality: $Q$）と拒絶率（Rejection Rate: $R$）**の両方を最適化し、パレート最適解を維持します。
• 正則化（Regularization）： 特定の攻撃文字列の記憶を防ぐため、プロンプトの長さは制限され、原則に基づいたものになるよう強制されます。
• モデル重みの変更なし： 防御はプロンプトセットのみをチューニングするため、モデルの重数は変更されません（モデルに依存しない手法）。

3. 主な貢献

1. 証明された権威の境界： モデルの外側にリファレンスモニターを構築し、有限の完全性ラティスを強制することで、信頼できない入力がシステムの操作を変更したりアクションを承認したりできないという形式的な証明を提供しました。
2. 条件付きカスケード・アーキテクチャ： 低信頼のチャネルを降順で処理し、低信頼のパッシベーションを高信頼のコンテキストに条件付けることで、信頼性を向上させた新しいパイプラインを提案しました。
3. モデルに依存しない防御： プロンプトエンジニアリングと決定論的モニタリングを通じて、微調整や重みの変更を行うことなく、未修正のLLM（ホストされたモデルを含む）を保護する方法を実現しました。
4. 信頼グレードの合成： 低い信頼のソースから事実を破棄するのではなく、保持し属性を付与する能力を提供し、整合性のレベルを尊重しながら複数のソースを合成することを可能にしました。

4. 結果

システムは、未修正の Gemma 4 26B モデルを用い、保持された新しいコンテンツと多様な攻撃ベクトル（AgentDojoテンプレートや適応型レッドチーミングを含む）を用いて評価されました。

• 指示インジェクション防御：
  • ベースモデル： 防御率 27%（genuine-leak指標）。
  • 展開されたカスケード： 防御率 94%（95% 信頼区間: [88, 97]）。
  • これは、成功したリークが約12分の1に減少したことを示しています。
• 適応型敵対的評価：
  • 別のモデル（Gemma 4 31B）による適応的攻撃や、様々な攻撃者ファミリー（ホワイトボックス、ブラックボックス、マルチリング最適化）の下でも、権威の境界は違反ゼロ（無条件に証明）を維持しました。
  • 測定されたテキスト防御は、適応的攻撃に対して**87%**を維持しました。
• 属性付け：
  • システムは、ウェブ由来の事実を信頼度の低いソースに帰属させることに**92%**のケースで成功しました（ベースモデルは0%でした）。
• クリーンな品質：
  • 防御によるクリーンなタスクへのコストは最小限であり、$Q_{rel} = 0.96$（ベースモデルの品質の96%）でした。
• アブレーション研究：
  • パッシベーションとラッパーの組み合わせが必要であることが示されました。パッシベーション単独、あるいはラッパー単独では、特に委任攻撃（Tier 3）において大きなギャップが残りました。

5. 意義と主張

本論文は、AIシステムにおける信頼とは、単一の特性ではなく、概念の集合体であると主張しています。提案されたシステムは、構成可能な信頼（composable trust）、すなわち、異なる信頼を持つ複数のソースを信頼して合成する能力という特定のギャップに対処しています。

• 証明可能 vs. 測定可能： 著者らは、証明された権威（これは絶対的かつアーキテクチャ的なものである）と、測定されたテキスト防御（これは確率的であり、チューニングによって改善されるものである）を明確に区別しています。彼らは、テキスト防御が100%リーク防止であることを証明することはできないものの、たとえリークが発生したとしても、そのリークがシステムの権威を変更したり、許可されていないアクションをトリガーしたりすることはできないことを証明できると明言しています。
• 謙虚な姿勢： 著者らは、この防御を「フロア（最低限の基準）」と位置づけ、測定されたレートは残留リスクの推定値であると認めています。プロンプトインジェクションを完全に解決したと主張しているのではなく、むしろインジェクションの結果（影響）が限定される境界を確立したと述べています。
• 実用性： システムは、未修正の既存モデル（ホストされたAPIを含む）にデプロイ可能であり、モデルや信頼設定が変更された場合にはプロンプトの再チューニングのみを必要とします。

要約すると、本論文は、モデル内部の制約によってモデルを「安全」にしようとする試みから、信頼関係を強制する決定論的で外部的なガバナンス層を構築することへの転換を提示しており、これによりLLMが、複数のソースが存在する敵対的な環境においても安全に動作することを可能にしています。