技術的サマリー：コンテキスト内のゴースト

問題定義

本論文は、大規模言語モデル（LLM）エージェントにおいて「決定時コンテキスト構成」中に発生する、ポリシー・キャリッジ失敗と呼ばれる固有のセキュリティ失敗モードを特定している。

展開されたエージェントスタックにおいて、モデルは生相互作用履歴に基づいて動作するわけではない。代わりに、オーケストレーション層（$E$）が、最終的なモデル呼び出し（$M$）に先立ち、先行状態を切り詰め、要約し、再順序付けし、書き換えることで、限定された「決定状態」（$C_t$）を構成する。著者らは、セキュリティ境界がモデルの重みと可視的なプロンプト表面を超えて、この構成サブシステムを含むと主張する。

核心的な脅威は、指示を帯びた状態（例：セキュリティポリシー、許可/拒否ルール、権限制約）が、ツール出力、プランナーのメモ、ユーザーコンテンツと限られたトークン予算を巡って競合することである。もし構成プロセスがモデルがそれらを視認する前に、これらの指示を脱落させ、弱体化させ、あるいは再結合させる場合、エージェントはプロンプトインジェクション、モデルの侵害、あるいは永続的メモリ汚染なしにポリシー境界を越える可能性がある。敵対者は、これらの失敗を誘発するために、スケジューリング圧力（非制御コンテンツの量と順序）を制御するだけでよい。

本論文は、これらの失敗を以下の 3 つのファミリーに分類する：

1. エヴィクション（排除）: 指示を帯びた状態が排除され、決定状態に到達しなくなる（可用性失敗）。
2. エイリアシング: 指示は生存するが、意味的に弱体化され、書き換えられ、あるいは歪められ、元の運用境界を保持できない（完全性失敗）。
3. バインディング不安定性: 指示は可視のまま残るが、誤ったアクター、オブジェクト、または条件に再結合される（参照ドリフト）。

手法

本研究は、ローカルで整合されたモデルを用いた制御された閉じたキャンペーンを通じて、これらの失敗モードを評価する：Llama 3.1 8B、Qwen 2.5 7B、およびMistral 7Bであり、Qwen 2.5 14BおよびLlama 3.1 70Bへの拡張も含む。

実験設定

• 予算レジーム: 意図的に厳格な 260 トークンの決定時予算。これにより、システム足場、ツール追跡、要約、最終クエリ間の現実的なトレードオフが強制され、ポリシー競合が観測可能となる。
• 攻撃ベクトル: 指示を帯びたスパンに対する「フィルタ」コンテンツ（ツール出力、プランナーのメモ）の順序と量を変化させることで、エヴィクション、エイリアシング、バインディング不安定性を誘発するようにシナリオを構築する。
• 指標:
  • 正確な制約保持率（ECR）: 最終回答が適用可能なすべての制約を正確に遵守しているか。
  • 制約生存率（CSR）: 部分的な遵守度を測る段階的指標。
  • 決定反転率（DFR）: プロンプト順序のみを変更することで制御結果が反転するか。
  • 直接保持率（DPR）: 構成された決定状態を直接監査し、モデル呼び出し前に制約マーカーが明示的に可視かを確認する。

介入：SafeContext

著者らは、モデルの重みを変更することなく構成プロセスに介入する制御層であるSafeContextを提案し、評価する。そのメカニズムには以下が含まれる：

• アドミッション制御（LPC）: 予算競合前に、流入セグメントを「ポリシー」または「データ」として分類する。
• 意味的制御ピン留め（SCP）: 指示を帯びた状態のための保護された予算を予約し、それを決定状態にピン留めする。
• キャッシュ対応プレフィックス再利用: ピン留めされた制御セグメントの再シリアライズコストを回避するため、ターン間で保持された制御プレフィックスを再利用する。
• 侵入的コンテキストエンジニアリング（ICE）: 入力トークン圧力が閾値（セキュリティ半減期）を超えた場合、最終クエリ付近で短い制御リマインダーをトリガーする。
• 権限バインディングスコア（ABS）オディター: 生存した指示が意図されたオブジェクトにバインドされたままかを確認する。

主要な結果

1. 体系的な緩和されないリスク（C1）

緩和されないリスクは体系的である。低予算レジームにおいて、正確な制約遵守（ECR）は、すべてのモデルと攻撃ファミリーにおいて極めて低い。

• エヴィクションとエイリアシングが支配的な失敗モードである。
• バインディング不安定性はより小さく、ノイズが多い。
• 緩和なしでは、指示を帯びたスパンは、モデル呼び出し前に通常の履歴によって頻繁に排除され、あるいは弱体化される。

2. 強力な圧縮に対する残留効果（C2）

緩和の効果は、競合する構成ポリシーに強く依存する。

• 単純な切り詰めに対して、SafeContext は ECR に小さくもプラスの利益をもたらす（例：SCP+ICE で約 0.027 から約 0.061 へ上昇）。
• 強力な構造化圧縮（B2+）に対して、集計されたリフトは大部分消失する。残留利益は、ほぼ例外なくオーバーフローエヴィクション（圧力が最も高い場合）および特定のエイリアシングスライスに集中している。
• リプレイのみ（単に制約を繰り返すこと）は、その効果を説明しない。利益は、単なる最近性ではなく、制御状態の特定の処理（ピン留めと分離）から生じる。

3. 不均質性とスケーリング（C3）

• 効果は反復的だが不均質である。緩和の利益の符号と大きさは、モデルの事前分布と特定の構成ポリシーの相互作用に依存する。
• **より大きなモデル（14B、70B）**は、この現象を消し去るものではない。Qwen 14B はエイリアシングにおいて肯定的な結果を示す一方、Llama 70B は依然としてポリシー条件付きである。スケーリングは、失敗モードを単なる「より大きなモデル」効果に収束させない。支配的なルールは、依然として決定時にライブで、かつ正しく表現されて到達しなければならない。

4. コスト・ベネフィットプロファイル（C4）

SafeContext は、セキュリティとオーバーヘッドの間の調整可能なトレードオフを導入する：

• SCP（アドミッション/ピン留め）: 低コスト（約 +5 トークン）で、中程度の ECR 利益。
• SCP+ICE: より高いコスト（約 +37 トークン）で、より高い ECR 利益。
• SCP+キャッシュ+ICE: ピン留めされた制御セグメントの再シリアライズを回避することで、総トークン数を減少させる（約 -365 トークン）ことが可能であり、同時に最高の ECR 利益を達成する。
• 「セキュリティ利益」は均一ではない。制御を帯びた状態が最も圧迫されている場所で最も顕著である。

意義と主張

本論文は、決定時コンテキスト構成が、LLM エージェントにおける制御経路の測定可能かつ固有の一部であると主張する。

• 脅威モデルのシフト: セキュリティはモデルの重みまたは最終プロンプト表面に限定され得ない。コンテキストを構成するサブシステム（$E$）は、信頼できるコンピューティング基盤（TCB）の一部である。敵対者は悪意のある文字列を注入する必要はない。権威ある指示が排除され、あるいは弱体化されるように、単にスケジューリング圧力を操作すればよい。
• 失敗の分解: 本論文は、一般的な「長コンテキストの劣化」を超えて、特定の制御状態失敗へと移行する失敗分類（エヴィクション、エイリアシング、バインディング不安定性）を実用的なものとする。
• 部分的な強化: 緩和後でも絶対的な正確な遵守は依然として低いが、指示を帯びた状態の標的処理（アドミッション、ピン留め、圧力トリガー型強化）は、システムを部分的に強化し得る。
• 設計への示唆: 指示を帯びた状態は、通常の会話またはツール生成コンテキストとは区別される、第一級のランタイム状態として扱われなければならない。それは、機会主義的な圧縮の対象となるのではなく、明示的なアドミッション経路、予約された予算、および完全性監査を必要とする。

著者らは結論として、より大きなウィンドウや汎用的なメモリ改善はこの問題を排除しないが、限定された構成におけるポリシーキャリッジの特定の失敗は分解され、測定され、オーケストレーション層の介入を通じて部分的に緩和され得ると述べている。