技術要約：長期的エージェントにおけるゴースト（GHOST）

問題定義：見落とされた安全制約によるガバナンス・ハザード

本論文は、長期間のツール利用を行う大規模言語モデル（LLM）エージェントにおいて、「長期的対話における見落とされた安全制約によるガバナンス・ハザード（GHOST: Governance Hazard from Overlooked Safety Constraints across Turns）」と名付けられた特定の失敗モードを特定している。

既存の安全性研究は、敵対的な攻撃（例：プロンプト注入）や即時的な有害リクエストに焦点を当てているが、GHOSTは良性なインタラクション条件下で発生する。これは、エージェントがタスクを正常に完了したものの、会話履歴の早い段階で明示的に述べられていた安全制約に違反した場合に起こる。エージェントは、現在のタスクと制約との間に長いインタラクション履歴が存在することにより、その制約を「忘れる」か、あるいは呼び出しに失敗し、取り返しのつかない損害（例：承認なしでのメール削除、データベース記録の破壊）を引き起こす。

著者らはこれを、一般的な指示追従の失敗とは区別している。GHOSTイベントにおいては：

1. タスクの目的は正常に達成されている。
2. 安全制約は依然として有効であり、かつ必要である。
3. 制約は履歴コンテキスト内に存在するが、直近の再開プロンプトには再掲されていない。
4. エージェントは、フルコンテキストウィンドウ内に制約が存在しているにもかかわらず、安全ではない形でタスクを実行する。

理論的枠組み：ハザード領域への到達可能性

本論文は、安全制約をアクション空間におけるハザード領域（$B_s$）としてモデル化する理論的分析を提供している。著者らは、安全な履歴プレフィックスが与えられた条件下で、エージェントが安全性にとって重要な機会 $k$ においてハザード領域に進入する確率を表す、残留条件付き進入ハザード $h_k$ を定義している。

主要な理論的洞察：
条件付きハザードのフレームワークを用いて、著者らは、安全なプレフィックスに沿った残留条件付きハザードが非可算列（すなわち $\sum \epsilon_k = \infty$）によって下限付けられている場合、エージェントはほぼ確実に（$Pr(\sigma_B < \infty) = 1$）ハザード領域に進入することを証明している。

さらに、著者らは**コンテキスト条件付き系（Context-Conditioned Corollary）**を確立した。インタラクション履歴が増大する（コンテキスト長 $L_k$ が増加する）につれ、「アテンションの希釈（attention dilution）」効果によって歴史的な制約の統治能力が弱まり、結果として残留ハザードの下限が実質的に上昇する可能性がある。このハザードの下限が不定の機会にわたって非可算なままであれば、GHOSTイベントの発生確率は1に近づく。これは、長い履歴は単に性能を線形に低下させるだけでなく、介入なしには安全性のダイナミクスを根本的に変容させ、違反を不可避にする可能性があることを示唆している。

手法：SCARBench と STAR-Guard

1. SCARBench: 再活性化における安全制約の可用性ベンチマーク

GHOSTを実証的に検証するために、著者らは実行可能で環境に接地したベンチマークである SCARBench を導入している。

• 構造: 6つのツール利用ドメイン（デバイス/カレンダー、金融、メール、ファイルシステム、ネットワークリクエスト、スクリプト実行）にわたる103のユニークなベースシナリオで構成され、計412の適合インスタンスを持つ。
• 条件: 各シナリオは、履歴の長さ（Short vs. Long）および制約の可用性（Explicit vs. Implicit）によって変化する4つの条件下でテストされる：
  • SE/SI: 短い履歴、かつ明示的（Explicit）または暗黙的（Implicit）な制約。
  • LE/LI: 長い履歴（6,000トークン以上、56〜160ターン）、かつ明示的（Explicit）または暗黙的（Implicit）な制約。
• 指標: このベンチマークは、**厳密なGHOST（Strict GHOST）**を測定する。これは、エージェントが明示的条件（LE）の下では安全にタスクを完了するが、暗黙的条件（LI）の下では、履歴内に制約が存在するにもかかわらず安全ではない方法でタスクを完了してしまうインスタンスと定義される。

2. STAR-Guard: 二層防御メカニズム

GHOSTを軽減するために、著者らは制約に関するオラクル知識（正解知識）に依存しない防御メカニズムである STAR-Guard（Safety-Constraint Tracking, Activation, and Runtime-Audit Guard）を提案している。

• 第1層：セマンティック制約の復元（Semantic Constraint Restoration）

  • 抽出: オンライン・インジェスション・モジュールが、入力されるユーザーメッセージを解析して持続可能な安全制約を検出し、そのスコープ、トリガー、およびルールを抽出する。
  • 保存: これらは、外部ライブラリ内に構造化された「ライフサイクル・ルール・オブジェクト」として保存される。
  • 復元: タスクが再開される際、セマンティック・ゲートが現在のタスクをライブラリと照合する。適用可能な制約はセマンティックに復元（レンダリング）され、エージェントの提案生成をガイドするために現在のコンテキスト・プロンプトに挿入される。
  • 限界: この層は確率的であり、不適切な提案の可能性を減少させるが、安全性を保証することはできない。

• 第2層：決定論的な実行前監査（Deterministic Pre-Execution Audit）

  • 介在: アクションが環境に到達する前に、決定論的なルール・オーディターが、エージェントの提案されたアクションをアクティブな制約と照合する。
  • 強制: オーディターは「禁止優先（prohibition-first）」ポリシーを適用する。提案が禁止ルールに違反する場合、即座にブロックされる。もし提案が前提条件ルール（例：「削除前にバックアップせよ」）に違反する場合、システムは前提条件（修復）の実行を試み、その後再監査を行う。修復が不可能な場合、そのアクションはブロックされる。
  • 保証: この層は、アクティブな制約に違反するアクションが環境に到達することを確実に防ぎ、ハザード蓄積メカニズムを遮断する。

実験結果

著者らは、SCARBenchを用いて7つのモデル（5つのAPI提供モデル、2つのローカル展開モデル）に対してSTAR-Guardを評価した。

1. GHOSTの蔓延度:

   • GHOSTは広範な問題である。GPT-5.5 において、良性な長文脈条件下での厳密なGHOST率は 11.5% であった。
   • 他のモデルでは、Kimi-K2.6 の 6.8% から Qwen3.5-4B の 27.8% までの範囲を示した。
   • 「差の差（Difference-in-Differences）」指標は、長い履歴が、短い履歴と比較して制約回復の失敗率を有意に増幅させることを確認した。

2. STAR-Guard の有効性:

   • GPT-5.5: STAR-Guard は、不安全な完了（UC）率を 12.4% から 0.0% へ、厳密なGHOST率を 11.5% から 0.0% へ減少させると同時に、安全な完了（SC）を 76.3% から 94.0% へ向上させた。
   • Qwen3.5-4B: SC は 47.0% から 81.2% に増加し、GHOST は 27.8% から 1.9% に減少した。
   • アブレーション研究: 結果は、「復元のみ」または「監査のみ」のいずれも単独では不十分であることを示している。復元は安全性を向上させるが残留リスクを残し、監査はリスクをブロックするが、セマンティックなガイダンスなしに使用するとタスク完了を妨げる可能性がある。両者の組み合わせが最善のトレードオフを実現する。

3. ベースラインとの比較:

   • 標準的な検索手法（BM25）、要約、および指示追従の洗練（例：DeCRIM、Prompt Reminder）は、GHOST率を大幅に減少させることに失敗し、高い不安全完了率を維持することが多かった。
   • オラクルベースの手法（制約が既に既知であることを前提とする手法）は良好な結果を示したが、制約をオンラインで捕捉する必要がある現実世界のデプロイメントにおいては実用的ではない。STAR-Guard は、オラクルへのアクセスなしに、これと同等の安全性に到達した。

意義と主張

本論文は、GHOSTが長期間のエージェントにおける、コンテキストウィンドウの拡大や標準的な指示追従能力の向上だけでは解決できない、極めて重要かつ未探索の安全性ギャップであることを主張している。

• 理論的貢献: 安全性のガバナンス低下のリスクを定式化し、介入が行われない場合、非可算なハザード条件下では安全違反の確率が確実性に近づくことを示した。
• 実践的貢献: 長期的な安全制約の回復を評価するための厳格な標準として SCARBench を導入し、非オラクル型の防御メカニズムとして STAR-Guard を提案した。
• 核心的な発見: 著者らは、長期間のエージェントにおいて安全性を維持するためには、エージェントの意図を導くためのセマンティックな復元と、ハードな制約を強制するための決定論的な監査という、二角的なアプローチが必要であると結論付けている。なぜなら、確率的なモデルだけでは、長期にわたるインタラクション履歴の中で安全性を信頼性高く統治することはできないからである。