技術要約: PRISM – 言語モデルの活性化状態からの指示セットの復元

1. 問題提起: 指示セットの検索 (Instruction Set Retrieval: ISR)

大規模言語モデル（LLM）が自律的なエージェントとして導入されるにつれ、信頼性の高いモニタリングには、出力トークンの観察以上のもの、すなわち行動を制御する内部的な目的を理解することが必要となっています。現在のモニタリングは、モデルが意図しないサブゴールを推論したり、文脈上の手がかりに従ったり、プロンプトインジェクションや隠れた目的に影響されたりする場合に課題に直面しています。

近年の「活性化から言語へ」のアプローチ（Patchscopes、LatentQA、Activation Oraclesなど）は、隠れ状態が自然言語情報を明らかにできることを示していますが、これらは指示セットの検索 (ISR) には適していません。既存のアプローチは通常、任意の質問に答えたり、単一の高レベルな要約を生成したりするものです。これらは、エージェントの設定下で同時にアクティブになっている指示の「完全な集合」を復元することに失敗します。その結果、アクティブな指示の一部しか復元できなかったり、異なる制約を混同したり、文脈に存在しない目的を幻覚（ハルシネーション）として生成したりすることがよくあります。

本論文では、ISRを、凍結されたターゲットモデル $M$ からの活性化スナップショット $H_\ell$ を入力とし、カバレッジ（真の指示の復元）を最大化しつつ幻覚（存在しない指示の予測）を最小化する予測リスト $\hat{I}$ を生成するインタプリタ $\phi$ を学習する問題として定式化します。

2. 手法: PRISM

著者らは、忠実な指示セットの検索に特化して設計された、活性化条件付きインタプリタである PRISM を導入します。

アーキテクチャ

PRISMは軽量なデプロイメントを想定して設計されています。別途インタプリタとなるLLMをロードする代わりに、ターゲットモデル $M$（実験ではQwen3.5-9B）の凍結されたベースウェイトを再利用します。

• 入力: 特定のレイヤー $\ell$（例：レイヤー16）における、固定された生成トークンウィンドウ（例：最後の128トークン）にわたる残差ストリームの活性化スナップショット $H_\ell$。
• 投影 (Projection): 学習された線形投影により、これらの活性化ベクトルをモデルの入力埋め込み空間へとマッピングします。
• デコード: 投影された活性化は、ターゲットモデルへの「ソフト・プレフィックス」として機能します。その後、モデルはアクティブな指示の自然言語による箇条書きリストを自己回帰的にデコードします。
• パラメータ: 投影レイヤーとLoRAアダプタのみが訓練され、ベースモデルのウェイトは凍結されたままとなります。

訓練戦略

標準的なクロスエントロピー損失の限界（表面的な形式の不一致を罰する一方で、指示の見落としと幻覚を区別できない点）に対処するため、PRISMは2段階で訓練されます。

1. 教師あり事前学習 (SFT): 次のトークンに対するクロスエントロピーを用いて、活性化スナップショットを正解の指示リストにマッピングするようにモデルを訓練します。これにより、活性化からリストへの基本的なマッピングが確立されます。
2. ジャッジ誘導型強化学習 (GRPO): セットレベルの忠実度を最適化するために、著者らは Group Relative Policy Optimization (GRPO) を採用しています。
   • ジャッジ・メカニズム: 別のLLMジャッジが、候補となる指示リストを正解リストに対して評価します。ジャッジは、どの参照指示がカバーされているか、およびどの予測された箇条書きがサポートされていないか（幻覚であるか）を判定します。ジャッジのシステムプロンプトは、Cohen's $\kappa$ を用いて人間によるアノテーションに対して較正されています。
   • 報酬関数: 報酬 $r$ は、カバレッジ ($Cvg$) と幻覚 ($Hall$) の指標から導出されるスカラーです：
     $$r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$$
     ここで、$P_{len}$ は、過度に長い、あるいは崩壊したレポートによる報酬ハッキングを防ぐための両方向の長さペナルティです。
   • 最適化: ポリシーは、トークンレベルのマッチングではなく、高いカバレッジと低い幻覚を直接最適化するように、グループ相対的なアドバンテージを最大化するように更新されます。

3. 主な貢献

1. ISRの定式化: 本論文は、指示セットの検索を一般的な活性化解釈とは異なる問題として定義し、動作している制約やサブゴールの完全な復元に焦点を当てています。
2. PRISMフレームワーク: 表面レベルのトークン検査やモデルの自己報告に頼ることなく、隠れ状態を忠実なアクティブ指示の箇条書きリストへとデコードする、活性化条件付きインタプリタ。
3. ジャッジ誘導型GRPO: セマンティックなフィードバックを提供するLLMジャッジを使用し、指示レベルのリコールを直接最適化し、幻覚を罰する新しい訓練目的関数。
4. 較正された評価: 著者らは、指示セットの検索システムの再現可能な評価をサポートするために、LLMジャッジを人間によるアノテーションに対して較正し、プロンプトを公開しています。
5. リソースの公開: 将来の研究を促進するため、ソースコード、訓練データ、およびセキュリティに関連する評価データセット（プロンプトインジェクションや隠れた目的をカバーするもの）の公開を約束しています。

4. 実験結果

評価には、4つの設定（Benign (BN), Behavioral Constraints (BC), Hidden Objectives (HO), Adversarial Prompts (AP)）にわたる1,000個の例を含むホールドアウトテストコーパスを使用しています。ターゲットモデルはQwen3.5-9Bです。

• 全体的なパフォーマンス: PRISM（RLあり）は、すべての設定において最高の平均報酬 (0.736) とカバレッジ (0.745) を達成し、最強の非PRISMベースライン（Activation Oracles、報酬 0.532）を大幅に上回りました。
• セキュリティ関連の復元: 敵対的な設定（HOおよびAP）において、PRISMは注入された、あるいは隠蔽された指示を復元する優れた能力を示しました。特に、Adversarial Promptのサブセットにおいて、カバレッジはPRISM（RLなし）の0.520から 0.652 に向上しました。
• 幻覚の制御: PRISMは低い幻覚率 (0.014) を維持しています。一部のベースラインはより低い幻覚率を示していますが、論文では、これは多くの場合、プロンプトを一般的な要約へと崩壊させ、多くのアクティブな指示を見落としているためであると指摘しています。
• アブレーション: ジャッジ誘導型RL段階の追加は、すべてのドメイン、特にAdversarial Promptの設定において、一貫してパフォーマンスを向上させており、RLの目的関数が単なる流暢さではなく、セットレベルの特性を正常に最適化していることを裏付けています。

5. 意義と主張

本論文は、活性化には復元可能な指示情報がエンコードされていることを示しており、活性化ベースのモニタリングがLLMエージェントの透明な監視への実行可能な道であることを示唆しています。

• モニタリング能力: 本研究は、エージェントの内部的な「動作中の指示セット」を検査する方法を提供し、モデルが何をしているかだけでなく、「なぜ」そうしているのか（すなわち、どの特定の制約や目標が行動を駆動しているのか）を明らかにします。
• セキュリティへの影響: 他の手法が見逃す隠れた目的やプロンプトインジェクションを正常に復元することで、PRISMは、入力プロンプトだけでは敵対的なステアリングが明らかにならない可能性のある高リスクのシナリオにおいて、エージェントを監査するためのツールを提供します。
• 限界と範囲: 著者らは、以下の点に触れ、主張に対して謙虚な姿勢をとっています：
  • 結果はQwen3.5-9Bファミリー、レイヤー16、および128トークンのウィンドウに特有のものであり、他のモデルやより長いコンテキストへの転移性は証明されていません。
  • 評価はオラクル生成のラベルとジャッジベースのスコアリングに依存しており、それらは較正されているとはいえ、絶対的な真実ではありません。
  • PRISMはモニタリング手法であり、安全対策（セーフティ・インターベンション）ではありません。指示を復元することは、必ずしもその行動をブロックしたり修正したりすることを決定付けるものではありません。
  • 指示の見落としや幻覚のリスクがあるため、人間によるレビューなしに、高リスクの懲罰的決定を行うためのシステムではありません。

結論として、PRISMは完全な安全性ソリューションではないものの、展開されたLLMエージェントの内部的な目的を理解し、監査するための重要な一歩であると述べています。