技術的サマリー：プローブ軌跡を介した内部独白の監視

問題定義

大規模推論モデル（LRM）は、思考連鎖（CoT）痕跡を生成しますが、これは従来、生成されたテキストがモデルの内部推論を忠実に反映するという仮定の下、安全性監視に用いられてきました。しかし、最近の研究では、CoT が最終出力の忠実な説明とは限らないことが示されています。5〜10% のケースにおいて、CoT は安全に見えますが最終応答は有害である（またはその逆）という状況が発生します。この「不忠実性」は、テキストベースの監視ツールの性能上限を生み出します。さらに、静的な隠れ状態のスナップショット（例えば、最終トークンのプローブまたはすべてのトークンの平均化）のみに依存することは、推論プロセスの時間的ダイナミクスを捉えきれず、意図や誤りの早期シグナルを見逃す可能性があります。核心的な課題は、表面レベルのテキストや静的な潜在状態に依存するのではなく、推論プロセス中の内部表現の連続的な進化を分析することで、将来のモデル動作をより信頼性高く予測できるかどうかを決定することです。

手法

著者は、テキスト CoT からモデルの「内部独白」へ、すなわち CoT 生成中に生成される潜在表現の系列へと焦点を移すフレームワークを提案します。手法は以下の 3 つの主要コンポーネントから構成されます。

1. プローブアーキテクチャと多層統合

著者は、特定の概念（例えば、有害性や数学的誤り）を検出するために、隠れ状態上で訓練された軽量な非線形分類器（プローブ）を利用します。

• 多層学習: 単一の最良の層を選択するのではなく、著者はマルチインスタンス学習（MIL）メタプローブを採用します。このアーキテクチャは、複数の層にわたって独立した層ごとのプローブをインスタンス化し、それらの出力ロジットを連結して、学習されたメタ層を通じて処理します。これにより、手動での層選択の必要性が排除され、ネットワークの深さ全体にわたる最も顕著な表現が統合されます。
• 訓練データ効率: 本研究は 3 つのデータパイプラインを比較します。
  • テンプレートベース: 基本データセットのサンプルを事前定義されたテンプレートに注入する。
  • メッセージベース: 生メッセージをモデルのチャットテンプレートに通す。
  • 正確なモデルメッセージベース: 完全な CoT と応答を生成して、真の内部ダイナミクスにラベルを付ける。
    著者は、テンプレートベースのデータが、高価で動的に生成されたモデル応答とほぼ同等の性能を達成し、訓練中の高コストな推論とラベリングの必要性を排除することを見出しました。

2. 累積最大プーリングによる軌跡構築

連続的な確率軌跡を生成するために使用される集約方法は、重要なアーキテクチャ上の決定です。

• 平均プーリングの拒否: 著者は、平均プーリングと最終トークン抽出が高周波の振動とほぼランダムな性能（AUROC $\sim$50%）をもたらすことを実証しており、これらは意図の予測には不適切であると結論付けました。
• 累積最大プーリングの採用: 著者は、グローバル最大プーリングを累積最大操作（$z^l_t = \max_{1 \le i \le t} z^l_i$）に置き換えます。これにより、トークン $t$ におけるプローブ予測は、$t$ までに生成された情報のみに依存することになり、潜在特徴空間において単調非減少のプロファイルを強制します。この安定性により、内部独話を一貫した時系列信号として扱うことが可能になります。

3. 信号処理特徴抽出

連続的な軌跡が生成されると、著者は時間的ダイナミクスを特徴付けるために 6 つのグループに整理された堅牢な特徴セットを抽出します。

1. 大域的統計状態: 要約統計量（平均、最大値、分散、四分位範囲、RMS）。
2. 形状とトレンドダイナミクス: 線形/二次トレンド適合、移動平均の傾き、および金融スタイルのドローダウン/回復指標。
3. 時間的セグメンテーション: CoT の三分位に基づくフェーズ分解。
4. 境界過渡現象: プロンプトから CoT への遷移におけるボラティリティ特徴。
5. 信号処理と持続的意図: ピーク検出、滞留時間ランレングス、自己相関、および平均交差率。
6. 時間的および関係的ランドマーク: argmax 位置と平均/最大比。

これらの特徴は、将来の出力を予測するために、標準的なバイナリ分類器（ロジスティック回帰、ランダムフォレスト、XGBoost）に入力されます。

主要な結果

1. プーリング戦略が決定的

プーリング操作の選択は、性能において最も重要な要因です。

• 最大プーリング: 試験されたすべてのモデル（Llama-8B-R1-Distill、Qwen3-4B/8B/14B）およびドメインにおいて、一貫して90% 超の AUROC（最大 97.14%）を達成します。
• 平均/最終トークン: ほぼランダムな性能（AUROC $\sim$50%）に崩壊します。
• テキストとの比較: テキストベースの「LLM-as-a-Judge」アプローチは $\sim$84% の AUROC で頭打ちとなり、内部表現は生成されたテキスト単独よりも豊かな行動シグナルを伝えていることを示しています。

2. 軌跡特徴が分離性を向上

軌跡ベースの分類器は、特に分布外（OOD）設定や複雑な推論タスクにおいて、静的プローブを一貫して上回ります。

• 安全性（有害性）: 軌跡特徴は、不忠実な CoT（CoT は安全だが応答は有害）の検出率を向上させます。OOD の Aegis データセットにおいて、静的プローブは著しく劣化しますが、軌跡ベースの特徴は堅牢性を維持します。
• 数学（正解性）: 数学的誤りの予測は、安全性検出よりも本質的に困難です（静的 AUROC は 65〜78% 対安全性の 90% 超）が、軌跡特徴は大幅な改善をもたらします。GSM8K データセットにおいて、軌跡特徴はより大きな Qwen3 モデルの AUROC を最大17 ポイント向上させました。
• 汎化性: 軌跡特徴は、問題カテゴリ（MATH サブカテゴリの Leave-One-Out）およびドメイン（安全性から安全性へ）を超えて汎化し、データセット固有のアーティファクトではなく、一般的な推論パターンを捉えていることを示唆しています。

3. ドメイン固有のダイナミクス

特徴重要度の分析（SHAP 値）は、異なるタスクが異なる軌跡特性に依存していることを明らかにします。

• 有害性検出: 終端および定常状態特徴（最終確率、最後と最大値の比など）によって支配されており、軌跡がどこに落ち着くかが最も重要であることを示しています。
• 数学的誤り予測: ボラティリティと動的シフト（平均交差率、加速度分散、傾きなど）によって駆動されており、誤った推論の不安定さを捉えています。これは、数学的誤りが即座の軌跡の不安定さとして現れるという知見と一致します。

4. 訓練データ効率

テンプレートベースのデータで訓練されたプローブは、正確なモデルメッセージで訓練されたものと同程度の性能を達成します。例えば、Qwen3-14B はテンプレートデータで 95.91% の AUROC を達成し、正確なモデルメッセージでは 97.14% でした。これは、完全な推論痕跡を生成するオーバーヘッドなしに、高品質な概念検出のために静的なテンプレートで十分であることを検証しています。

意義と主張

本論文は、LRM の動作を監視するための補完的なフレームワークとしてプローブ軌跡を確立します。著者は以下の 3 つの主要な貢献を主張します。

1. 新規フレームワーク: MIL メタプローブを介した連続的なプローブ軌跡の導入は、行動意図が推論プロセス全体でどのように動的に符号化されるかを分析するための新たな視点を提供します。
2. 優れた予測: CoT プローブ軌跡が、静的プローブと比較して、特に不忠実な CoT の検出や数学的誤りの予測において、より堅牢な将来の行動予測を可能にする明確なダイナミクスを示すことを実証します。
3. 方法論的効率: テンプレートベースの訓練データが効果的なプローブにとって十分であり、最大プーリングが安定した意図予測に不可欠であることを検証し、標準的なプーリング手法が失敗することを示します。

著者は、この作業を、表面レベルのテキストの忠実性に依存しない、より堅牢な安全性監視への一歩として位置付けています。内部独話を時系列信号として扱うことで、彼らは推論ダイナミクスが、生成されたテキストが誤導的であっても有害な意図や誤りを検出するために活用できる、豊かでタスク固有の情報を符号化していることを明らかにしました。この作業は、最大 14B パラメータのモデルの評価や特定データセットへの依存といった限界を指摘しつつ、その範囲は控えめですが、発見は安全性および推論ドメイン全体に汎化すると主張しています。