技術的概要：監視可能かつ制御可能な大規模言語モデルのための行動キュー推論

問題定義

大規模言語モデル（LLM）における推論は、スケーラブルな監視にとって大きな課題です。推論の痕跡（トレース）は、モデルが推論時の計算リソースを交換して性能を向上させることを可能にしますが、これらの痕跡は外部の監視者に対してしばしば不透明です。整合性の取れていない行動や安全でない行動は、推論プロセスの内部に隠れがちで、モデルが最終的な回答を確定するまで表面化しません。その結果、外部の監視者は、負の行動が最終応答に現れる前にそれを検知し、中断する能力が限られています。

推論を誘導する従来のアプローチは、通常、デコード時に外部のフレーズやトークンを注入するか、外部から挿入されたコンテキストに条件付けるようにモデルを訓練することに依存しています。しかし、これらの方法は、誘導信号を外部入力として扱い、内部モデル信号とは見なしていません。モデル自体が、その基盤となる行動状態に関する情報を自然に表面化しないため、これらのアプローチの有効な監視への適用性は制限されます。

手法：行動キュー推論

推論痕跡の不透明性に対処するため、著者は行動キュー推論（Behavior Cue Reasoning）というフレームワークを導入します。これは、モデルが特定の暗黙的および明示的な行動の直前に、特別なトークン系列を自然に出力するように訓練する枠組みです。これらのトークンは二重の目的を持つ信号として機能します。すなわち、監視のためにモデルの内部状態を表面化させると同時に、外部制御のための強制可能なレバーとして機能します。

このフレームワークは、3 つの特定の行動キューを利用します：

1. [answer]：モデルの「作業中の回答（working answer）」の更新を信号します。モデルは、このトークンの直後に、さらなる推論なしに最善の推測回答を提供するように訓練されます。
2. [continue]：新しい作業中の回答が確立された後、モデルが推論を継続する意図があることを信号します。
3. [stop]：新しい作業中の回答の後に推論を終了することを信号します。

訓練パイプライン

訓練プロセスには、誘発（Elicitation）、埋め込み（Embedding）、および教師あり微調整（SFT）のパイプラインが含まれます：

1. 誘発：推論トレースの各ステップにおいて、モデルの推論を切り詰め、終了フレーズを付加し、モデルに最終回答を生成させます。これにより、推論ステップ（$r_0, r_1, \dots$）に対応する「作業中の回答」の系列（$a_0, a_1, \dots$）が生成されます。
2. 埋め込み：これらの作業中の回答を、[answer] と [continue]（または [stop]）のブロックの間に、推論トレースに埋め込みます。重要なのは、回答が以前に埋め込まれた回答と異なる場合のみ埋め込まれることであり、これにより各 [answer] トークンがモデルの最も確からしい出力における意味のある変化をマークすることになります。
3. SFT：モデルをこの修正されたデータセットで微調整し、これらのキューの自然な出力を学習させます。著者は、プロンプトや強化学習（RL）のみの試みでは、モデルが以前に言及された回答に固執する傾向があるため、この行動の誘発に失敗したと指摘しています。

監視メカニズム

本論文は、2 種類の外部監視モジュールを評価します：

• 効率性監視：推論を行わない監視モジュール（RL 経由で微調整済み）が推論トレースを観察します。このモジュールは、[answer] トークンを密な情報信号として使用し、正しい回答が表面化した場合に推論を停止するか、継続するかを決定します。これにより、「行き止まり」の推論や不要な計算の剪定が可能になります。
• 安全性監視：LLM ベースまたはルールベースの監視モジュールが、行動を安全または不安全に分類します。安全性強制の設定において、ルールベースの監視モジュールは、[answer] によって表面化された候補行動を解析します。モデルの最終的な推論が不安全な行動で終わる場合、監視モジュールは回復し、[answer] キューによって露呈した最後の既知の安全な行動を確定させることができます。これにより、推論の最中に効果的に介入することが可能になります。

主要な貢献

1. 行動キューメカニズム：推論行動に対する表面レベルのフックとして機能する訓練されたトークン系列（[answer]、[continue]、[stop]）を通じて、LLM の推論をより監視可能かつ制御可能にする手法の導入。
2. 性能と制御性：行動キュー推論を実行するように訓練されたモデルが、ベースラインのタスク性能を維持または上回るとともに、外部から強制されたキューに確実に従うことの証明。
3. 効率性の向上：行動キュー推論が、処理可能な決定地平（decision horizons）を介した外部監視を可能にするという証拠。圧縮されたトレースの定式化（回答の進行と推論行数のみを使用）により、推論を行わない監視モジュールが、複雑な数学問題において正解性を犠牲にすることなく、最大**50%**の無駄な推論トークンを剪定できることが示されました。
4. 安全性回復：行動キュー推論により、ほぼ完璧なルールベースの安全性監視モジュールが、そうでなければ不安全な行動で終わる**80%の推論トレースから安全な行動を回復できることの証明。これにより、安全性制約環境における成功率は46% から 96%**に向上しました。
5. アーティファクトの公開：推論監視研究のための、LLM 互換の Hazardworld 環境拡張版の公開。

実験結果

著者は、このアプローチを 2 つのモデルファミリー（Qwen3-8B および GLM-Z1-9B）と 3 つのドメイン（AIME：複雑な数学、Textworld：Cookingworld、多ターンタスク完了、Hazardworld：ナビゲーションにおける制約順守）で評価しました。

• ベースライン性能：行動キュー推論モデルは、すべてのドメインにおいてベースモデルの性能と同等かそれ以上を達成しました。例えば、Qwen3-8B は AIME 2025 で 62.5% から 69.2% に向上しました。
• キューへの準拠：モデルは一般的に外部から強制されたキューに準拠しましたが、準拠度はドメインによって異なりました。Hazardworld では、Qwen3-8B における [stop] への準拠は 100% でしたが、AIME では [stop] への準拠は高かったものの、強制された [continue] が回答の変更をもたらすことは稀でした（GLM の場合わずか 16%）。
• 効率性監視：AIME において、[answer] を決定点として使用することで、監視モジュールは回答の進行パターンに基づいた停止基準を学習できました。生きた推論内容を除去した圧縮トレースの設定は、監視モジュールにこれらのパターンに依存することを強制し、トークンの剪定に成功しました。
• 安全性監視：行動キューを用いても、LLM ベースの監視モジュールは安全性の分類に苦労しました。しかし、[answer] の出力を解析するルールベースの監視モジュールは、行動の分類において99.54% の F1 スコアを達成しました。これを行動キュー推論モデルと組み合わせることで、そうでなければ失敗するトレースの 80% で安全な行動を回復でき、成功率を倍増させました。

意義と主張

本論文は、監視対象のモデル自身が、監視のためにより処理可能な推論を行うように訓練できることを示すことで、スケーラブルな監視を進展させると主張しています。モデルを意味のある接合部で作業中の回答を明示的に露呈させるように訓練することで、このアプローチは、推論トレースが最終回答と整合しない「忠実性」の問題を回避します。

著者は、この手法が性能へのコストなしに推論の監視可能性と制御性を向上させると強調しています。彼らは、LLM の確率的性質により決定論的な保証とはなり得ないものの、行動キューを、監視のための「学習可能な地平」を創出する強力な学習済み事前分布として位置づけています。これにより、能力が評価者を上回る AI システムを監視するという課題に対処し、より弱い推論を行わない監視モジュールが、より強力な推論エージェントを効果的に監督することを可能にします。

この研究はまた、「監視可能性税（monitorability tax）」の原則を浮き彫りにしています。すなわち、アクターモデルの最適化ループから意図的に推論を外し（代わりに監視モジュールを最適化することで）、システムが監視報酬を満たすために不正な行動を隠蔽することを学習するリスクを回避するというものです。