技術概要：推論トレース接頭辞の共形認証（CROP）

問題提起

現代の言語モデル（LM）は、しばしば「思考の連鎖（chains-of-thought）」と呼ばれる推論トレースを生成することで複雑な問題を解決します。しかし、LM が誤った最終回答を生成する場合、その誤りはトレース全体に均一に分布することは稀です。むしろ、有効な中間推論の後に、誤りの伝播や文脈の喪失により、決定的な誤りが発生することが頻繁にあります。既存の不確実性定量化（UQ）手法は、通常、最終回答または応答全体に対して動作し、特定のどのステップが信頼できるかを特定できない二値的な受容/拒否の決定を提供します。

ステップレベルの不確実性シグナル（例えば、尤度、プロセス報酬モデル）は存在しますが、それらは展開される際に形式的な統計的保証を欠くことが多くあります。さらに、LM 向けの標準的な共形予測（CP）の適応は、通常、最終ラベル、候補回答セット、またはトレース全体を認証します。トレース全体を認証することは過度に保守的です。なぜなら、単一の後期の誤りがそれ以前に行われたすべての有効な作業を無効にしてしまうからです。一方、主張を独立して扱うことは、連続的な信頼境界を確立するために必要な逐次的構造を無視することになります。したがって、注釈付き誤りを含む確率を厳密に制御する、連続的で実用的なトレース接頭辞を選択する「クリーン接頭辞認証（clean-prefix certification）」を提供できる手法が存在しません。

手法：CROP

著者らは、注釈付き誤りを含む接頭辞の周辺確率を制御しながら、推論ステップの連続した接頭辞を抽出するように設計された、検証器に依存しない較正手順であるCROP（Conformal Reasoning Output Prefixes）を導入します。

中核メカニズム

1. リスク代理変数: トレース $\tau = (\tau_1, \dots, \tau_T)$ を持つ推論インスタンス $X = (q, \tau)$ が与えられたとき、CROP は各ステップにリスク代理変数 $R_t = s_t(X)$ を割り当てます。この代理変数は、より大きな値がより高い推定誤りリスクを示す任意のシグナル（例えば、プロセス報酬モデル、学習された検出器、尤度統計など）となり得ます。
2. 単調性と損失: この手法は、失敗事象が「少なくとも 1 つの注釈付き誤りを含む接頭辞を保持すること」となる二値損失関数を定義します。重要なのは、この損失が閾値に対して単調であることです。閾値を上げると保持されるステップ数が厳密に増加するため、誤ったステップが接頭辞に入るまで、損失は非失敗（0）から失敗（1）へ一度だけ遷移します。
3. 共形リスク制御（CRC）: 損失の単調性を利用し、CROP は共形リスク制御を適用します。これは、ラベル付けされた較正インスタンスのホールドアウトセットを用いて、修正された経験的汚染率が目標リスクレベル $\alpha$ 以下に留まる最大の閾値 $\lambda$ を選択します。
4. 出力: テスト時には、CROP はステップのリスク代理変数が較正された閾値以下に留まる最長の連続接頭辞 $\tau_{1:m}$ を返します。残りの接尾辞は認証されず、下流のレビューや修復（例えば、バックトラッキングや自己修正を介して）のためにルーティングされます。

理論的保証

交換可能性（リスク代理変数と較正設計を固定した後、較正インスタンスとテストインスタンスが同じ分布から引き出され交換可能であるという仮定）の下で、CROP は有限サンプルの周辺制御を提供します。具体的には、返された接頭辞が注釈付き誤りを含む確率が $\alpha$ 以下であることを保証します。この保証は、代理変数が固定されているか、または分離されたデータで訓練されている限り、リスク代理変数の内在的な精度に関わらず成立します。

主要な貢献

1. クリーン接頭辞認証の形式化: 本論文は、連続した推論接頭辞を認証する問題を定義し、ステップレベルのリスク代理変数をリスク制御された連続接頭辞に変換する検証器に依存しないレイヤーとして CROP を導入します。
2. 理論的保証: 著者らは、単調な二値損失のための特殊な補題を利用し、交換可能性の下での注釈付き接頭辞汚染の有限サンプル周辺制御を証明しました。
3. 実証的有効性: この研究は、標準的なステップレベル指標である AUROC が接頭辞の有用性の予測には不十分であることを示しています。CROP は、「過剰な保持（有効なステップの破棄）」と「過少な保持（安全でないステップの保持）」のバランスをより良く取る停止点を選択し、較正されていない UQ ベースラインと比較して、下流の修復精度を大幅に向上させます。

実験結果

著者らは、CROP を 6 つのプロセスラベル付き推論データセット：Arithmetic、GSM8K、ProcessBench、Math-Shepherd、PRMBench、PRM800K において評価しました。

• 接頭辞の有用性と AUROC: 実験により、高いステップレベルの AUROC が必ずしも高い接頭辞の有用性と相関しないことが明らかになりました。リスク代理変数が誤りを全体的にうまくランク付けしていても、シーケンス内の最初の誤りを特定できず、早期の切り捨てや安全でない保持につながる可能性があります。CROP の較正アプローチは、保持された接頭辞の有用性を直接最適化します。
• 境界の質: Arithmetic と GSM8K において、CROP によって選択された接頭辞は、非接頭辞インターフェース（例えば、トレース全体の棄権や質問のみ入力のなど）よりも「オラクル」的な注釈付きクリーン接頭辞に近かったです。過剰保持と安全でないオーバーシュートの両方を最小化することで、境界の偏差を低減しました。
• 下流修復: Gemma、Qwen、DeepSeek、Llama の 4 つの異なるモデルを使用した修復実験において、CROP は大多数のベンチマークで下流の修復精度を向上させました。有効な中間推論を保持しつつ誤解を招く接尾辞を破棄することで、CROP は完全なトレース入力や質問のみの入力よりも修復モデルにとってより良い文脈を提供しました。
  • 注: 結果はモデルに依存しました。例えば、Llama ベースの修復モデルは負の改善を示しました。これは、トレース文脈が提供された際に同ファミリーの回答を繰り返す傾向に起因すると考えられ、CROP の有用性は特定の修復モデルと保持された文脈との相互作用に依存することを示唆しています。

意義と主張

本論文は、接頭辞認証をプロセス監視、棄権、修復の間の厳密かつ実用的な架け橋として位置づけています。

• 焦点の転換: CROP は、不確実性定量化の焦点を、最終回答の受容から事後のクリーン接頭辞認証へとシフトさせます。
• 運用の変化: すべてか無かという決定を強制するトレース全体の棄権とは異なり、CROP は下流のワークフローに晒される対象を変更します。較正された接頭辞を提供し、認証されていない接尾辞のみを保持することで、システムはそれ以前であれば完全に拒否されていたトレースから使用可能な文脈を回復できます。
• 相補性: 著者らは、CROP が共形事実性手法と相補的であると指摘しています。事実性手法が最終回答や主張を認証するのに対し、CROP はプロセス誤が発生する前の推論トレースの連続した使用可能な部分を特定します。
• 限界: 著者らは明示的に、CROP が注釈付き接頭辞汚染に対する周辺リスク制御を提供することを述べています。これは、推論の意味的真実性や因果的な忠実性を認証するものではなく、最終回答の正しさを保証するものでもありません。保証の実用的な意味は、注釈の質と交換可能性の仮定に依存します。

要約すると、CROP は、有効な中間ステップを保持しつつ誤りを保持するリスクを厳密に制御することで、より効率的かつ正確な下流修復を可能にする、数学的に裏付けられた推論トレースの安全な切り捨て手法を提供します。