技術的概要：言語モデルの「推論」における不確実性の追跡

問題提起

言語モデル（LM）は、数学的および論理的推論などの検証可能なタスクのパフォーマンスを向上させる「推論」痕跡（チェーン・オブ・スレッドやテスト時のスケーリングなど）と呼ばれる中間トークンの長いシーケンスを生成するようになりつつある。しかし、この生成プロセスを支配するダイナミクスは依然として十分に理解されていない。痕跡の長さとパフォーマンスの間の相関は確立されているが、正しい推論と誤った推論を区別するメカニズムは不透明なままである。これらの痕跡を検証または改善するための既存のアプローチは、しばしば情報を集約（時間的構造を破棄）するか、意味内容に依存しており、後者は信頼性が低いことが示されている。さらに、AI における「推論」の定義は依然として争われており、モデルが正しい答えをもたらす意味的に無効な痕跡を生成したり、一見妥当な痕跡が失敗したりする可能性を示す証拠がある。

本論文は、「推論」痕跡を静的な意味的対象としてではなく、不確実性を特徴とする進化するモデル状態として扱うことで、生成プロセスの理解におけるギャップに対処する。著者らは、生成の過程における不確実性のダイナミクスには、痕跡の意味内容とは独立して最終的な答えの正しさを予測するシグナルが含まれていると仮説を立てている。

手法

不確実性定量化フレームワーク

著者らは、生成プロセスを時系列としてモデル化するために不確実性定量化（UQ）を適用する。彼らは不確実性を 2 つの主要なカテゴリに分解し、さらに詳細な分析のために細分化する：

1. エピステミック不確実性 ($U_E$): 訓練データに基づく予測に関するモデルの知識不足を反映する。これは、予測確率のモデルパラメータに対する勾配の 2 乗 $L_2$ ノルムを、一次デルタ法展開を通じて導出することで推定される。
2. アレイトリアック不確実性: タスクの固有のランダム性を反映する。著者らは 2 つのサブタイプを区別する：
   • コミットメント型アレイトリアック不確実性 ($U_C$): 選択されたトークンの予測確率のベルヌーイ分散である。これは、モデルが特定のトークンにどの程度「コミット」しているか（集中度）を、多くのあり得ない代替案の間で排除によってトークンを選択することと比較して測定する。
   • 分布型アレイトリアック不確実性 ($U_D$): 完全な語彙上の予測分布の期待条件エントロピーである。これはモードだけでなく、分布全体の形状を捉える。

痕跡と答えのチャネル

生成された痕跡内の各トークン位置 $t$ について、著者らは 2 つのチャネルにわたってこれら 3 つの不確実性タイプを計算する：

• 痕跡不確実性 ($U_{Tr}$): 対象 $y$ は次のトークン $v_t$ である。これは即座の生成ステップに関するモデルの状態を特徴づける。
• 答え不確実性 ($U_A$): 対象 $y$ は最終的な答え $\hat{y}$ である。これは最終出力に関するモデルの状態を特徴づけるため、痕跡の接頭辞に条件付けられた前方/後方パスが必要だが、最終的な答えのスパンに適用される。

これにより、生成ごとに 6 つの時系列（$U_{Tr}^D, U_{Tr}^C, U_{Tr}^E, U_{A}^D, U_{A}^C, U_{A}^E$）が得られる。

特徴量エンジニアリングと予測

これらの時系列を要約するために、著者らは各不確実性痕跡に対して特徴量セットを抽出し、不確実性痕跡プロファイルと呼ぶ：

• 静的特徴量: 痕跡の初期（$\mu_{early}$）、中期（$\mu_{mid}$）、後期（$\mu_{late}$）セグメントにおける平均不確実性。
• 動的特徴量: 不確実性軌道の線形傾き（$m$）と、この線形傾向の適合度（$r^2$）。

これらの特徴量を用いて、痕跡が正しい最終答えをもたらすかどうかを予測するバイナリ分類器（ロジスティック回帰と勾配ブースティング）を訓練する。本研究は、標準的な LM から強化学習で訓練された「推論」モデル（RM）まで、Llama-3.1、Llama-3.2、Qwen-2.5、DeepSeek R1、Qwen-3 の 5 つのモデルを評価し、GSM8K（数学）と ProntoQA（論理）の 2 つのデータセットにわたって実施された。

主要な結果

予測性能

不確実性痕跡プロファイルは正しさを予測する強力な指標であり、既存のベースラインを大幅に上回る：

• AUROC スコア: この手法は、GSM8K における Qwen-2.5 で 0.807 までの AUROC スコアを達成し、最先端の回路ベース推論検証（CRV）を 11.5%、自己確信（Self-Certainty）を最大 59% 上回った。
• 早期検出: 正しさは最初の数百トークンのみを使用して高い精度で予測できる。GSM8K において、モデルは 300 番目のトークンで 0.801 の AUROC に達し、生成プロセスの初期段階で誤りを検出できることを示唆している。
• 頑健性: 予測能力は、異なるモデルアーキテクチャや訓練レジーム（標準的な LM 対 RM）間で維持されるのに対し、自己確信などの以前の手法はモデルの種類によって変動するパフォーマンスを示した。

不確実性ダイナミクスにおける定性的な差異

正しい痕跡と誤った痕跡の詳細な分析は、明確なパターンを明らかにする：

• アレイトリアック不確実性: 誤った痕跡は、生成全体を通じて、正しい痕跡と比較して一般的に高いコミットメント型および分布型不確実性を示す。
• エピステミック不確実性: 振る舞いは直感に反する。誤った痕跡は、推論モデルにおいて低い痕跡レベルのエピステミック不確実性（$U_{Tr}^E$）を示すことが多く、これは誤った痕跡のステップが、誤った結論に至るにもかかわらず、訓練データによって驚くほどよく支持されていることを示している。逆に、最終的な誤った答えは、正しい答えよりも低い答えレベルのエピステミック不確実性を持つことが多い。
• 時間的ダイナミクス: 正しい痕跡は、生成が進むにつれて不確実性がより急峻かつ線形的に減少する傾向がある（高い $r^2$）。誤った痕跡は、より平坦で線形性の低い軌道を示すか、RM の場合には、誤ったが十分に支持された答えに収束するより急峻な減少を示すことがある。

意義と主張

本論文は、不確実性下での意思決定に根ざした LM の「推論」の生成プロセスを研究するための原理的なレンズを提供すると主張している。主な貢献は以下の通りである：

1. 時間的特徴付け: 不確実性を集約するか隠れ状態に依存する先行研究とは異なり、このアプローチは痕跡を進化の時系列として扱い、推論の質がどのように、どこで変化するかを捉える。
2. 診断シグナル: 本研究は、アレイトリアック不確実性とエピステミック不確実性が逆方向の診断シグナルを運ぶことを実証している。失敗モードは、困難やコミットメントの欠如を示す上昇したアレイトリアック不確実性と、誤った経路がモデルに馴染み深いことを示す低下したエピステミック不確実性とが組み合わさって特徴づけられる。どちらの指標単独ではこの失敗モードを明らかにしない。
3. 実用的有用性: 初期の痕跡ダイナミクスの高い予測能力は、完全な生成が完了する前に不確実性プロファイルに基づいて痕跡を再サンプリングまたは早期に終了させる選択的生成やテスト時のスケーリングへの実用的な応用を示唆している。
4. 意味分析との相補性: 著者らは、不確実性に基づく分析が意味的検査が見逃す失敗を特定できることを主張しており、モデルが（比率対差などの）誤った解釈にコミットし、意味分析が見逃す可能性のある明確な不確実性のスパイクを示す事例研究によって裏付けられている。

著者らは、その手法が不確実性の近似（特にエピステミック不確実性に対する等方性近似）に依存しており、分布のシフトにより結果がデータセット間（例：GSM8K 対 ProntoQA）で変動する可能性があることを認めつつ、控えめな立場を維持している。彼らはこの作業を、推論痕跡全体における不確実性測度の有用性に関する概念実証として位置づけ、将来の研究が他のタスクやアーキテクチャへ拡張することを促している。