技術要約：構造的事前分布の注入による価値ベース・プロセス検証器の改善

問題提起

大規模言語モデル（LLM）の推論シナリオにおいて、プロセス検証器は中間的な推論ステップの質を評価するために極めて重要である。結果（Outcome）検証器が最終的な正誤のみに焦点を当てるのに対し、価値ベース（Value-based）のプロセス検証器は、各ステップにおける「状態価値」（正しい結果に到達する確率）を推定する。

現在、状態価値は通常、モンテカルロ（MC）サンプリングを用いてアノテーションされている。しかし、この手法はフル・ロールアウトの生成コストが高いという理由から、主に以下の2つの重大な制限に直面している。

1. 離散的な表現の粒度： 限定的なサンプリング（例：$k$ 回のロールアウト）により、推定値が離散的な集合（$0, 1/k, \dots, 1$）に制限されてしまう。これは、真の価値が連続的な確率である場合との間にミスマッチを生じさせる。
2. サンプリングの分散： MC推定は不偏（unbiased）ではあるが、サンプル数が少ない場合には不正確であり、特に真の成功確率 $p$ が中間（0.5）に近い場合に分散が最大となる。

既存の解決策として、離散的な値を連続的な空間にマッピングするために平均二乗誤差（MSE）を使用したり、分散を低減するために時間差分（TD）法を用いたりするものがある。しかし、TD法はLLMの推論においては計算コストが高すぎるため、大量のサンプリングを必要とする。また、標準的なMSEは、サンプリング誤差の背後にある分布を明示的にモデル化することなく、値を単なるスカラーとして扱う。

著者らは、**構造的事前分布注入（Structural Prior Injection）**を提案する。これは、スカラー値としての状態価値を、定義されたカテゴリカル分布の期待値へと変換する手法である。このアプローチは、MCサンプリングの誤差を「分布のミスマッチ問題」として再定義するものである。

1. スカラーからカテゴリカル分布へ

検証器は単一のスカラー値を予測するのではなく、$m$ 個のビン（bin）にわたるカテゴリカル分布 $Z$ を予測する。状態価値 $V^\pi(s)$ は、この分布の期待値として定義される：
$$V^\pi(s) = E_p[\delta_i] = \sum_{i=1}^m p_i(s)\delta_i$$
ここで、$\delta_i$ は位置 $i$ におけるディラックのデルタ関数を表す。

2. 構造的事前分布の定義

本手法は、$k$ 回のモンテカルロ・サンプリングの結果を、真の状態価値 $p$ を持つ二項分布 $Bin(k, p)$ から抽出された単一のサンプルとして扱う。

• 期待値回帰（MSE）： モデルはカテゴリカル分布の期待値を最適化してMC推定値に一致させ、値が分布の平均であるという構造的事前分布を効果的に注入する。
• 期待値分類（ヒストグラム損失）： モデルは、真の二項分布そのものを復元しようと試みる。目標は、限定的なサンプリングデータから、真の二項分布への距離を最小化する事後分布を見つけることである。

3. 統計に基づく距離指標

事後分布の選択（例：One-hot、ガウス分布、またはその他の形状の選択）を導くために、著者らは**統計に基づく距離（Statistics-based Distance）**指標を導入している。

• $D_T(p, q) = E_{x \sim q}[d(p(\cdot|x), q)]$ と定義される。ここで $d$ はワッサースタイン距離などの距離指標である。
• この指標は、推定された事後分布と真のターゲット分布の間のミスマッチを、統計的なレベルで測定する。
• 著者らは、カテゴリ間の重みといった系列特性があるため、KLダイバージェンスではなく、確率質量間の「距離」を測定するのに適したワッサースタイン距離を使用している。

4. 最適化

検証器は、以下のいずれかを用いて最適化される：

• MSE損失： 予測された期待値とMC推定値の間の二乗差を最小化する。
• ヒストグラム損失（クロスエントロピー）： 予測されたカテゴリカル分布とターゲット分布（例：二項分布を近似する切断ガウス分布）の間のクロスエントロピーを最小化する。

主な貢献

1. 構造的事前分布の注入： 本論文は、スカラーのMCサンプリング誤差を分布のミスマッチ問題へと転換することを提案している。値をカテゴリカル分布の期待値として表現することで、本手法は、限定的なデータから真の分布を復元することの困難さを明示的にモデル化している。
2. 統計に基づく距離： 事後分布と真のターゲット分布との間の距離を定量化するための新しい指標を提案している。この指標は、ミスマッチを最小化する合理的な構造的事前分布（分布の形状や分散など）を選択するためのガイドとして機能する。
3. 実証的検証： 著者らは、追加の計算コストをほとんど、あるいは全くかけることなく、異なる目的関数（MSEおよびヒストラム損失）およびタスク（Best-of-Nおよびビームサーチ）において、検証器の性能が向上することを実証している。

実験結果

本手法は、MATHデータセットを用い、Qwen2.5-Math-7BやDeepseek-Math-7Bなどのベースモデルを使用して、Best-of-N (BoN) および ビームサーチ タスクで評価された。

• 性能向上： スカラー回帰のベースラインと比較して、期待値ベースのモデル（MSEおよびヒストグラム損失の両方のバリアント）は、成功率において一貫して約1〜2パーセントポイントの改善を達成した。
• タスクによる感度：
  • Best-of-N において、結果（Outcome）を教師ありとする検証器は良好な性能を示したが、本手法が強化するプロセス（Process）を教師ありとする検証器は、より優れた堅牢性を示した。
  • ビームサーチ において、プロセス教師あり検証器は結果のみの検証器を大幅に上回り、多段階探索における中間状態の正確な値の重要性を浮き彫りにした。
• 事前分布選択の影響： アブレーション研究により、構造的事前分布の選択が性能に大きく影響することが明らかになった。
  • 分布の形状： 動的なガウス分布（分散がサンプリング値から派生するもの）を使用することは、静的なガウス分布やOne-hot分布よりも良い結果をもたらした。これは、実験で観察されたより低い統計的距離と一致している。
  • カテゴリの数： カテゴリ数をサンプリングサイズに合わせる設定（例：8回のロールアウトに対して9つのカテゴリ）が有益であることが証明された。

重要性と主張

本論文は、価値ベースのプロセス検証器の改善は、合理的な構造的事前分布の注入に由来すると主張している。値をスカラー回帰から分布推定へと視点を転換することで、本手法はLLMの推論におけるモンテカルロ推定固有のノイズと粒度の問題に対処している。

著者らは以下を強調している：

• MC推定の誤差は、本質的に、限定的なサンプルから真の分布を復元することの困難さである。
• 統計に基づく距離は、ミスマッチを最小化する事前分布を評価し選択するための、理論的かつ実践的なツールを提供する。
• このアプローチは、「有望かつ意義のある方向性」を提示しており、構造的事前分布を用いることで、サンプリング量を高価に増やすことなく、価値ベースの検証における最適化プロセスを大幅に強化できることを示唆している。

本研究の範囲は控えめなものであり、ワッサースタイン距離の非微分性（事前的な非微分的分布モデリングを必要とする点）や、MSEとクロスエントロピーの目的関数を線形に組み合わせることの難しさといった限界についても言及している。