技術概要：学習された信頼性を伴うプロセス報酬（BETAPRM）

1. 問題定義

プロセス報酬モデル（PRM）は、推論タスクに対してステップレベルのフィードバックを提供し、候補の選択と方策の最適化を導く。しかし、既存の PRM は通常、各推論ステップに対して単一の点推定（例：スカラー確率）を出力する。このインターフェースには 2 つの決定的な限界がある。

1. 不確実性の定量化の欠如: 単一のスカラースコアは、確信度の高い予測と不確実な予測を区別できない。下流の手法は、モデルの信頼性が低い場合であっても、不完全なステップレベルの予測を信頼できる決定シグナルとして扱うことを余儀なくされる。
2. ノイズの多い有限サンプルの教師信号: 標準的な PRM 訓練は、通常、教師信号を生成するためにモンテカルロ継続（Monte Carlo continuations）に依存する。もし $N$ 個の継続がプレフィックスからサンプリングされ、そのうち $K$ 個が成功した場合、経験的比率 $\hat{q} = K/N$ は回帰の点ターゲットとして扱われる。しかし、$\hat{q}$ は真のプレフィックス成功確率のノイズの多い推定値に過ぎない。同じプレフィックスからの繰り返しサンプリングは、偶然性により異なる $K$ 値をもたらす可能性があるが、標準的な訓練はモデルに、可能な結果の背後にある分布ではなく、この特定のノイズの多い比率に適合することを強制する。

その結果、下流のアプリケーションは、確実に正しい高報酬ステップと、高報酬だが不確実なステップを区別できず、テスト時のスケーリングと計算配分の最適化が阻害される。

2. 手法：BETAPRM

著者は、ステップレベルの成功確率とその予測の信頼性の両方を予測する分布型プロセス報酬モデルであるBETAPRMを提案する。

2.1 ベータ - 二項カウントモデル

点ターゲット $\hat{q} = K/N$ に回帰する代わりに、BETAPRM はプレフィックス成功確率 $q_t$ をベータ分布に従う潜在変数としてモデル化する。
$$q_t \sim \text{Beta}(\alpha_t, \beta_t)$$
$N$ 回の試行における観測された成功継続数 $K_t$ は、$q_t$ に条件付けられた二項分布の引き出しとしてモデル化される。
$$K_t | q_t \sim \text{Binomial}(N, q_t)$$
潜在変数 $q_t$ を周辺化することで、モデルは観測されたカウント $K_t$ に対してベータ - 二項分布を学習する。これにより、モデルは比率 $K_t/N$ に適合することを強制されるのではなく、観測されたカウント $K_t$ に尤度を割り当てることが可能になる。

2.2 パラメータ化

ベータ分布は、その平均 $\mu_t$ と集中度 $\kappa_t$ によって再パラメータ化される。

• 平均（$\mu_t$）: 期待される成功確率を表し、標準的なスカラー PRM スコアとして機能する。
• 集中度（$\kappa_t$）: 信念の鋭さを制御する。高い $\kappa_t$ は集中した（信頼性の高い）信念を示し、低い $\kappa_t$ は広範なモンテカルロ観測を説明できる平坦な（不確実な）信念を示す。

モデルアーキテクチャは、標準的な言語モデルのバックボーンを使用する。平均 $\mu_t$ は、「Yes」報酬トークンのソフトマックス確率から導出される。集中度 $\kappa_t$ は、プロセスマーカーにおける隠れ状態に適用される別の軽量な線形ヘッドによって予測され、報酬チャネルと信頼性チャネルが明確に分離されるようにしている。

2.3 訓練目的

訓練損失は 2 つの構成要素からなる。

1. ベータ - 二項尤度（$L_{\text{Beta-Binomial}}$）: 予測されたベータパラメータが与えられたときの観測カウント $K_t$ の尤度を最大化する。これにより、モデルは観測されたモンテカルロデータの分布を説明することを促される。
2. 補助的正則化（$L_{\text{reg}}$）: 集中度パラメータが不較正になるのを防ぐため、予測された平均 $\mu_t$ が観測された比率 $K_t/N$ と一致しない場合に、高い集中度（$\kappa_t$）に対してペナルティを課す補助損失が用いられる。重要なのは、この項において $\mu_t$ にストップグラディエント操作が適用されることで、正則化子がノイズの多い比率の方へ報酬平均を引っ張ることなく、$\kappa_t$ を較正することである。

$$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$$

3. 応用：適応的計算配分（ACA）

学習された信頼性シグナルを活用し、著者は PRM 指導の Best-of-N 推論のための**適応的計算配分（ACA）**を導入する。難易度に関わらず一定数の候補をサンプリングする固定予算の Best-of-N と異なり、ACA は計算を動的に配分する。

• リスク調整型スコアリング: 候補は、ベータ分布から導出された標準偏差 $\sigma_t$ を用いたリスク調整型指標 $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$ によってスコアリングされる。これは不確実性の高い候補にペナルティを課す。
• 早期停止: ACA は段階的なバッチで候補をサンプリングする。現在の最良候補の下限信頼区間（LCB）が、すべての競合候補の上限信頼区間（UCB）を超えた場合、勝者が確実に先行していると判断して早期に停止する。
• 不確実性ガイド型修復: 停止条件が満たされない場合、ACA はゼロから完全に新しい候補を生成するのではなく、最も有望な不確実なプレフィックス（UCB が最も高い非勝者）を修復するために次の計算バッチを割り当てる。

4. 実験結果

著者は、4 つのバックボーンモデル（InternVL2.5-8B、InternVL3-8B、InternVL3-14B、Qwen2.5-VL-7B）と 4 つの推論ベンチマーク（MathVision、OlympiadBench、MathVerse、MathVista）において BETAPRM を評価した。

• Best-of-N 選択: BETAPRM は、すべてのバックボーンにおいて標準的な PRM を上回る最終回答精度を達成した。例えば、InternVL2.5-8B において、BETAPRM は標準的な PRM に対して平均**+3.37 ポイント**の向上を達成した。
• エラー検出: BETAPRM は標準的なステップレベルのエラー検出能力を維持し、VisualProcessBench において標準的な PRM と同等かやや優れたマイクロ F1 スコアを達成した。
• 精度 - トークントレードオフ: ACA 設定（固定最大予算 $N=16$）において、BETAPRM は推論の効率を大幅に向上させた。
  • InternVL2.5-8B を用いた MathVerse において、トークン使用量を最大33.57%削減しながら、固定予算の Best-of-16 と比較して最終回答精度を向上させた。
  • 除去実験により、BETAPRM からの学習された不確実性シグナルが、代理不確実性や報酬のみの配分を用いた標準的な PRM よりも優れていることが確認された。後者は、高いスコアにもかかわらず追加計算が必要なプレフィックスを特定することに失敗した。

5. 意義と主張

本論文は、BETAPRM が現在の PRM インターフェースにおける根本的なミスマッチ、すなわち信頼できる予測と不確実な予測を区別できないという課題に対処していると主張する。プレフィックス成功確率を点推定ではなく分布としてモデル化することで、BETAPRM は以下の点を実現する。

1. 信頼性の高い意思決定の可能化: 下流アルゴリズムは、確信度の高い報酬と不確実なものを区別できるようになり、信頼性の低いスコアが決定を支配することを防ぐ。
2. テスト時効率の向上: 学習された信頼性シグナルにより適応的計算配分が可能となり、精度を犠牲にすることなく（むしろ向上させながら）、推論コスト（トークン）を削減する。
3. 教師信号のより良い活用: ベータ - 二項目的関数は、モンテカルロ教師信号の有限サンプル性を効果的に活用し、カウント $K$ を決定論的ラベルではなく確率的観測として扱う。

著者は、スカラープロセス報酬を信頼性認識シグナルへと変換することが、テスト時計算のスケーリングと推論システムの堅牢性の向上にとって不可欠な一歩であると結論づけている。