技術要約：マルチモーダル・プロセス報酬モデルにおける学習データの効率性

1. 問題提起

マルチモーダル・プロセス報酬モデル（MPRM）は、視覚的推論タスクにおけるマルチモーダル大規模言語モデル（MLLM）に対し、ステップレベルの監督を提供するために不可欠です。しかし、MPRMの学習には通常、モンテカルロ（MC）法によってアノテーションされたロールアウトの大規模なコーパス（例：565Kのロールアウトと3.17Mのアノテーション済みステップを持つVisualPRM400K-v1.1）が必要であり、このプロセスには多大な計算コストが発生します。

本論文は、実用的なボトルネックとして学習データの効率性を特定しています。予備的な観察によれば、学習データをランダムにサブサンプリングした場合、MPRMの性能は急速に飽和することが示唆されており、これは既存のMCアノテーション済みコーパスに顕著な冗長性が存在することを示しています。核心となる研究課題は以下の通りです：

1. MPRMの性能は、ロールアウトの予算（予算量）に対してどのようにスケールするか？
2. 追加のアノテーションやモデル呼び出しのコストをかけることなく、フルデータと同等またはそれを上回る性能を維持できる、情報の価値が高いデータサブセットをどのように選択するか？

2. 手法

2.1 実証的予備研究

著者らは、VisualPRM400K-v1.1データセットとInternVL2.5-8Bバックボーンを用いて予備実験を行いました。

• 冗長性の観察： ランダムなサブサンプリング（例：ロールアウトの25%のみを保持）を行った結果、性能は急速にプラトー（停滞）に達し、大幅に更新回数を減らしてもフルデータの性能に近い状態を維持しました。これは、ラベルノイズとデータの冗長性により、データセットのサイズを大きくしても収穫逓減が生じることを示唆しています。
• ヒューリスティック分析： 著者らは異なるサブセット選択戦略を比較しました：
  • Random（ランダム）： ベースライン。
  • Low-MC（低MC）： 平均MCスコアが最も低い（エラー率が高い）ロールアウトを選択。これは多くの「擬似ポジティブ」ラベル（成功率が極めて低いにもかかわらずポジティブとラベル付けされたステップ）を導入し、性能を低下させました。
  • Mixed（混合）： 正解ステップと不正解ステップの両方を含むロールアウトを選択。これはランダム選択よりも優れた結果を示しましたが、バランスの取れたアプローチと比較すると依然として最適ではありませんでした。

2.2 理論的枠組み

これらの実証的な知見を説明するために、著者らは教師ー生徒抽象化フレームワークを定式化しました：

• 教師モデル（Teacher Model）： 真のステップレベルの正誤（$q^*$）を知っている理想的なモデル。
• 生徒モデル（Student Model）： ノイズの多いMCアノテーションラベルで学習された、学習済みのMPRM。
• 勾配分析： 著者らは、確率的なラベル反転モデルを通じてMC推定ノイズをモデル化しました。彼らは、情報量の多い勾配信号が、以下の2つの乗法的要因に依存することを導き出しました：
  1. ラベルの混合度（不確実性）： 項 $q^*(1-q^*)$ は、教師が不確実なとき（すなわち、ロールアウトにポジティブなステップとネガティブなステップが混在しているとき）に最大化されます。純粋にポジティブなロールアウト、あるいは純粋にネガティブなロールアウトは、弱い信号しか提供しません。
  2. ラベルの信頼性（ノイズレベル）： 有効なノイズ率 $\eta$ は、非常に低いMCスコアを持ちながらもポジティブとラベル付けされたステップ（擬似ポジティブ）において高くなります。これらのステップはラベルが反転したサンプルとして機能し、信号ではなく分散を加えます。
• 結論： 情報量の多いロールアウトとは、**混合（高い不確実性）しており、かつ信頼できる（ポジティブラベルのノイズが少ない）**ものです。

2.3 提案手法：Balanced-Information Score (BIS)

理論的洞察に基づき、著者らは追加のモデル呼び出しや教師あり学習を必要としないロールットレベルのスコアリングメカニズムである**Balanced-Information Score (BIS)**を提案します。これは、データセット内に既に格納されているMCスコアのみを利用します。

$n$ 個のステップを持つロールアウト $x$ について：

1. ラベルの混合度 ($p_{pos}$): ロールアウト内のポジティブなステップの比率。混合項 $p_{pos}(1 - p_{pos})$ は、ロールアウトにポジティブとネガティブのバランスが取れたステップが含まれているときに最大化されます。
2. 信頼性 ($R(x)$): ロールアウト内のポジティブなステップの平均MCスコア。高い $R(x)$ は、ポジティブなステップが真に信頼できる（ノイズが少ない）ことを示します。
3. BISの公式:
   $$BIS(x) = (p_{pos}(1 - p_{pos}) + \alpha) \times R(x)$$
   ここで、$\alpha$ は混合度が低いロールアウトに対してゼロの重みになるのを防ぐための小さな平滑化定数です。

選択プロセス： 各ソースデータセット内でBISスコアに基づいてロールアウトをランク付けし、上位 $\rho$ 分率を選択して学習サブセットを形成します。

3. 主な結果

実験は、InternVL2.5-8BおよびQwen2.5-VL-7Bの2つのバックボーンを用いて、VisualProcessBench上で実施されました。

• データ効率： BISで選択されたサブセットは、大幅に少ないロールアウトを使用しながら、フルデータの性能に一致するか、それを上回りました。
  • InternVL2.5-8B: BIS-10% サブセット（データのわずか10%を使用）は、マイクロF1スコア**65.46%**を達成し、フルデータの性能に匹敵し、Random-10%のベースラインを+2.6ポイント上回りました。
  • Qwen2.5-VL-7B: 低予算のレジームにおいてさらに大きな利点を示し、BIS-5%はRandom-5%を+10.9ポイント上回りました。
• Best-of-N リランキング： 実用的なリランキングシナリオ（16個の候補から最良の回答を選択する）において、BIS-25%サブセットで学習されたMPRMは、4つのベンチマーク（MM-K12, OlympiadBench, MathVerse, MathVista）すべてにおいて最高の性能を達成し、Random-25%およびFull-Dataモデルを上回りました。
• アブレーション研究：
  • 混合度または信頼性のいずれかのコンポーネント（例：「Mixed」のみ、または「Reliable」のみのサブセット）を削除すると、性能が低下し、両方の要因が必要であることが確認されました。
  • 本手法は平滑化ハイパーパラメータ $\alpha$ に対して頑健であり、$\alpha=0.05$ が最適な結果をもたらしました。
  • ソフトなMCラベルは、MC推定のノイズのためか、ハードな二値化ラベルよりも劣ることが判明しました。

4. 重要性と主張

本論文は、モデルの性能を損なうことなく、MPRMの学習に伴う計算コストを削減するための実用的なレシピを提供すると主張しています。

• 理論的洞察： MPRMの学習は、主にデータ不足ではなく、勾配ノイズ（ラベルノイズと混合度の欠如によって引き起こされる）によって制限されていることを確立しました。
• 効率性： BIS法により、フルデータの性能を維持しながら、元のデータの**わずか10%**で学習することが可能になり、データ処理および学習ステップに関連する計算コストを実質的に約90%削減できます。
• コストフリーの選択： アクティブラーニングや他のデータ選択手法とは異なり、BISは既存のMC信号に完全に依存しているため、モデルの推論やアノテーションのための追加コストはゼロです。
• 汎用性： 本手法はモデルに依存せず、異なるバックボーンアーキテクチャ（InternVLおよびQwenシリーズ）において有効性が実証されています。

著者らは、将来のMPRMコーパスは単に規模を拡大するのではなく、これら「混合度と信頼性」の原則に基づいてキュレーションされるべきであると結論付けており、効率的なマルチモーダル推論学習のためのデータ中心の原則を提示しています。