💬 NLP

Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning

本論文は、既存の大型言語モデルをプロセス・スコアラーとして活用することで、小規模なモデルから固定長の推論チャンクを選択し、エラーの伝播を効果的に防ぎ、多数決および学習済みのプロセス報酬モデル（PRM）の両方を数学的ベンチマークにおいて上回る、訓練を必要としないフレームワークである「Chunk-Level Guided Generation」を提案する。

原著者： Atoosa Chegini, Soheil Feizi

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Atoosa Chegini, Soheil Feizi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは非常に難しい数学の問題を解こうとしているところだと想像してください。あなたには2人の助っ人がいます。一人はジュニア・アシスタント（小さくて速いが、時々混乱するAI）、もう一人はシニア・エキスパート（巨大で遅いが、極めて優秀なAI）です。

目標は、すべてのステップでシニア・エキスパートを使うために多額の費用や時間をかけすぎることなく、正しい答えに到達することです。

旧来の手法（そしてなぜ失敗したのか）

1. 「ダイスを振る」方法（事後選択）:
かつては、ジュニア・アシスタントに最初から最後まで完全な解答を5つまたは10個書き出させ、その後、シニア・エキスパートにそれらすべての完成した解答を見せて、最も優れたものを選ばせるという手法が取られていました。

問題点: シニア・エキスパートが解答を見る頃には、ジュニア・アシスタントは計算の途中でミスを犯してしまっています。もしジュニア・アシスタントが早い段階で道を誤った場合、シニア・エキスパートはそれを修正することはできません。彼らにできるのは、「最も間違いが少ない」完成した物語を選ぶことだけです。それは、ケーキがすでに焦げてしまった後に、シェフに直してもらうよう頼むようなものです。

2. 「ステップ・バイ・ステップ・コーチ」法（プロセス報酬モデル - PRM）:
より新しい手法では、シニア・エキスパートがジュニア・アシスタントが書いている最中に、その作業をチェックします。ジュニアが文章を一つ書き、シニアがそれをチェックし、もしそれが良ければ継続を許可します。そうでなければ、やり直しさせます。

問題点: これは素晴らしい方法ですが、シニア・エキスパートが特別に訓練されている（数学的な誤りを研究するために長年費やしてきたコーチのような）必要があります。このコーチを訓練するのは高価で困難です。

新しいアイデア：「チャンク・レベルの誘導生成」

この論文の著者たちは、新しいコーチを訓練する必要のない、賢い無料の代替案を提案しています。彼らはこれを**「チャンク・レベルの誘導生成（Chunk-Level Guided Generation）」**と呼んでいます。

仕組みは、簡単な比喩を使って説明します：

「固定長パズル」の比喩
ジュニア・アシスタントがブロックの塔を建てているところを想像してください。

ルール: ジュニア・アシスタントが文章や段落を一度に丸ごと作るのではなく、一度に正確に20個のブロック（「チャンク」）だけを作ることを許可します。
選択肢: 各ステップで、ジュニア・アシスタントはこれら20個のブロックの異なるバージョンを32通り素早く作成します。
スコア: シニア・エキスパートは、これら32通りの短いブロックの積み重ねを見ます。彼らは新しいものを書き出すのではなく、それらのブロックが正しい数学の解法に含まれる可能性が高いかに基づいて「スコア」を付けます。
選択: ジュニア・アシスタントは最もスコアの高い積み重ねを選んで固定し、それから次の20個のブロックの構築を開始します。

なぜ「固定長」が重要なのか（「長さのバイアス」という罠）
研究者たちは、大きなAIモデルの思考における奇妙な癖を発見しました。もしあなたが大きなAIに対して、短い数学のステップと長い数学のステップを判定させる場合、大きなAIはしば der 意味不明な内容であっても、長い方が良いと判断してしまうことがよくあります。これは、たとえ1ページの要約が正しくても、10ページの論文を書いた生徒の方が知識があると思い込んでしまう教師のようなものです。

ジュニア・アシスタントに全く同じ長さのチャンクを書かせることで、シニア・エキスパートは公平に比較できるようになります。これにより、「長さのバイアス」を取り除き、AIがテキストの長さではなく、数学の「質」を判断できるようにします。

2つのスコアリング戦略

論文では、シニア・エキスパートがチャンクをスコアリングする2つの方法をテストしています。

尤度誘導選択 (Likelihood-Guided Selection - LGS): シニア・エキスパートは、単にそのチャンクが自分にとってどれほど「数学らしい」かを選びます。
対照誘導選択 (Contrastive-Guided Selection - CGS): こちらの方がより巧妙です。シニア・エキスパートはこう問いかけます。「このチャンクは、ジュニア・アシスタントにとってよりも、私にとって魅力的に見えるだろうか？」
- もしジュニア・アシスタントがそのチャンクを「まあまあ」と考えている一方で、シニア・エキスパートがそれを「素晴らしい」と感じるなら、それは大きな勝利です。
- この手法は、シニア・エキスパートの「専門家としての直感」が最も価値を発揮する、つまりジュニア・アシスタントの盲点を修正するステップを見つけ出します。

結果：何が分かったのか？

研究者たちは、これらを難易度の高い数学テスト（高校や大学の競技レベル）でテストしました。

「ダイスを振る」手法に勝利: 新しい手法は、ジュニア・アシスタントが最後まで終わるのを待ってから最適なものを選ぶ方法よりもはるかに優れていました。これは、エラーが発生する前にエラーを修正していました。
訓練されたコーチに勝利: 多くの場合、この「無料の」手法（市販のままのシニア・エキスパートを使用）は、特別に訓練された「プロセス報酬モデル」のコーチと同等、あるいはそれ以上のパフォーマンスを発揮しました。
短く、スマートな回答: 驚くべきことに、新しい手法は訓練されたコーチの手法よりも短い回答を生み出しました。訓練されたコーチは、安全策としてジュニア・アシスタントに長く、とりとめもない説明を書かせることがよくありました。新しい手法は、ジュニア・アシスタントを直接的で簡潔、かつ正しい経路へと導きました。
スケーリング: 彼らがより賢いジュニア・アシスタント（70億パラメータのモデル）を使用した場合でも、この手法はうまく機能し、巨大な720億パラメータのモデルの性能に非常に近いレベルに達しました。

結論

この論文は、優れた結果を得るために特別な「数学コーチ」AIを訓練する必要はないことを示しています。単に、小さなAIが作業をしている最中に、大きな賢いAIを使って、小さく固定されたサイズの作業を素早く採点させるだけでよいのです。これは、小さなAIモデルが、最大級の最も高価なモデルとほぼ同等のレベルで難しい数学問題を解けるようにするための、訓練を必要としない、コスト効率の高い方法です。

技術要約：オフザシェルフLLMによるプロセス・スコアリング

問題提起

大規模言語モデル（LLM）における数学的推論を向上させるための現在の戦略は、コストと有効性の間のトレードオフに直面している。すべての推論クエリに対して巨大なモデルを使用することは、計算コストが非常に高い。一般的な代替案は、より小さく安価なモデルから複数の解をサンプリングし、生成完了後に多数決（Majority Voting）やBest-of-Nなどの手法を用いて最良のものを選択することである。しかし、本論文は、事後的な選択には根本的な限界があることを主張している。すなわち、小さなモデルが生成の初期段階で誤った推論パスへと逸脱した場合、エラーが伝播した後は、いかなるスコアラーもその軌道を修正することができない。

対照的に、プロセス報酬モデル（PRM）を用いた探索は、生成中の候補となる推論ステップをスコアリングすることで、このタイミングの問題に対処する。これは効果的ではあるものの、PRMはステップレベルのラベル（例：Qwen2.5-Math-PRM-72B）で訓練された報酬モデルを必要とし、それは多大な訓練オーバーヘッドとリソースコストを伴う。

本論文が取り組む核心的な問題は、**「専用の報酬モデルを訓練することなく、生成時のガイダンス（エラーが伝播する前に軌道を修正すること）の恩恵を得ることはできるか？」**という点である。

手法：チャンクレベルの誘導生成

著者らは、オフザシェルフの大型LLMを生成器としてではなく、純粋にスコアラーとして利用する、訓練を必要としないフレームワークである**「チャンクレベル誘導生成（Chunk-Level Guided Generation）」**を提案している。

フレームワーク

生成: 小さなモデル（ $\pi_s$ ）が解を生成する。各ステップにおいて、小さなモデルは単一のトークンや可変長の推論ステップを生成するのではなく、固定長 $L$ の候補となる継続部分（チャンク）を $k$ 個サンプリングする。
スコアリング: より大きな事前学習済みLLM（ $\pi_l$ ）がこれらの $k$ 個の候補をスコアリングする。極めて重要な点は、大型モデルはテキストを生成せず、提供された候補チャンクの尤度（対数確率）のみを計算することである。
選択: 最もスコアの高いチャンクがコンテキストに付加され、終了シーケンス・トークンに到達するまでプロセスが繰り返される。

スコアリング規則

論文では、大型モデルの尤度に基づく2つの選択規則を導入している：

尤度誘導選択（LGS）: 大型モデルの下での長さ正規化された対数確率が最大となるチャンクを選択する：
$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$
対照的誘導選択（CGS）: 大型モデルの好みが小型モデルのそれから最も乖離するチャンクを選択する。これは、小型モデルの対数確率を大型モデルの対数確率から減算することで行われる：
$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$
この規則は、小型モデルはそうではないが大型モデルが妥当だと判断する継続部分を優先し、大型モデルの「追加的な」知識を効果的に活用する。

主要な設計上の選択：固定長チャンク

本手法の重要な貢献は、自然な区切りを持つ推論ステップではなく、固定長チャンクを使用することである。著者らは、大型モデルの対数確率は系統的な長さバイアスを示すことを明らかにした。すなわち、長さ正規化を行った後でも、大型モデルはより長い推論ステップに対して高い確率を割り当てる傾向がある。意思決定ポイントにおいてすべての候補の長さを $L$ に固定することで、スコアを直接比較可能にし、この混乱要因を取り除いている。

主要な貢献

訓練不要のプロセス・スコアリング: オフザシェルフの大型LLMを尤度スコアラーとしてのみ使用することで、生成時探索を導くための効果的な代用となることを示した。
長さバイアスの解決: 大型モデルの尤度における系統的な長さバイアスを特定し、解決した。固定長チャンクの使用が信頼性の高いスコアリングに必要であり、可変長のステップ・スコアリングは信頼できないことを示している。
対照的選択: 単純な尤度最大化よりも一貫した利点を提供する、小型モデルと大型モデルの好みの差を活用するCGSを導入した。
効率性: 本手法は、PRMを用いた探索よりも大幅に短い推論トレースを生成しながら、同等またはそれ以上の精度を実現している。

実験結果

本フレームワークは、5つの数学的推論ベンチマーク（GSM8K, MATH, Minerva Math, AMC23, AIME24）で評価された。実験では以下の3組のモデルペアを使用した：

Qwen2.5-1.5B（Qwen2.5-32Bによる誘導）
Llama-3.2-1B（Llama-3.1-70Bによる誘導）
Qwen2.5-7B（Qwen2.5-72Bによる誘導）

ベースラインとの比較

事後選択（Post-Hoc Selection）との比較: チャンクレベル誘導生成（特にCGS）は、多数決、自己確信度（Self-Certainty）、Best-of-Nなどの事後的な手法を大幅に上回る。例えば、Llamaペア（ $k=32$ ）を用いたGSM8Kにおいて、CGSは**83.9%の精度を達成し、多数決の56.0%**と比較して27.9ポイントの向上を見せた。
PRM誘導探索との比較: マッチしたガイダンス予算（介入回数で比較）の下で、CGSは、報酬モデルの訓練なしに、ほとんどのベンチマークでQwen2.5-Math-PRM-72Bを用いたPRM誘導探索と同等またはそれを上回る性能を示した。
- Minerva Math（Qwenペア、 $k=32$ ）において、CGSは**39.0%を達成し、PRMの32.4%**を上回った。
- GSM8K（Llamaペア、 $k=32$ ）において、CGSは**83.9%を達成し、PRMの77.3%**を上回った。
スケーリング: ジェネレータをQwen2.5-7B（72Bによる誘導）にスケールアップした際、CGSはMATHで81.8%、Minerva Mathで**63.6%**に達し、多数決を4〜6ポイント上回り、PRM-72B誘導探索の平均に1.5ポイント以内で迫った。

推論トレースの長さ

「優れた性能にはより長い推論が必要である」という仮定に反して、本論文はCGSがPRM誘導探索よりも大幅に短い推論トレースを生成することを見出した。GSM8Kにおいて、PRMの回答はCGSの回答よりも最大で80%多くのトークンを含んでいた。これは、大型モデルの尤度によるガイダンスが、小型モデルをより簡潔で直接的な推論パスへと導いていることを示唆している。

意義と主張

本論文は、チャンクレベル誘導生成が、PRM誘導探索に対する実用的かつ訓練不要な代替案を提供すると主張している。その意義は以下の通りである：

アクセシビリティ: ステップレベルの報酬モデルを訓練する必要性を排除し、既存のオフザシェルフの大型モデルを使用して、より小さなモデルを向上させることを可能にする。
タイミング: 生成中に介入することに成功し、エラーの伝播を防ぐ。これは、これまで専門的な訓練が必要と考えられていた能力である。
効率性: 高い精度を達成しながら、より短い推論トレースを実現しており、PRM手法と比較して推論コストを低減している。

著者らは、実験が現在数学的推論および同一ファミリー内のモデルペア（例：QwenからQwen、LlamaからLlama）に限定されていることを挙げ、汎用性については慎重な姿勢を保っている。彼らは、さらなる調査なしに、本手法がコーディングや常識的推論に一般化するとは主張していない。