🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

本論文は、数学的推論タスクにおいてRLVRで学習された小規模言語モデルに対し、プロセスレベルの報酬監督が、正確性と推論トレースの忠実度の両面において、結果のみの報酬監督を大幅に上回ること、およびハイブリッドな報酬構造は一般に高いプロセス重みの恩恵を受けることを示している。

原著者： Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に小さくて意欲的な生徒（小さなAIモデル）に、算数の文章題の解き方を教えているところだと想像してください。あなたは、その生徒に正解を導き出してほしいだけでなく、単に答えを推測するのではなく、「どのように考えるか」を学んでほしいと考えています。

この論文は、その生徒への「2つの異なる採点方法」を比較している、ある教師のようなものです。すなわち、**「最終的な答えだけをチェックする」方法と、「すべての作業ステップを一つずつチェックする」**方法の比較です。

以下に、この実験の内容を分かりやすい言葉で説明します。

セットアップ：「小さな脳」を持つ生徒

研究者たちは、非常に小さなAIモデル（Qwen2.5-0.5Bと呼ばれます）を使用しました。これは、記憶力や思考力がそれほど大きくない、賢いけれど小さな子供のようなモデルだと考えてください。小さいため、指示が明確でないと混乱しやすい性質を持っています。

彼らは、この生徒に1,319個の算数の問題（GSM8Kというデータセット）を解かせました。彼らは「強化学習」という手法を用いてこの生徒を訓練しました。これは基本的に報酬のシステムです。「正解したら『よくできました！』」「間違いだったら『やり直し』」という仕組みです。

2つの教育スタイル（報酬構造）

研究者たちは、報酬を与える5つの異なる方法をテストしました。

「結果のみ」のコーチ（最終成績方式）:
- 仕組み: 教師は、箱の中に書かれた最後の数字だけを見ます。答えが合っていれば、生徒には金メダルが与えられます。間違っていれば、何も与えられません。
- 結果: 生徒は、約**54%**の確率で正解を導き出せるようになりました。
- 問題点: 生徒は「ズル」や「推測」を始めました。答えに直行したり、手順を飛ばしたり、金メダルをもらうためだけにデタラメな論理を作り上げたりしました。彼らの推論はめちゃくちゃで、たとえ最終的な数字が運良く合っていたとしても、そのプロセスは支離滅裂でした。
「プロセスのみ」のコーチ（ステップ・バイ・ステップ採点方式）:
- 仕組み: 教師は、生徒が書き出した「すべてのステップ」をチェックします。正しく足し算ができたか？変数を定義したか？ステップが正しければ、生徒に1ポイント与えられます。ステップが間違っていれば、ポイントを失います。
- 結果: 生徒は、**64%**の確率で正解を導き出しました。
- メリット: 生徒の思考は、より論理的で根拠のあるものになりました。彼らは実際に「問題の解き方」を学んだのです。
- 副作用: 生徒は少しおしゃべりになりました。ミスを恐れるあまり、 $2+2$ を解くだけのために、まるで小説を書くかのように、手順を書きすぎたり、同じことを繰り返したりすることがありました。
「ハイブリッド」コーチ（スタイルの混合）:
- 研究者たちは、これら2つのスタイルを混ぜ合わせることを試みました。ステップに基づいたスコアを主に与え、最終的な答えに少しだけ重みを置く（あるいはその逆）という方法です。
- 驚きの結果: 最も優れた組み合わせは、**「ステップに90%、最終回答に10%」**の重点を置くことでした。この生徒は、「プロセスのみ」の生徒とほぼ同等のパフォーマンス（正解率61%）を示しながらも、より簡潔で綺麗な回答を書けるようになりました。
- 警告: 逆に、**「最終回答に90%、ステップに10%」**という組み合わせを試したところ、生徒の成績は「結果のみ」の生徒よりも悪化してしまいました。これは、「最終回答」の報酬が大きすぎると、生徒が混乱してしまい、「ステップ・バイ・ステップ」の指示が役に立たなくなることを示しています。

何が分かったのか？（比喩による説明）

AIを、山の頂上（正解）を目指して歩くハイカーだと考えてみください。

結果のみ: あなたはハイカーに、「頂上に到達したら賞品をあげよう」と言います。ハイカーは近道を取ったり、崖を滑り落ちたり、道に迷ったりするかもしれませんが、もし偶然頂上に辿り着けば勝ちです。彼らは「道」を学びません。
プロセスのみ: あなたはハイカーに、「安全で正しい一歩を踏み出すたびに、軽食をあげよう」と言います。ハイカーは道を完璧に学びます。安全のために少し余計なステップを踏むこともあるかもしれませんが、確実に目的地に到達します。
ハイブリッド: あなたは、安全なステップに対して軽食を与えつつ、頂上に到達したときには大きな賞品を与えます。もし賞品が軽食に比べて大きすぎると、ハイカーは道を無視して、空を飛んだりジャンプしたりしようとし、失敗することが多くなります。

大きな教訓

この論文は、「どのように採点するか」が、あなたが考えている以上に重要であると結論づけています。

小さなAIモデルにとって、単に最終的な答えに報酬を与えるだけでは不十分です。それは「ハルシネーション（幻覚）」、つまり正しい数字を得るためだけにデタラメな論理を作り出す現象を引き起こします。モデルに正しく「考えさせる」ためには、**プロセス（手順）**に重きを置いて報酬を与える必要があります。

「プロセスのみ」のアプローチは、モデルを大幅に賢く、正確にしました。これは、小さな脳にとって、**「答えを出すことと同じくらい、解き方を示すことが重要である」**ということを証明しています。

技術要約：小規模言語モデルにおけるRLVRの報酬粒度

問題提起

検証可能な報酬を用いた強化学習（RLVR）は、言語モデルの数学的推論能力を向上させるためのパラダイムとして台頭しているが、通常は結果ベースの報酬（最終回答の正誤）に依存している。しかし、プロセスレベルの監督（ステップごとの報酬）の影響については、特にQwen2.5-0.5Bのような**小規模言語モデル（SLM）**において未だ十分に解明されていない。これらの小型モデルは、疎な結果のみのフィードバックを与えられた場合、自己修正を行うための内部能力が不足していることが多く、その結果、最終的な答えが正しくても、論理的に一貫性がなかったり、幻覚（ハルシネーション）が生じたり、構造的に不健全な推論プロセス（reasoning traces）を生成してしまう傾向がある。本研究の核心的な問いは、プロセス報酬が推論プロセスの整合性と妥当性を向上させるのか、そしてハイブリッドな報酬構造が、どちらか一方のアプローチ単独よりも安定した推論をもたらすのかという点にある。

メソドロジー

著者らは、コンパクトなトランスフォーマーモデルであるQwen2.5-0.5Bを用い、GSM8Kデータセット（小学校レベルの算数の文章題）に対して**Group Relative Policy Optimization (GRPO)**を用いてファインチューニングを行う制御された実証研究を実施した。

実験設定

ベースライン: 直接回答（思考の連鎖なし）の設定で評価された事前学習済みモデル。正解率は33.13%。
報酬レジーム: 以下の5つの異なる報酬条件を比較した：
1. プロセスのみ (Process-Only): 生成された中間ステップが正解の計算（数値的な許容範囲内）と一致する場合に報酬を割り当てる。生成された連鎖が正解のステップ数の1.5倍を超えた場合はペナルティを適用する。
2. 結果のみ (Outcome-Only): 最終的な数値回答の正誤のみに基づくバイナリ報酬。
3. ハイブリッド構成 (Hybrid Configurations): プロセス報酬と結果報酬の重み付き結合（ $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ ）であり、 $\lambda \in \{0.9, 0.5, 0.1\}$ とする。
評価戦略:
- 正解率 (Accuracy): 全1,319問のテストセットで測定。
- 推論の忠実度 (Reasoning Fidelity): 層別化された45問のセグメント（易しい問題15、中程度15、難しい問題15）を用いて、以下の4つの指標で評価：
  - CoT-Pass@1: 単一のサンプリングされたトレースの成功率。
  - トレースの妥当性 (Trace Validity): 論理的な整合性（矛盾や無効な変換の不在）。
  - 連鎖長の偏差 (Chain Length Deviation): 生成されたステップ数と正解のステップ数の差。
  - プロセスステップ比率 (Process Step Ratio): 正解の推論プロセスと一致するステップの割合。
- エラー分析: GPT-4oを判定器として使用し、失敗モード（例：導出の誤り、計算ミス、ステップの欠落、矛盾）を分類。

主な結果

1. 正解率の向上

プロセスのみの監督は、テスト正解率63.73%を達成し、ベースラインに対して+30.60%の改善を示した。これは結果のみの監督（53.75%、+20.62%の改善）を大幅に上回っている。

ハイブリッドの性能: プロセス重みが高いハイブリッド構成（ $\lambda=0.9$ ）は、61.10%の正解率を達成した。
異常値: プロセス重みが低く結果重みが高い構成（ $\lambda=0.1$ ）は、純粋な結果のみの監督（49.30%）を下回った。これは、この特定の重み付けにおいて、相反する最適化シグナルが性能を低下させることを示唆している。

2. 推論の忠実度と安定性

トレースの妥当性: $\lambda=0.9$ のハイブリッドモデルが最も高いトレース妥当性（0.60）を達成し、次いで結果のみ（0.40）、プロセスのみ（0.22）となった。
連鎖長: プロセスのみのモデルは、正解の連鎖長からの偏差が最大（6.49）であり、冗長または過剰な推論を行う傾向があることが示された。結果のみのモデルは、より簡潔なトレースを生成した（偏差 3.64）。
プロセスステップ比率: $\lambda=0.9$ のハイブリッドモデルは、最も高い比率（0.84）を達成しており、正解の中間ステップとの整合性が最も高いことを示している。

3. 定性的およびエラー分析

プロセスのみのモデル: 構造的には一貫性を欠くものの、算術的には根拠のあるトレースを生成した。局所的に妥当なステップの長い連鎖を生み出すインセンティブにより、構造的な不整合や矛盾を頻繁に引き起こした。
結果のみのモデル: 簡潔な連鎖を生成したが、導出エラーや計算ミスが発生しやすく、中間的な根拠が弱く、推論のポイント間で「飛び越し」が生じる傾向があった。
ハイブリッドモデル: ステップの連続性と必要な簡潔さのバランスを取り、最も人間らしい推論の流れを示した。また、エラーのタイプも最も均等に分布しており、壊滅的な失敗が最も少なかった。

意義と貢献

本論文は、報酬の粒度はRLVRにおける軽微な実装の詳細ではなく、第一級の設計決定事項であると主張している。主な貢献は以下の通りである：

体系的な比較: 小規模モデルにおける5つの報酬条件の制御された比較を提供し、密なプロセス信号が、SLMにとって疎な結果フィードバックよりも有益なガイダンスとなることを示した。
正解率を超えて: 正解率だけでは不十分であることを確立した。プロセス監督は、トレースの忠実度とステップの妥当性を大幅に向上させる一方で、結果のみの監督は「不安定な（flaky）」推論を招く可能性がある。
ハイブリッドのダイナミクス: ハイブリッド報酬は一般にプロセス重みと正の相関があるものの、特定の低プロセス構成では、性能を損なう相反するシグナルが生じることを特定した。
失敗モードの特性評価: LLM-as-a-judge を用いて、異なる失敗分布を明らかにした（プロセスモデルは構造的不整合に苦しみ、結果モデルは導出エラーに苦しむ）。

著者らは、モデルが単に正解を出すだけでなく、信頼できる推論を行うようにするためには、推論のプロセスと結果の両方を監督することが不可欠であると結論付けている。プロセスのみの監督と結果のみの監督との間の、ほぼ10パーセントポイントに及ぶ正解率の差は、小規模言語モデルにおける報酬の粒度の極めて重要な重要性を強調している。

セットアップ： 「小さな脳」を持つ生徒