💬 NLP

Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward

本論文は、検証可能な報酬を用いた強化学習（RLVR）がLLMの推論能力を向上させるという逆説的な成功について、偽報酬が直接的なアライメントを通じてではなく、方策のエントロピーを減少させるクリッピングバイアスを誘発することによって性能を向上させていることを実証することで、この枠組みにおける探索と利用の明確な役割を解明するものである。

原著者： Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

公開日 2026-01-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peter Chen, Xiaopeng Li, Ziniu Li, Wotao Yin, Xi Chen, Tianyi Lin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いが少し混乱している学生（大規模言語モデル）に、複雑な数学の問題を解く方法を教えていると想像してください。あなたは、彼らがさまざまな解決策を試し、フィードバックを得ることで学習できるようにしたいと考えています。これが、**RLVR（検証可能な報酬を用いた強化学習）**の核心です。

通常、教師は最後に一度だけ「はい」か「いいえ」を伝えます。「正解できましたか？」もし「はい」なら素晴らしいですし、「いいえ」ならもう一度やり直しです。

この論文は、奇妙な現象を調査しています。もし教師が本当のフィードバックを与えるのをやめて、代わりにコイン投げで答えが正しいか間違っているかを決めるようにしたらどうなるでしょうか？驚くべきことに、いくつかのケースでは、教師が嘘をついているにもかかわらず、学生の数学の能力が向上することがあります。著者らは、なぜこのようなことが起こるのかを、クリッピング（Clipping）、エントロピー（Entropy）、そして**スプリアス報酬（Spurious Rewards）**という3つの登場人物に焦点を当てて掘り下げています。

以下に、簡単な比喩を用いた彼らの発見のまとめを示します。

1. 「コイン投げ」の教師（スプリアス報酬）

通常のクラスでは、教師は正解に対して報酬を与えます。この実験では、教師はコインを投げます。表が出たら「よくできました！」（報酬）、裏が出たら「もう一度やってみて」（報酬なし）。数学が実際に正しいかどうかに関わらず、このように決まります。

パラドックス： 論理的に考えれば、これは学生を混乱させ、能力を低下させるはずです。しかし、この論文では、より強く、より賢い学生の場合、このランダムなノイズが実際には彼らのスコア向上を助けたことが分かりました。一方で、弱い学生にとっては、このノイズはただ彼らを混乱させ、不安定にするだけでした。
教訓： 重要なのは報酬の「真実性」ではありません。重要なのは、学生がそのノイズに対してどう反応するかです。もし学生がすでに優秀であれば、ノイズは彼らの集中力を高めるための穏やかな後押しとして機能します。もし学生が苦戦しているなら、ノイズはただ彼らをかき乱すだけになります。

2. 「スピードバンプ（段差）」（クリッピング）

学習プロセスには、クリッピングと呼ばれる安全装置があります。想像してみてください。学生が非常に速く走っています。もし学生が一歩で回答を劇的に変えようとした場合、教師は「スピードバンプ（クリップ）」を置いて、過剰反応を防ぎます。

古い説： 人々は、このスピードバンプこそが、良い回答を増幅させることで学生を賢くする「ヒーロー」であると考えていました。
論文による発見： 著者らが数値を検証したところ、このスピードバンプは実は極めて小さく、ほとんど目に見えない段差に過ぎないことが分かりました。それは主要な学習信号を提供するものではありません。学生が向上した理由としては、あまりに小さすぎます。
スピードバンプの本当の仕事： その本当の役割は、学生がパニックに陥るのを防ぐことです。これがないと、学生は論理の面で巨大で突拍子もない飛躍をしてしまい、脳が壊れてしまう（「勾配爆発」）可能性があります。クリップは学習を安定させますが、数学を教えることはありません。

3. 「自信メーター」（エントロピー）

エントロピーとは、「学生がどれほど確信を持てていないか」を表す専門用語です。

高いエントロピー： 学生がデタラメに推測している状態。「たぶん5、たぶん10、たぶんバナナかも」。（高い探索性）。
低いエントロピー： 学生が非常に自信を持っている状態。「絶対に5だ」。（高い活用性）。

通常、学習においては、これらを混ぜ合わせることが求められます。つまり、少し探索し、それから知っていることを活用することです。しかし、この数学のトレーニングにおいて、論文は**学生の自信を下げること（エントロピーを減らすこと）**が、しばしばスコアの向上につながることを発見しました。

つながり： 「スピードバンプ（クリッピング）」は、偶然にも**「自信ブースター」**として機能します。学生が激しい変動をするのを止めることで、現在の、より自信のある回答の近くに留まるよう強制するのです。
落とし穴： 自信を持つことが常に良いとは限りません。
- もし学生がすでに賢く、問題が簡単な場合、自信を持つことは正しい答えを定着させる助けになります。
- もし学生が弱かったり、問題が難しかったりする場合、自信を持つよう強制されることは、彼らを頑固に間違ったままにします。彼らは新しいアイデアを探索することをやめ、悪い習慣に陥ってしまいます。

全体像：実際に何が起きているのか？

この論文は、ある謎を解いています。なぜ学生に嘘をつくこと（ランダムな報酬）が、時として彼らを賢くさせるのか？

それは嘘そのもののせいではありません： ランダムなコイン投げは数学を教えることはありません。
それはスピードバンプのせいでもありません： クリッピングの仕組みは、主要な教師となるにはあまりに小さすぎます。
それは「自信のロック」によるものです： ランダムなノイズとスピードバンプの組み合わせにより、学生はより決定的（deterministic）（ランダムではなく、より自信を持った状態）になるよう強制されます。
- 強い学生にとって、この「自信のロック」は、自分に疑いを持つことをやめさせ、正しい道に沿って進む助けとなります。
- 弱い学生にとって、このロックは間違いの中に彼らを閉じ込め、能力を低下させます。

一文でのまとめ

この論文は、AIの数学トレーニングにおいて、「ランダムなノイズ」が強いモデルを賢くするのは、ノイズ自体が有用だからではなく、トレーニングのルール（クリッピング）が、モデルに「推測をやめて、自信を持って決定的な状態になる」ことを偶然強制してしまうためであり、そしてそれは、モデルがすでに正解できるほど十分に賢い場合にのみ機能するということを明らかにしています。

技術要約：RLVRにおける探索と利用

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR）は、特に数学的領域において、大規模言語モデル（LLM）の推論能力を向上させる主要な原動力として台頭している。しかし、近年の経験的な観察は、標準的な強化学習（RL）の直感（探索と利用のトレードオフ）とは一見矛盾するパラドキシカルな動態を提示している。すなわち、RLVRにおける性能向上は、以下の2つのメカニズムに起因するとされている：

偽の報酬（Spurious Rewards）: 特定のモデル（例：Qwen-Math）において、真の正解とは無関係なランダムまたは不整合な報酬（例：Bernoulli(1/2)信号）を使用しても性能が向上することが観察されている。これは、ノイズは利用を阻害するという古典的なRL理論とは対照的である。
エントロピーの最小化: 決定論的で確信度の高い出力を促すために方策のエントロピーを減少させることが、性能向上に結びついているとされる。これは、エントロピーの減少が早期収束や劣った方策を招くという標準的な見解に反している。

本論文は、これらの効果を整合させる基礎となる原理を調査し、偽の報酬が意味のある学習信号を提供しているのか、クリッピング・バイアスが方策エントロピーとどのように相互作用するのか、そして観察された利得が単なるデータ汚染やモデル固有の癖によるものなのかという疑問を検証する。

2. 手法および理論的枠組み

著者らは、理論的分析と、複数のモデルファミリー（Qwen-Math, Llama, QwQ）およびサイズ（7Bから32B）にわたる広範な経験的評価を組み合わせて用いている。

2.1 クリッピングとエントロピーの理論的分析

本論文は、RLVRの標準的なアルゴリズムである、グループ相対方策最適化（GRPO）を分析している。

クリッピング・バイアス: 著者らは、上限クリッピング補正項（ $C^+_{tot}$ ）の大きさに関する明示的な境界を導出している。ランダムな報酬の下では、クリッピング・バイアスは意味のある学習信号にはならないことを証明している。理論的境界（定理 3.2、定理 3.4）は、生のサロゲート和の大きさ（ $N_{raw}$ ）がクリッピング補正項（ $E[|N_{raw}|] \gg E[|C^+_{tot}|]$ ）を大幅に上回ることを示しており、これはクリッピングが直接的に性能向上を駆動しているわけではないことを示唆している。
エントロピーの動態: 本論文は、ランダムな報酬の下ではエントロピーが一定であるとする先行研究（Cui et al., 2025）の近似に異議を唱えている。クリッピングと高次項を組み込むことで、著者らは「1ステップ方策エントロピー・シフト」の定式化を導出している。
- 非クリップ学習: エントロピーの変化は、初期の方策の歪度（ $\Phi(\pi_{old})$ ）に依存する。方策が十分に歪んでいる場合はエントロピーが増加し、そうでなければ減少する。
- クリップ学習: 著者らは、上限クリッピングが暗黙的なエントロピー最小化メカニズムとして機能することを証明している（定理 4.3）。クリッピングは体系的に方策エントロピーを減少させ、方策をより決定論的で確信度の高いロールアウトへと向かわせる。

2.2 報酬の不整合モデル

なぜランダムな報酬が一部のモデルには恩恵をもたらし、他のモデルにはそうではないのかを説明するために、著者らは確率的な報酬不整合モデルを導入している。彼らは、「ダメージ」（ $\Delta$ ）を、ランダムなラベル付け（偽陽性と偽陰性）による正しいロールアウトの優位性質量の損失として定義している。

モデルの強さに依存する特性: 分析によれば、期待されるダメージとその分散は、正しいロールアウトの数（ $n_c$ ）が増えるにつれて減少する。その結果、より強力なモデル（ $n_c > n_i$ ）は、総不整合ダメージが少なく、学習動態がより安定するため、ランダムな報酬から恩恵を受ける可能性が高くなる。
汚染仮説: このモデルは、性能向上が単なるデータ汚染（検証セットの記憶）によるものではなく、モデルの初期能力とデータセットの難易度の関係に依存する、より広範な現象であることを示唆している。

3. 主な貢献

クリッピングに関する理論的境界: クリッピング・バイアスが意味のある学習信号を提供しないことを示す明示的な境界を導出し、クリッピングが方策エントロピーを体系的に減少させる決定論的な繋がりを確立した。
エントロピーと性能の分離: 方策エントロピーの減少と性能向上の間には直接的な因果関係がないことを実証した。エントロピーの最小化は性能向上と同時に起こることもあるが、特に弱いモデルや困難なデータセットにおいては、性能崩壊を招くこともある。
汚染を超えた汎用性: 非汚染モデルファミリー（Llama, QwQ）および異なるデータセットの難易度（DeepScaleR vs. AIME）を用いた実験を通じて、ランダムな報酬下での性能向上が堅牢であり、潜在的に汚染されたQwen-Mathモデルに限定された現象ではないことを示した。
報酬不整合フレームワーク: ランダムな報酬が有益となる条件を、モデルの強さと正しい軌道と誤った軌道の比率を結びつける新しい理論的モデルによって説明した。

4. 実験結果

クリッピング vs. 非クリップ: ランダムな報酬を用いたQwen2.5-Math-7Bを用いた実験において、クリッピングを無効にすると方策エントロピーが増加し、場合によっては性能も向上した。クリッピングを有効にすると、エントロピーは単調に減少した。極めて重要な点として、困難なAIMEデータセットにおける弱いQwen-Math-7Bモデルでは、エントロピー最小化（クリッピングによる）が不適切な性能をもたらしたが、より強力なモデル（QwQ-32B, R1-Distill-Llama-8B）は着実な向上を示した。
勾配爆発: 著者らは、クリッピングなしでは、大きな勾配ノルムを持つモデル（例：R1-Distill-Llama-8B）が勾配爆発や学習崩壊に陥る可能性があることを観察しており、クリッピングが性能ドライバーではなく安定化メカニズムとして機能していることを強調している。
モデルの強さ: 強力なモデル（Llama-8B蒸留モデルなど）はランダムな報酬の下で改善したが、弱いモデル（Qwen-1.5Bなど）は劣化するか不安定なままとなった。これは、ランダムな報酬による利得が、モデルが十分な数の正しい軌道を生成できる能力に依存するという報酬不整合理論を支持している。
ハイパーパラメータの感度: クリッピング比率（ $\epsilon$ ）やグループサイズ（ $G$ ）を変化させた実験では、厳格なクリッピングは分散を減少させるものの、クリッピングがエントロピーのレギュレーターとして機能するという結論を根本的に変えるものではないことが示された。

5. 意義と主張

本論文は、RLVRにおける「偽の報酬」現象の背後にあるメカニズムを明確にし、性能向上が単なるデータ汚染によるものである、あるいはクリッピング・バイアスが学習信号を提供するものであるという支配的な見解を覆している。

クリッピングの再定義: 著者らは、RLVRにおけるクリッピングは、情報量の多い勾配の源泉としてではなく、局所的な信頼領域を強制し、方策エントロピーを減少させる**レギュレーター（正則化器）**として主に機能すると主張している。
文脈依存の恩恵: 本論文は、偽の報酬とエントロピー最小化の恩恵は**レジーム依存（状況依存）**であると結論付けている。これらは、方策がすでに正しい軌道に集中している容易なデータセット上の強力なモデルには効果的であるが、弱いモデルや困難なタスクにおいては、誤ったモードを強化し性能を低下させる可能性がある。
普遍的なエントロピー・性能の関係の否定: 本研究は、低いエントロピーと高い性能の間の単調な関係という考えを明確に否定しており、エントロピーの減少が性能崩壊を伴うこともあることを示している。

要約すると、本論文は、偽の報酬を伴うRLVRの成功はパラドックスではなく、モデルの強さ、データセットの難易度、およびクリッピングによる方策エントロピーへの暗黙的な正則化効果の間の特定の相互作用の結果であると断じている。これらの知見は、より効果的なRLVRトレーニングのための原則を提供しており、エントロピー制御は、普遍的な改善目標としてではなく、安定化レギュレーターとして捉えられるべきであることを示唆している。