🤖 machine learning

Understanding Diversity Collapse in RLVR via the Lens of Overtraining

本論文は、検証可能な報酬を伴う強化学習（RLVR）における「多様性の崩壊（diversity collapse）」を、モデルの推論境界を狭める過学習の一種として特定し、未解決の問題へと最適化を再誘導することで、多様な推論ベンチマークにおける高 $k$ Pass@ $k$ 性能を向上させる「ベイズ境界ゲーティング（Bayesian Boundary Gating）」を提案するものである。

原著者： Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：「過学習」という視点から見るRLVRにおける多様性の崩壊

全体像：「ワントリック・ポニー（一つの芸しかできない芸人）」問題

あなたは、学生（AI）に数学の問題を解く訓練をしていると考えてみてください。あなたは、正解にたどり着くまで何度でも挑戦できる練習テストを与えます。

目標： あなたは、学生がまだ見たことのない「新しい問題」を解く能力を高めたいと考えています。また、たとえ多くの試行錯誤が必要になったとしても、答えを見つけ出せるようになってほしいと願っています。
問題点： この論文は、学生が「最初の1回（Pass@1）」で正解する能力は非常に高くなる一方で、「何度も試行させた場合（Pass@k）」には、むしろ答えを見つける能力が低下してしまうことを発見しました。

著者らはこれを**「多様性の崩壊（Diversity Collapse）」**と呼んでいます。これは、学生が創造的な思考を止めてしまったような状態です。5通りの異なる方法で問題を解こうとする代わりに、自分が知っている「たった一つのやり方」を何度も繰り返すだけになってしまうのです。もしその一つの方法が失敗した場合、別の方法を試していれば2回目や3回目で答えに辿り着けたはずなのに、そのまま諦めてしまいます。

原因：「間違ったもの」への過学習

なぜこのようなことが起こるのでしょうか？著者らは、これが**「過学習（Overtraining）」**の一種であると主張しています。

これは、プレイヤーがゴールを決めた時だけ褒めるコーチのようなものです。

設定： コーチ（AIの学習システム）がプレイヤーに問題を出します。プレイヤーはそれを8回試行します（これは「ロールアウト」と呼ばれます）。
罠：もしプレイヤーが8回の試行のうち、たった一度でも正解に辿り着いた場合、コーチは「よし！この問題は解決した！」と考えます。
間違い： コーチはその「解決済み」の問題に集中するようにプレイヤーに指示し続け、その特定の解法を強化してしまいます。すると、プレイヤーは新しい角度から問題を捉えることをやめ、その特定の動きだけを完璧にしようとするようになります。

この論文は、標準的なAI学習において、AIが学習に費やす時間のほとんどが、すでに少なくとも一度は「解決済み」となった問題に対して無駄に使われていることを示しています。AIがこれらの「簡単な」勝利を繰り返し練習し続けることで、新しい経路を探索する方法を忘れてしまうのです。その結果、一つの特定のテクニックの達人にはなりますが、柔軟性を失ってしまいます。

「推論境界（Reasoning Boundary）」の比喩

著者らは、**「推論境界」**という概念を導入しています。これは、AIが解ける範囲を表す「壁」だと想像してください。

Pass@1 は、「AIが最初の一回で解けるか？」と問うものです。
Pass@k (High-k) は、「もし256回試行させたら、答えを見つけられるか？」と問うものです。

論文によれば、標準的な学習は、この壁を「内側へ」押し込んでしまいます。AIはすでに知っている特定の問題については上手くなりますが、以前は解けなかった「新しい問題」を含めるように壁を広げることを止めてしまいます。これは、数輪の花を巨大にするために同じ場所に水をやり続け、そのせいで庭の他の部分（未解決の問題）に水が行き渡らず、枯れてしまう庭師のようなものです。

証拠：AIが学習できないわけではない

「AIの性能低下は、単にAIが新しい推論スキルを学習できないことを意味する」という共通の認識がありました。しかし、著者らは2つの実験によって、これが間違いであることを証明しました。

観察： 彼らは学習中のAIを観察しました。AIは、開始時には解けなかった問題を解く方法を確かに学んでいることが分かりました。しかし同時に、以前は簡単に解けていた問題で失敗し始めていました。「獲得した能力」が「失った能力」によって隠されてしまっていたのです。
介入： 彼らはシンプルな修正策を試しました。それは、**「すでに解いた問題については学習を停止する」**というものです。彼らはAIにこう伝えました。「一度でも正解したら、その問題の練習はやめなさい。間違えた問題だけに集中しなさい」。
- 結果： これを行ったところ、難しい問題を解く能力（Pass@256）は、開始時のレベルよりも実際に上昇しました。これは、AIは新しいことを学ぶ能力があるものの、標準的な学習方法が、簡単な問題を過剰に練習させることで、意図せず学習を阻害していたことを証明しています。

解決策：「ベイズ境界ゲーティング（Bayesian Boundary Gating: BBG）」

これを解決するために、著者らは**「ベイズ境界ゲーティング（BBG）」**と呼ばれる新しい手法を提案しています。

BBGは、コーチのための「賢いフィルター」だと考えてください。コーチがどの問題を練習するかを決める前に、BBGは次のように問いかけます。

「この問題はすでに解決済みか？もしそうなら、スキップせよ」
「この問題は完全に未解決か？もしそうなら、集中せよ！」
「この問題は中間的な状態か？おそらく、少しだけ注意を払えばよい」

BBGは、どの問題にまだ「成長の余地」があるかを数学的に推定することで、AIのエネルギーを、簡単な勝利への過学習から、本当に助けを必要としている問題へと再分配します。

結果

彼らがいくつかの難易度の高い数学ベンチマークでこの新手法をテストしたところ：

標準的なAI： 最初の一回で正解する能力は向上しましたが、多くの試行を許された場合の解決能力は低下しました。
BBGを用いたAI： 最初の一回で正解する能力が向上し、かつ、多くの試行を許された場合の解決能力を維持（あるいは向上）させることができました。

まとめ

この論文は、AIモデルが「すでにマスターした問題を練習し続けなければならない」という状況によって、マンネリ化（停滞）していると主張しています。これにより、AIは硬直化し、創造性を失います。すでに知っていることを練習するのをやめ、まだ知らないことにのみ集中させることで、AIをより多才で有能な問題解決者にすることができるのです。

テクニカル・サマリー：過学習の観点から見たRLVRにおける多様性崩壊の理解

問題提起

検証可能な報酬を用いた強化学習（RL—RLVR）は、客観的にチェック可能な結果を持つタスクにおいて、大規模言語モデル（LLM）の推論能力を強化するための主要な手法となっている。しかし、このパラダイムには「多様性崩壊（diversity collapse）」と呼ばれる執拗な問題がつきまとう。すなわち、モデルの単一サンプル精度（Pass@1）は向上する一方で、複数回の試行を通じて正解を見つけ出す能力（high-k Pass@k）は、学習が進むにつれて頻繁に低下するという現象である。

これまでの説明では、これはオンポリシー更新の自己強化的な性質（すでに成功する可能性が高い軌跡がサンプリングされ、より頻繁に強化されることで、方策分布が縮小する解のサブセットへと鋭利化していくこと）に起因するとされてきた。本論文は、この「鋭利化バイアス（sharpening bias）」はRLVR更新の普遍的な特性であるが、いつの更新がモデルの推論境界を拡張し、いつ単に既にある到達可能な解の間で確率質量を再形成するのかを完全には説明していないと主張する。著者らは、多様性崩倒を**過学習（overtraining）**の観点から捉えることを提案する。すなわち、ある問題が参照指標（具体的にはhigh-k Pass@k）への貢献が飽和した後は、さらなる更新は推論境界を拡張できず、単に確率質量を集中させるだけであり、それが崩壊を招くというものである。

手法

理論的分析：過学習と飽和

著者らは、問題の推論境界を、成功確率 $p$ を持つ問題に対する $Pass@k = 1 - (1-p)^k$ として定式化する。彼らは、標準的なRLVRの設定（通常、 $n=8$ 回のロールアウト）の下では、経験的な成功率 $\hat{p}$ が量子化されている（例： $0/8, 1/8, \dots$ ）ことを示す。

積極的な飽和: 大きな $k$ （例： $k=256$ ）の場合、たとえ1つの成功が観察されただけでも（ $\hat{p}=1/8$ ）、Pass@256の値は $\approx 1$ になる。
過学習レジーム: その結果、少なくとも1つの正しいロールアウトを生成した問題は、推論境界に関して実質的に「飽和」したレジームにある。これらの問題に対する更新（正しい軌跡を強化する場合でも、誤った軌跡を抑制する場合でも）は、high-k Pass@kに対する限界的な利得はほとんど与えないが、方策を鋭利化させ続け、多様性崩壊を引き起こす。
ゼロ成功バケット: 更新が推論境界を意味のある形で拡張できる唯一のバケットは、 $B_{0/n}$ （正しいロールアウトが一度も観察されていないバケット）である。

実証的研究

本研究は、RLVRが（集計的な指標がそう示唆しているとしても）推論境界を拡張していることを検証するために、2つの補完的なアプローチを用いている。

観測的トラッキング: ベースモデルにおいて当初解決不可能であった問題（Pass@256 = 0）を追跡する。著者らは、標準的な学習中に、これら問題の非自明な割合が解決可能になることを発見した。これは、以前は解決可能であったより多くの問題が境界から脱出している一方でである。
介入的制限: 更新を特定のロールアウト成功バケット（ $B_{m/8}$ ）に制限する学習バリアント。非飽和バケットである $B_{0/8}$ への更新に制限した場合、困難なベンチマークにおいてベースモデルに対してPass@256の向上が見られたが、より高い成功バケットへの更新は低下を招いた。

提案手法：ベイズ境界ゲーティング（BBG）

過学習を軽減するために、著者らは飽和した問題からの最適化を逸らす問題レベルの手法である**ベイズ境界ゲーティング（BBG）**を提案する。

メカニズム: BBGは、ベータ・二項ベイズモデルを用いて、問題の推論境界への期待限界貢献度を推定する。 $n$ 回のロールアウトにおける成功数が $m$ であるとき、真の成功確率 $p$ の事後分布は $Beta(m+1, n-m+1)$ となる。
効用計算: 期待限界効用 $u(m; n, k)$ は、Pass@k目的関数の微分の期待値 $E[k(1-p)^{k-1}]$ として計算される。
ゲーティング戦略: 限界効用が極めて低い問題（推定される限界貢献度が閾値 $\tau$ を下回るもの）は、ハードゲートによって除外され、バックプロパゲーションから排除される。有意な効用を持つ問題（主に低成功バケットのそれら）のみが更新を受ける。
実装: BBGは問題レベルの損失に対する係数として適用され、W-RF（負の強化を用いた重み付き強化学習）のような既存の目的関数設計と互換性がある。

主要な結果

実験は、MATHデータセットで訓練されたQwen2.5-Math-7Bを用い、4つのベンチマーク（MATH-500, OlympiadBench, MinervaMath, AIME 2025）にわたって実施された。

ベースライン性能: 標準的なRLVR手法（REINFORCE, GRPO, W-RF）は、一貫してPass@1を向上させるが、中程度の難易度のベンチマークにおいてhigh-k Pass@k（例：Pass@256）の著しい低下を招き、多様性崩壊の現象を裏付けている。
BBGの性能:
- BBGは、すべてのベンチマークにおいて $k \in [1, 256]$ の範囲で最高の平均Pass@kを達成した。
- 決定的なことに、BBGは4つのベンチマークすべてにおいて、ベースモデルに対してPass@256を維持または向上させた唯一の手法であり、他の手法で見られる崩壊を効果的に防いでいる。
- 最も困難なベンチマーク（AIME 2025）において、BBGは評価された全範囲で大幅な利得を示したが、他の手法はhigh $k$ で低下した。
アブレーションによる洞察: 著者らは、早期停止（検証Pass@1が飽和した時に停止する）やバケットマスキング（高成功バケットを除外する）といった単純な介入が、high-k性能を部分的に回復できることを示し、過学習の仮説を検証した。しかし、BBGは、推定される境界効用に基づいて更新を動的に重み付けることで、より原理的かつ効果的な解決策を提供している。

意義と主張

本論文は、主に以下の3つの貢献を主張している。

多様性崩壊の定式化: 多様性崩壊を単なるサンプリングバイアスの問題としてではなく、過学習の結果として再定義した。標準的なロールアウト予算の下では、RLVRの更新の大部分がhigh-k Pass@kに対する過学習であることを示した。
集計的な低下の再解釈: 集計的なhigh-k Pass@kの低下が広く報告されているが、それは新しい推論能力の獲得の失敗を意味するのではないことを示した。それは、当初解決不可能であった問題での利得が、過学習による既に解決可能な問題での損失によって隠されてしまうという、純粋な結果を反映している。
BBGによる効果的な緩和: 推論境界への貢献が飽和していない問題へと最適化を振り向けることで、BBGはPass@1の向上とhigh-k Pass@kの低下を効果的に切り離し、モデルの全体的な推論の多様性を向上させた。

著者らは、実験が7B規模のモデルと単一の訓練セットに限定されていることを認め、謙虚なトーンを維持している。また、多様性崩壊には他の原因（例：トークンレベルのクレジット割り当て）がある可能性や、BBGによる高成功問題への更新抑制が、単一サンプル精度のみを優先するシナリオにおいてPass@1を低下させる可能性があることも認めている。しかし、本研究はRLVRの訓練ダイナミクスに関する新しい視点を確立しており、「方策の鋭利化」は、特定の問題に対して既に最大化された指標を最適化することの副産物であることが多いことを示唆している。