技術要約：RLVE – 適応型検証可能環境を用いた言語モデルのための強化学習のスケーリングアップ

1. 問題提起

大規模言語モデル（LM）における強化学習（RL）のスケーリングには、静的なデータ分布に依存する場合、主に2つのボトルネックが存在する：

1. データ収集コスト： 検証可能な報酬計算のための正解（グラウンドトゥルース）を含む大規模なデータセットを取得することは、高価であり、かつ有限である。
2. 学習信号の消失： 静的な問題分布は、しばしば学習の停滞を招く。問題が容易すぎると意味のある学習信号が得られず、逆に難しすぎると一貫して低い報酬しか得られず、勾配ベースの更新を阻害する。ポリシーモデルが向上するにつれ、静的な分布は最終的に「些細に容易すぎる」か、あるいは「不適切に困難すぎる」状態となり、学習効率の低下や完全な停止を引き起こす。

既存のアプローチは通常、問題分布が既定かつ静的である固定されたデータセットに依存しており、進化するポリシーモデルの能力への適応を妨げている。

2. メソドロジー：RLVE および RLVE-GYM

本論文では、ポリシーの現在の能力に合わせて難易度を動的に調整する、プロシージャルに生成された検証可能環境を利用して、LMのRLトレーニングをスケールさせるためのフレームワークである RLVE (Reinforcement Learning with Adaptive Verifiable Environments) を導入する。

2.1 検証可能環境 (Verifiable Environments)

検証可能環境は、タプル $E = (I, P, R)$ として定義される：

• 入力テンプレート ($I$): 構造化されたプロンプト形式。
• 問題生成器 ($P$): テンプレートから特定の問題をインスタンス化するために、パラメータをプロシージャルにサンプリングするプログラム。
• 検証器 ($R$): モデルの出力を、事前に計算された解と比較するのではなく、問題の制約に対して検証することで報酬を計算するアルゴリズム関数。

決定的なのは、これらの環境が**「解くことと検証することの非対称性」**を利用している点である。環境は、LMがコードを実行できなくても、出力の検証（例：数独のグリッドが有効であるか、あるいはソート結果が正しいかを確認する）のためにプログラムを実行できる。いくつかのケース（例：NP完全問題）では、検証は解くことよりも計算量的に容易であるため、複雑なソルバーを実装することなく報酬を得ることが可能となる。

2.2 適応型難易度メカニズム

RLVEは、各環境に対して動的な難易度範囲 $[\ell_\pi, h_\pi]$ を維持する。

• 初期化: 範囲は最も単純な難易度レベル ($\ell_\pi = h_\pi = 0$) から開始される。
• サンプリング: トレーニング中、難易度レベル $d$ は $[\ell_\pi, h_\pi]$ から一様にサンプリングされる。
• 適応: システムは、現在の上限 $h_\pi$ における問題の精度を追跡する。精度が閾値 $\tau_{acc}$ (例: 90%) を最小サンプルサイズ $\tau_{num}$ にわたって超えた場合、上限が増分される ($h_\pi \leftarrow h_\pi + 1$)。
• スライディングウィンドウ: 範囲が広くなりすぎる（モデルを極端に容易すぎる問題や、不可能に難しい問題にのみさらしてしまう）のを防ぐため、下限 $\ell_\pi$ はスライディングウィンドウサイズ $d_\Delta$ を用いて調整される。これにより、モデルが常に「適切に挑戦的な」問題にさらされることが保証される。

2.3 RLVE-GYM

これを実装するために、著者らは手動による環境エンジニアリングを通じて開発された、400個の検証可能環境のスイートである RLVE-GYM を構築した。これらの環境は、特定の現実世界のタスクを直接模倣するためではなく、推論能力（例：ソート、積分、論理パズル）を開発するための教育的ツールとして設計されている。このスイートには、プログラミングコンテストの問題、数学的操作、最適化問題、古典的なアルゴリズム、論理パズルなど、多様なソースが含まれている。

2.4 トレーニングアルゴリズム

本フレームワークは、使用される特定のRLアルゴリズムには依存しない。著者らは、動的サンプリングを用いた DAPO (GRPOのバリアント) を採用している。彼らは、学習効率を測定するために「有効プロンプト比率」を定義している。これは、動的サンプリング後に保持されたプロンプトのうち、非同一の報酬をもたらした割合である。高い比率は、難易度がポリシーに適切にマッチしていることを示す。

3. 主な貢献

1. 適応型検証可能環境: 問題の難易度分布がポリシーのパフォーマンスに基づいて動的に変化し、静的なデータセットに固有の「消失信号」問題を防止する手法の提案。
2. RLVE-GYM: スケーラブルなトレーニングデータのソースとして機能する、大規模で手動設計された400個の検証可能環境の構築。
3. 環境のスケーリング: 単一の環境からのデータ量を増やすことよりも、トレーニング環境の「コレクション」を拡大すること（環境次元のスケーリング）が、汎用的な推論においてより重要であることを実証。
4. コスト効率の高いスケーリング: 大規模で静的な人間キュレーションのデータセットと比較して、大幅に低い計算コストと資金で優れた性能を実現するフレームワーク。

4. 実験結果

著者らは、6つの推論ベンチマーク（数学、コード生成、論理的推論をカバー）を用いて、RLVEを2つのシナリオで評価した。

4.1 データ飽和シナリオ

• 設定: すでに大規模なRLVRデータセット (ProRL) で飽和している強力な1.5B推論モデルである ProRL-1.5B-v2 から開始。
• 比較: 元のProRLデータセットでのRLトレーニングの継続 vs 全400環境のRLVE-GYMでの共同トレーニング。
• 結果: RLVEは、6つのベンチマーク全体で 3.37%の絶対平均改善 を達成した。対照的に、元のRLトレーニングを継続した場合は、3倍以上の計算量 (3,600 vs 約1,100 H100 GPU時間) を使用したにもかかわらず、わずか 0.49%の利得 しか得られなかった。

4.2 計算資源制約シナリオ

• 設定: 事前の推論RLを持たない、強力なSFTモデルである OpenThinker3-1.5B から開始。
• 比較: RLVE (400環境) でのトレーニング vs 高品質な数学特化型RLVRデータセットである DeepMath-103K でのトレーニング。
• 結果: RLVEはDeepMath-103Kを一貫して上回り、非数学的ベンチマーク (LiveCodeBench, BBEH) およびほとんどの数学的ベンチマークにおいて高い性能を達成した。特筆すべきは、DeepMath-103Kが数学用に明示的に設計されているのに対し、RLVEはベンチマーク固有のデータを必要としなかった点である。
• コスト効率: 著者らは、DeepMath-103Kの構築には約138,000米ドルと127,000 GPU時間が必要であったのに対し、RLVE-GYMはよりコスト効率の高い、より強力で汎用的な推論への道を提供すると述べている。

4.3 コンポーネント分析

• 適応型 vs 静的: 実験により、静的な難易度分布は、最大難易度が低すぎると早期飽和を招き、範囲が広すぎても（適応していない場合）非効率な学習を招くことが示された。適応型の難易度は、高い有効プロンプト比率と優れた性能を維持した。
• 環境のスケーリング: トレーニング環境の数（1、4、16、256から）を増やすことは、一貫して分布外 (OOD) の性能を向上させた。これは、環境の多様性が汎用的な推論の主要な推進力であることを裏付けている。

5. 意義と主張

本論文は、環境エンジニアリングが、特徴量、データ、プロンプトエンジニアリングと同様に、LM開発において基礎的なものになりつつあると主張している。RLVEの意義は以下の点にある：

• データ飽和を超えたRLのスケーリング: 大規模で高品質な静的データセットですでにモデルが飽和している場合でも、さらなる改善を可能にする。
• 継続的な学習信号の提供: 難易度を動的に調整することで、モデルが常に自身の能力の境界線上で動作するようにし、静的な分布による非効率性を回避する。
• スケーラブルでコスト効率の高い代替案: プロシージャルに生成された適応型環境が、高価な手動キュレーションデータセットよりも優れた性能を発揮できることを示し、すべての問題に対して正解を収集するという法外なコストをかけることなく、無制限かつ多様な推論タスクでモデルを訓練する道を提供する。

著者らは、本研究を、検証不可能な環境や自動環境エンジニアリングへの研究を含む、適応型環境を通じたRLトレーニングのスケーリングに向けた広範な取り組みへの一歩として位置づけている。