🤖 machine learning

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

本論文は、数学やコーディングなど多様な分野にわたる強力な汎化性能を達成するために、少量のオープンエンドな対話相互作用からモデルをゼロから訓練する非常に効率的な強化学習手法 GRLO を導入し、従来のドメイン内 RLVR 手法と比較してデータ量と計算リソースの要件を大幅に削減するものである。

原著者： Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、読書量も豊富な学生（大規模言語モデル）がいると想像してください。彼らは「事前学習」の段階で数百万冊の本を読み終えています。知識は豊富ですが、指示に従ったり、パズルを解いたり、コードを書いたりする点では少し不器用です。彼らを一流の専門家に変えるためには、通常、「事後学習」のコースを提供する必要があります。

従来、このコースを実行するには 2 つの方法がありました。

専門チューター（RLVR）: 数学やコーディングのみを教えるチューターを雇います。彼らは厳格な正解キー（「検証器」）を用いて、すべてのステップを採点します。学生が数学の問題を正解すればゴールドの星が与えられ、間違えれば赤い×が付けられます。これは数学においては驚くほど効果的ですが、学生はテスト対策の練習しか行わなかったため、通常の会話や創造的な物語の書き方を忘れることがよくあります。
総合チャットコーチ（RLHF）: 学生に、一般的に丁寧で、有益で、魅力的な会話ができるよう教えるコーチを雇います。厳格な正解キーの代わりに、人間からのフィードバック（「この回答は良かった」など）を使用します。

問題点:
「専門チューター」のアプローチは高額で、膨大な計算資源を必要とします。また、学生を数学の天才にする一方で、チャット能力を低下させてしまいます。「総合チャットコーチ」は安価ですが、数学やコーディングのような高度な推論タスクにおいて学生を向上させることが証明されていません。

新しいアイデア：GRLO（「オープンエンド・ジム」）
この論文の著者は、GRLOという新しい学習手法を提案しています。学生を数学専用のブートキャンプや一般的なチャットクラスに送るのではなく、オープンエンドな課題を備えたジムへ送ります。

ランニングマシン（数学）やサンドバッグ（チャット）だけのジムではなく、ここでは学生に 5,000 件の多様で難易度が高く、オープンエンドな質問が与えられます。

「月の南極の歴史を分析せよ。」
「特定の哲学が現代政治とどのように結びついているかを説明せよ。」
「珍獣を飼育するためのガイドを作成せよ。」

これらの質問には、コンピュータでチェックできる単一の「正解」はありません。代わりに、学生は、彼らの長く詳細な回答がどの程度構造化され、論理的で、役立っているかという点に基づいてフィードバックを受けます。

大きな驚き（「ゼロ」の魔法）
論文は、驚くべき事実を報告しています。この「オープンエンド・ジム」での練習を通じてのみ、学生は数学、コーディング、そしてチャットの能力が著しく向上しました。

結果: 基盤モデル（Qwen3-4B）を、わずか 5,000 のプロンプトという少量のデータで22.7 時間だけ学習させました。
比較: このわずかな学習により、モデルの平均性能は24.1 から 63.1へと向上しました。
効率性: これは、同様の結果を得るために通常必要とされる大規模な「専門チューター（RLVR）」手法に比べて、データ量が46 分の 1、計算資源が68 分の 1で済みました。
転移: このモデルはチャット能力だけでなく、推論能力そのものを向上させました。この特定の学習段階で数学の問題やコーディングタスクを 1 つも見ていないにもかかわらず、数学の問題を解き、コードを書く能力が向上したのです。

次に何が起こるか:
著者らは、オープンエンド・ジムの後に、わずかな量の「専門チューター」学習（数学のみ）を追加する試みを行いました。それはわずかに役立ちましたが、最も難易度の高いコンペティションレベルの数学問題に限られていました。主な向上は、完全にオープンエンドな学習から得られました。

結論
この論文は、賢く推論可能な AI を得るために、大規模で高価な数学特化型の学習パイプラインを構築する必要はないと示唆しています。強力な基盤モデルを選び、深く考え、思考を整理する必要がある多様な少量のオープンエンドな会話で学習させれば、それは自然と他のすべての能力、つまり困難な推論タスクを含めて向上します。これは、「アスリートを多様で適応力のあるオールラウンダーとして訓練すれば、特定のスポーツの練習を一度もさせなくても、走ること、跳ぶこと、投げることは自然と上手くなる」と言うようなものです。

要約: 少量の賢明でオープンエンドな会話学習は、モデルの推論やコーディングの潜在的な能力を解き放ち、従来の方法に比べて莫大な時間と費用を節約します。

技術的サマリー：GRLO – ゼロからオープンエンド環境における汎用性のある強化学習へ向けて

問題定義
大規模言語モデル（LLM）のポストトレーニングにおける最近の進展は、主に人間のフィードバックに基づく強化学習（RLHF：人間の嗜好を最適化）と、検証可能な報酬に基づく強化学習（RLVR：数学やコードなどの分野での正しさを最適化）という 2 つのパラダイムに大別されています。RLVR は特定の推論タスクにおいて優れた効率性と性能を示していますが、重大な限界も抱えています：計算コストが高く、検証可能な正解信号に強く依存し、一般的な会話能力への転移が弱いという点です。一方、標準的な RLHF は大規模でドメイン固有のデータを必要とし、明示的な推論痕跡なしに広範な推論能力を誘発することに苦労しています。

この研究が扱う核心的な問題は「ドメインカバレッジのギャップ」です：現在の手法は、検証可能なドメインに特化しすぎている（一般的なチャット能力を失う）か、広範な能力を達成するために莫大な計算予算を必要としています。さらに、オープンエンドで検証不可能な環境で行われる強化学習が、その後のドメイン固有の微調整なしに、下流の推論やコード生成タスクへ暗黙的に転移する一般的な会話能力を解き放つことができるかどうかは、依然として不明です。

手法：GRLO
著者らは、GRLO（オープンエンド環境からの汎用性のある強化学習）を提案します。これは、最適化器ではなくトレーニング環境に焦点を移すトレーニングレシピです。新しいアルゴリズム的最適化器を導入するのではなく、GRLO は少量でキュレーションされたオープンエンドのプルームに対して、標準的な RLHF 風の最適化（具体的には PPO）を適用します。

トレーニング環境：著者らは、科学的分析、論理的統合、概念的説明、長文推論などを含む、多様で認知負荷が高く、主に検証不可能なドメインにまたがる約 5,000 件の合成プロンプトのプールを構築しました。トピック監査により、このプールが数学中心ではなく、政策、歴史、生物医学、技術、人文科学を網羅していることが確認されました。
最適化：ポリシーは事前学習済みベースモデル（例：Qwen3-4B-Base）から初期化され、学習された報酬モデル（Skywork-Reward-V2）と KL 正則化された目的関数を用いた PPO によって最適化されます。重要なのは、トレーニング分布（ $D_{open}$ ）が厳密な検証が不可能なオープンエンドのプロンプトで構成されている点であり、RLVR で使用される検証可能な分布（ $D_{ver}$ ）とは対照的です。
仮説：中心的な仮説は、少量のオープンエンドな相互作用でモデルを最適化することで、その出力分布を再構成し、事前学習された能力をより効果的に活用できるようにし、それによって数学的推論やコード生成などの下流タスクへ暗黙的に転移する一般的な会話能力を向上させることができるというものです。

主要な貢献

ドメイン内 RL の再評価：本論文は、下流タスクへの転移の主要な源泉としてドメイン内 RL トレーニングが必要であるという前提に挑戦し、オープンエンド RL が実用的で軽量な代替手段となり得るかを評価しています。
軽量な汎化：著者らは、単一のオープンエンド RL ステージ（GRLO）が推論、コード生成、一般的なチャットパフォーマンスを同時に改善することを示しました。このアプローチは、大幅に少ないデータ（46 倍少ない）と計算資源（68 倍少ない）を使用しながら、強力なリソース集約型のドメイン内 RLVR ベースライン（General-Reasoner など）と同等の集計パフォーマンスを達成します。
体系的な分析：本作品は、スケーリング挙動、クロスファミリー転移（Qwen と Llama アーキテクチャ間）、および応答長さについて詳細な分析を提供し、観察された改善が単なる冗長性の産物ではなく、意思決定の質と応答の組織化の向上に起因することを明確にしています。

実験結果
著者らは、Qwen3-4B、Qwen3-8B、Qwen2.5-3B、および Llama3.2-3B を含む複数のバックボーン上で GRLO を評価しました。

Qwen3-4B のパフォーマンス：Qwen3-4B バックボーンにおいて、GRLO は推論（Math500、GPQA）、コード生成（HumanEval、MBPP）、および一般的なチャット（AlpacaEval 2 LC）の平均パフォーマンスを、ベースラインの 24.1 から 63.1 に向上させました。この結果は、公式の Qwen3-4B（ノンシンキング）ポストトレーニングモデルとほぼ同等であり、トレーニング資源の断片しか使用していないにもかかわらず、集計指標において General-Reasoner-4B ベースラインを上回ります。
具体的な改善：ベースモデルと比較して、GRLO は Math500 を 73.6 から 79.2 に、HumanEval を 6.1 から 84.8 に、AlpacaEval 2 LC を 1.6 から 45.8 に改善しました。
クロスモデルの整合性：Qwen3-8B（平均スコアが 33.7 から 67.3 に上昇）および Llama3.2-3B（21.5 から 39.3 に上昇）でも同様の傾向が観察され、異なるモデルファミリー間での手法の堅牢性を示しています。
アブレーション研究：オープンエンドの代わりにドメイン内の数学プロンプトを RL に使用すると、数学スコアはわずかに向上しましたが、チャット転移は深刻に劣化しました。同様に、オープンエンド設定で PPO を GRPO に置き換えると、最適ではない結果となり、オープンエンド環境と PPO の組み合わせが重要であることを確認しました。
補完的な RLVR：その後のドメイン内 RLVR ステージは、わずかな改善しか提供しませんでした（例：Qwen3-4B において平均を 63.1 から 63.2 に上昇）。改善は主に難易度の高いコンペティション形式の数学ベンチマーク（AIME）で可視化されました。これは、広範な転移は初期のオープンエンドステージによって駆動され、RLVR は困難な検証可能なタスクのための専門的な微調整として機能することを示唆しています。
効率性：トレーニングには 5,000 件のプロンプトと 22.7 GPU 時間しか必要としませんでした。出力長さの分析により、GRLO モデルは冗長な推論痕跡に依存するベースラインと比較して、より短く高品質な応答を生成することが明らかになりました。

意義と主張
本論文は、GRLO が広範な能力を持つポストトレーニングモデルを構築するための「シンプルで効率的なレシピ」を提供すると主張しています。その主な意義は、オープンエンド RL が、はるかに重く、検証器に支えられたトレーニングパイプラインに通常帰せられる広範な利益の大部分を回復できることを実証した点にあります。

著者らは、RL が適用される環境が、特定の最適化器やデータの規模よりも重要な要因であると論じています。RL を認知負荷の高いオープンエンド環境に移すことで、モデルは明示的なドメイン固有の監督なしに推論やコーディングスキルを暗黙的に獲得できます。これは、高性能な推論には大規模でドメイン固有の RLVR 予算が必要であるという支配的な考え方に挑戦し、代わりに「ゼロ」からの軽量なオープンエンド RL ステージが汎用性のある能力を解き放つのに十分であることを示唆しています。この研究は結論として、その後のドメイン内 RLVR ステージが困難なベンチマークでのパフォーマンスをさらに専門化できる一方で、基礎的な広範な転移はオープンエンドな相互作用そのものによって達成されると述べています。

技術的サマリー：GRLO – ゼロからオープンエンド環境における汎用性のある強化学習へ向けて

関連論文