💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRLは、インバッチのモンテカルロ推定と特化したスタビライザーを用いることで学習された分配関数の必要性を排除し、数学、コード、および敵対的ベンチマークにおいて、235Bパラメータに及ぶ高密度および疎なアーキテクチャの両方で最先端の性能を達成する、大規模言語モデル向けの拡張可能で安定したGFlowNetスタイルの強化学習アルゴリズムを導入する。

原著者： Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

公開日 2026-07-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、世界で最も難しいパズル（複雑な数学の問題から、決してクラッシュしないコンピュータコードの作成まで）を解くための、天才的で学習速度の速い生徒を教えていると想像してください。人工知能の世界では、この生徒は「大規模言語モデル（LLM）」と呼ばれます。そして、私たちが彼らを教えるために使う手法が「強化学習」です。これは、AIが正しいことをしたときにポイント（報酬）を得るビデオゲームのようなものだと考えてください。長い間、標準的な戦略は、強欲なゲーマーのように振る舞うことでした。「今、最も多くのポイントが得られる単一の手法を見つけ出し、それを何度も繰り返す」という戦略です。これはうまく機能しますが、欠点があります。それは、特定の数学の問題を解くための特定の方法を暗記してしまい、たとえ他の方法が同じくらい優れていても、他の方法を試そうとしない学生のようなものです。彼らは一つの思考法に「固執」してしまい、新しく困難な状況に対処するために必要な創造性や多様性を逃してしまうのです。

これを解決するために、科学者たちは最近、「Generative Flow Networks（GFlowNets）」と呼ばれる異なるアプローチを試みました。単に最高の一手を探すのではなく、この手法は、AIに対して「すべての優れた手を探索し、それらがどれほど上手くいったかに基づいて使われるチャンスを与える」よう教えます。これは、「迷路の中を通るすべての有効な経路を試せ。最短に見える道だけでなく」と生徒に伝えるようなものです。目標は、多様で柔軟な思考を持つ存在を作り出すことです。しかし、これを巨大で超スマートなAIモデルへとスケールアップさせることは、悪夢でした。科学者がこれを実現するために構築したツールは非常に複雑で不安定であり、モデルが巨大化したりタスクが複雑になったりすると、AIをクラッシュさせたり、何も学習できない状態に陥れたりすることがよくありました。

「GFlowRL」と題されたこの論文は、まさにその悩みに取り組んでいます。著者たちは、以前の「多様な思考」のレシピの中で最も複雑な部分こそが、実は問題の本質であったことを発見しました。彼らは、AIの学習のバランスを取るのを助けるはずだった特定の数学的ツールが、助けとなるガイドというよりも、むしろノイズの多い壊れたラジオのように機能していたことを突き止めました。その壊れたツールを捨て去り、よりシンプルな「その場での計算」に置き換えることで、彼らはGFлоRLと呼ばれる新しい手法を作り上げました。この新しいアプローチは安定しており、高速で、驚くほど効果的です。これにより、大規模なAIモデルが、クラッシュすることなく、多様な問題解決戦略を学ぶことが可能になりました。実際、彼らの新しい手法は、従来の記録保持者を上回り、競技プログラミングにおいて現在利用可能な最高峰のAIシステムに匹敵するスキルレベルに到達しました。しかも、学習プロセスをスムーズかつ安定したまま維持しながらです。

問題点：すべてを壊してしまう「魔法の計算機」

この画期的な成果を理解するためには、まず従来の方法を見る必要があります。研究者たちが多様性を活用するためにGFlowNetsを用いてAIを教えようとしたとき、彼らは報酬のバランスを取るための特別な「計算機」（技術的には「分配関数」と呼ばれます）に頼っていました。あなたが1,000人の生徒がいるクラスの成績をつけている教師だと想像してください。独創的でユニークな解決策を見つけた生徒にクレジットを与えたい一方で、成績が高すぎてシステム全体が崩壊しないようにする必要もあります。

旧来の手法では、この計算機の役割を果たすために、全く新しい小さなAIモデルを構築しようとしました。問題は、この小さな計算機がゼロから学習しなければならない一方で、巨大な生徒（メインのAI）はすでに天才として振る舞っているということでした。それは、CEOが意思決定を行っている一方で、その予算管理を幼児に任せるようなものです。計算機（幼児）は混乱してデタラメな数字を叫び、システム全体をパニックに陥らせました。研究者たちは、この「計算機」が実際には役に立つどころか害を及ぼしていることを発見しました。それはあまりにも不安定であったため、AIの学習プロセスをエラーで爆発させ、多くの場合、計算機をランダムなノイズに置き換えた場合と変わらない、何も学習できない状態を引き起こしていました。

解決策：計算機を捨て、グループを活用する

GFlowRLの著者たちは、シンプルで大胆な問いを投げかけました。「本当にこの壊れた計算機が必要なのだろうか？」

彼らは、AIがすでに計算機が行うべき仕事を既に行っていることに気づきました。AIが練習するとき、単に一つの答えを試すのではなく、一度に一連の回答（フォーカスグループのようなもの）を試します。研究者たちは、AIがすでに生成した回答のグループを見れば、必要なバランスを把握できることに気づいたのです。繊細で壊れやすい別の機械を構築して数学を行う代わりに、目の前にあるデータを利用するだけでよいと考えました。

例えるなら、チームがいくら稼いだかを教えてもらうために、神経質な会計士を別途雇うのではなく、チームが提出してきた領収書をそのまま確認するようなものです。情報は同じですが、即時的で現実的であり、壊れる可能性のある高価な新しい機械を必要としません。

このシンプルな切り替え——複雑で学習が必要な計算機を、グループからの迅速な「その場での推定値」に置き換えること——が、すべてを変えました。

安定性： 制御不能なエラーの爆発が消え去りました。学習は、現在使用されている標準的な手法と同じくらいスムーズになりました。
簡潔さ： 二つ目の追加モデルを訓練する必要がなくなりました。これにより、膨大な計算資源と時間を節約できました。
パフォーマンス： 驚くべきことに、AIは単にクラッシュしなくなっただけではありません。むしろ、より優れたものになりました。

結果：クラッシュからチャンピオンへ

チームはこの新しい手法であるGFlowRLを、AIにとって最も困難な課題でテストしました。

数学： 彼らは難しい数学コンテストを用いてモデルを訓練しました。この新手法は、多様性を促そうとした従来のどの手法よりも多くの問題を解くことに成功しました。
コーディング： Codeforcesのような競技プログラミングサイトでテストを行いました。GFlowRLで訓練された140億パラメータのモデルは、2048のレーティングに達しました。これを比較すると、これは極めて高いスキルレベルであり、これまでのオープンソースの記録を塗り替え、現在利用可能な最高峰のクローズドソースAI（o3-mini）にわずか25ポイント差まで迫るものです。
安全性（レッドチーミング）： 彼らはまた、AIの安全ルールを破ろうとする「レッドチーミング（敵対的検証）」についてもテストしました。従来のメソッドが完全に失敗していた、このノイズが多く混沌とした環境において、GFlowRLは成功し、攻撃の成功率において最高値を記録しました。これは、フィードバックが混乱している状況下でも、複雑で多様な戦略を学習できることを証明しています。

おそらく最も印象的な部分は、そのスケーラビリティ（拡張性）の高さです。この手法を、数百億のパラメータを持つ「Mixture of Experts (MoE)」モデルのような巨大なAIシステムに適用しようとした際、従来の手法は即座にクラッシュしました。しかし、GFlowRLは、2350億のパラメータを持つモデルであっても、完璧に動作し続けました。

なぜこれが重要なのか

ここでの大きな教訓は、単により優れたAIトレーナーを作ったことではありません。「最善」の方法とは、必ずしも最も複雑な方法ではないということに気づいた点にあります。古いレシピから不要で不安定な部分を取り除くことで、よりシンプルで、かつ強力な道を見出したのです。

GFlowRLは、AIを真にスマートで多様なものにするために、より複雑なメカニズムの層を重ねる必要はないことを示唆しています。時には、超知能的な生徒を教えるための最善の方法は、レッスンプランを過剰に設計（オーバーエンジニアリング）することをやめ、彼らがすでに生成しているアイデアのグループから学ばせることなのです。AIの推論能力をスケールアップさせる鍵は、より多くのツールを追加することではなく、どのツールを捨てるべきかを正確に知ることにあることが判明しました。

技術概要: GFlowRL

問題提起

強化学習（RL）は、特に数学やコーディングといった推論タスクにおいて、大規模言語モデル（LLM）のポストトレーニングにおける標準的なパラダイムとなっています。しかし、主流のRL手法（例：PPO、GRPO）は、根本的に報酬最大化を目指すものです。これらは、単一の最高報酬モードに確率質量を集中させるため、**モード崩壊（mode collapse）**を引き起こし、解の多様性を減少させます。これは、汎化性能と堅牢性が複数の有効な解の経路をカバーすることに依存する、思考の連鎖（chain-of-thought）の推論においては構造的な制限となります。

Generative Flow Networks (GFlowNets) は、報酬に比例して軌跡をサンプリングする方策を学習することで、報酬を最大化するのではなく、報酬分布に一致させる代替案を提供します。LLMにGFlowNetsを適用しようとする最近の試み（例：FlowRL、FOR）は、**軌跡バランス（Trajectory Balance; TB）**目的関数を利用しています。この目的関数は、プロンプトに条件付けられた学習済みの補助ネットワーク（例：MLP）として実装される、分配関数（partition function） $Z(x)$ の推定を必要とします。

本論文は、決定的なスケーリングのボトルネックを特定しています。現代のLLMポストトレーニングの文脈において、ランダムに初期化された分配ネットワークを、大規模な事前学習済み方策と共同で訓練することは不安定です。方策はわずかな微調整のみを必要とするのに対し、分配関数は同じ短い訓練期間内に複雑な量をゼロから学習しなければなりません。この非対称性により、学習された分配関数が有用な正規化因子として機能するのではなく、ノイズや勾配の不安定性の源となり、特に疎な報酬レジーム（例：敵対的レッドチーミング）や疎なアーキテクチャ（混合エキスパート、またはMoE）において、訓練の分岐（divergence）を頻繁に引き起こします。

手法: GFlowRL

著者らは、学習済みの分配関数を完全に排除しながら、報酬分布一致の目的を維持する、合理化されたGFlowNetスタイルのRLアルゴリズムであるGFlowRLを提案します。

コアとなる洞察

体系的な分析を通じて、著者らは学習された分配関数 $Z_\phi(x)$ が方策の更新に対して寄与する情報が極めて少ないことを示しています。経験的に、学習された $Z_\phi$ をランダムノイズに置き換えても同等の性能が得られる一方で、学習されたバージョンは、オーダー単位で大きな勾配ノルムと頻繁な勾配爆発を導入することが示されました。

アルゴリズム

GFlowRLは、学習された $Z_\phi(x)$ を、訓練のために既に必要とされているロールアウトグループから直接計算される単純なインバッチ・モンテカルロ推定値に置き換えます（これはGRPOにおけるグループ相対正規化と同様です）。

インバッチ推定器: プロンプト $x$ と $G$ 個のロールアウトのグループ $\{y^{(1)}, \dots, y^{(G)}\}$ に対して、 $\log Z(x)$ の推定値は、グループ全体におけるTBターゲットの平均として計算されます：
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
この推定器は**ストップグラディエント・ベースライン（stop-gradient baseline）**として機能します。これは残差を中心化しますが、それ自体は勾配を持たないため、補助ネットワークとそのオプティマイザの状態を必要としません。
安定化メカニズム: 安定性を確保するために、GFlowRLは2つの主要なメカニズムを組み込んでいます。
- 重要度サンプリング補正（Importance-Sampling Correction）: ロールアウト方策（ $\pi_{old}$ ）と現在の方策（ $\pi_\theta$ ）の間のドリフトを補正します。
- 非対称フローギャップ・クリッピング（Asymmetric Flow-Gap Clipping）: フローギャップ（方策更新項の前の残差）を非対称にクリップします。これにより、過小サンプリングされた正解の解に対してはより積極的な上方補正を可能にしつつ、負の更新を制限し、外れ値のロールアウトによる訓練の不安定化を防ぎます。
損失関数: 最終的な損失は、長いシーケンスが勾配を支配するのを防ぐために、応答長によって正規化されたフローギャップの二乗残差を最小化します。

主な貢献

不安定性の原因の特定: 本論文は、学習された分配関数 $Z_\phi$ が、LLMにおけるGFlowNetベースのRLにおける不安定性の主要な原因であることを特定しました。 $Z_\phi$ がポストトレーニングにおいてほとんど恩恵をもたらさず、代わりに不必要な最適化の課題を導入することを経験的な証拠とともに示しています。
GFlowRLアルゴリズム: 学習された分配ネットワークをインバッチ・モンテカルロ推定値に置き換える、合理化されたアルゴリズムの提案。これにより、補助ネットワークと、それに伴う分散訓練のオーバーヘッドを排除しつつ、軌跡バランスの固定点を保持します。
安定したスケーリング: 密なアーキテクチャおよび疎なアーキテクチャ（MoE）の両方において、安定した訓練が可能であることを実証しました（従来のFlowRLが分岐してしまうレジームを含みます）。

実験結果

著者らは、7Bから235Bのパラメータを持つモデルを用いて、数学的推論、競技プログラミング、および敵対的レッドチーミングのベンチマークでGFlowRLを評価しています。

数学的推論: 7Bの密なモデルにおいて、GFlowRLは平均精度40.92を達成し、GRPO（32.48）およびFlowRL（35.63）を上回りました。また、32BモデルにおいてもFlowRLを凌駕しています。
コード生成: 14Bスケールにおいて、GFlowRLはCodeforcesレーティング2048に到達し、DeepCoder-14B（+112 Elo）、FlowRL-14B（+144 Elo）、およびOpenAIのo1（+157 Elo）を超えました。これはo3-miniの25 Elo以内に位置しています。
敵対的レッドチーミング: ノイズの多い報酬レジームにおいてFlowRLが収束に失敗する中、GFlowRLは安定して訓練できます。AdvBench（82.5%）およびHarmBench（79.5%）において最高の平均攻撃成功率（ASR@1）を達成し、以前のSOTAマルチターンアタッカー（SEMA）を上回りました。
MoEのスケーリング: GFlowRLは、Qwen3-30B-A3B（アクティブパラメータ3B）およびQwen3-235B-A22B（アクティブパラメータ22B）での安定した訓練に成功しました。30Bモデルにおいて、1999 Codeforces Eloに到達しています。対照的に、FlowRLはテストされたすべてのMoEベンチマークで分岐しました。
多様性: GFlowRLは、多様性スコア3.93（1〜5のスケール）を達成し、GRPO（1.21）やFlowRL（2.64）よりも大幅に高く、多様な推論経路を維持する能力を確認しました。

意義と主張

本論文は、GFlowRLが、大規模な推論モデルに対して、密なアーキテクチャと疎なアーキテクチャの両方で安定してスケールする最初のGFlowNetスタイルのRLアルゴリズムであると主張しています。

著者らは、GFlowNetスタイルのRLにおけるスケーリングのボトルネックは、軌跡バランスの目的関数そのものではなく、学習された分配関数であると主張しています。このコンポーネントを単純な、学習されない推定値に置き換えることで、GFlowRLは、補助ネットワークのエンジニアリング・オーバーヘッドや不安定性を回避しながら、分布一致（多様性、堅牢性）の恩恵を享受できます。これは、GFlowNetスタイルのRLを最前線のモデルへとスケールさせることは、複雑な仕組みを追加することよりも、元の目的関数から不要なコンポーネントを特定し、取り除くことにかかっていることを示唆しています。