💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRL 为大语言模型引入了一种可扩展、稳定的 GFlowNet 式强化学习算法，该算法通过使用批次内蒙特卡洛估计和专门的稳定器，消除了对学习型配分函数的需求，并在高达 235B 参数的稠密与稀疏架构上，于数学、代码及对抗性基准测试中实现了最先进的性能。

原作者： Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位才华横溢、反应极快的学生去解决世界上最难的谜题，从复杂的数学问题到永不崩溃的计算机代码。在人工智能的世界里，这个学生就是一个“大语言模型”（LLM），而我们教导他们的方法被称为“强化学习”（Reinforcement Learning）。把这想象成一场电子游戏，AI 通过做正确的事情来获得分数（奖励）。长期以来，标准的策略就像是一个贪婪的玩家：“寻找当前能获得最高分的单一动作，并一遍又一遍地重复它。”这虽然有效，但有一个缺陷。这就像一个学生死记硬背了一种特定的解题方法，即使另一种方法同样出色，他也拒绝尝试其他方法。他们会“困”在一种思维方式中，错失了处理新颖、棘手情况时所需的创造力和多样性。

为了解决这个问题，科学家们最近尝试了一种不同的方法，叫做“生成流网络”（GFlowNets）。GFlowNets 不仅仅是寻找单一的最佳动作，而是教会 AI 去探索所有好的动作，并根据这些动作的表现给予它们被使用的机会。这就像是告诉学生：“尝试迷宫中的每一条有效路径，而不只是看起来最快的那一条。”目标是创造一个多样化、灵活的思考者。然而，将这种方法扩展到大规模、超智能的 AI 模型上却成了一场噩梦。科学家们构建的工具过于复杂且不稳定，经常导致 AI 崩溃或无法学到任何东西，尤其是在模型变得巨大或任务变得混乱时。

这篇名为“GFlowRL”的论文正是针对这一痛点而写的。作者发现，之前那种“多样化思维”配方中最复杂的部分，恰恰就是问题所在。他们发现，一个原本旨在帮助平衡 AI 学习的特定数学工具，实际上更像是一个嘈杂、破损的收音机，而不是一个有用的向导。通过丢弃这个破损的工具，并用一种更简单的、即时的计算来替换它，他们创造了一种新的方法，称为 GFlowRL。这种新方法既稳定又快速，而且效果惊人。它允许大规模 AI 模型学习多样化的解题策略，即使是在最难的数学和编程挑战中也不会崩溃。事实上，他们的新方法超越了之前的纪录保持者，在竞争性编程中达到了足以媲美目前最顶尖 AI 系统的水平，同时保持了训练过程的平稳与稳定。

问题所在：让一切崩溃的“神奇计算器”

要理解这一突破，我们首先需要看看旧的做法。当研究人员试图使用 GFlowNets 教导 AI 实现多样性时，他们依赖于一个特殊的“计算器”（技术上称为“配分函数”，partition function）来帮助平衡奖励。想象一下，你是一位正在为 1,000 名学生评分的老师。你想确保如果一名学生找到了一个巧妙且独特的解决方案，他能获得认可，但你也需要确保分数不会高到让整个系统崩溃。

旧方法试图构建一个全新的、微小的 AI 模型来充当这个计算器。问题在于，这个微小的计算器必须在巨大的学生（主 AI）已经在展现天才才华的同时，从零开始学习。这就像是要求一个蹒跚学步的幼儿去管理一家价值数十亿美元公司的预算，而首席执行官（CEO）正在做决策。这个幼儿（计算器）会感到困惑，大喊乱码数字，并导致整个系统陷入恐慌。研究人员发现，这个“计算器”实际上弊大于利。它非常不稳定，导致 AI 的学习过程因错误而爆炸，在许多情况下，AI 学到的东西甚至还不如直接用随机噪声替换掉这个计算器。

解决方案：丢掉计算器，利用群体

GFlowRL 的作者提出了一个简单而大胆的问题：“我们真的需要这个破损的计算器吗？”

他们意识到，AI 本身已经在做计算器本该做的工作了。当 AI 进行练习时，它不仅仅是尝试一个答案；它会同时尝试一组答案（就像一个焦点小组）。研究人员注意到，他们可以直接观察 AI 已经生成的这组答案，从而推算出他们所需的平衡。与其构建一个单独的、脆弱的机器来进行数学运算，他们只需利用眼前的现有数据即可。

可以这样想：与其雇佣一个紧张不安的会计来告诉你团队赚了多少钱，你只需要查看团队刚刚递交给你的收据。信息是一样的，但它是即时的、真实的，而且不需要一台可能会坏掉的新型昂贵机器。

这种简单的转变——用快速的、即时的群体估算取代复杂的、经过学习的计算器——改变了一切。

稳定性： 那些疯狂、爆炸式的错误消失了。训练过程变得像当今的标准方法一样平滑。
简洁性： 他们不再需要训练第二个额外的模型。这节省了大量的计算能力和时间。
性能： 出人意料的是，AI 不仅没有崩溃，反而变得更强了。

结果：从崩溃到冠军

团队在 AI 最难的一些挑战上测试了这种新方法 GFlowRL：

数学： 他们在困难的数学竞赛上训练模型。新方法帮助 AI 解决的问题比以往任何试图鼓励多样性的方法都要多。
编程： 他们在 Codeforces 等竞争性编程网站上进行了测试。一个使用 GFlowRL 训练的 140 亿参数模型达到了 2048 的评分。换句话说，这是一个极高的水平，击败了之前的开源纪录，并仅以 25 分之差接近了目前最顶尖的闭源 AI（o3-mini）。
安全性（红队测试）： 他们还测试了“红队测试”，这是一种试图破坏 AI 安全规则以观察其是否稳固的方法。在这样一个以往方法完全失效的嘈杂且混乱的环境中，GFlowRL 取得了成功，实现了最高的攻击安全过滤器的成功率，证明了即使在反馈混乱的情况下，它也能学习复杂的、多样化的策略。

或许最令人印象深刻的部分是它的扩展能力。当他们尝试将这种方法应用于大规模的“混合专家模型”（Mixture of Experts, MoE）——即拥有数千亿参数的 AI 系统时，以往的方法会立即崩溃。然而，GFlowRL 却能完美运行，即使是在一个拥有 2350 亿参数的模型上。

为什么这很重要

这里的核心启示不仅仅是他们构建了一个更好的 AI 训练器；而是他们意识到，追求“最好”的方法并不总是最复杂的方法。通过剥离掉旧配方中不必要且不稳定的部分，他们找到了一条既简单又强大的路径。

GFlowRL 表明，要让 AI 真正聪明且具有多样性，我们并不需要添加更多复杂的机器层。有时，教导一位超级智能的学生，最好的办法不是过度设计教学计划，而是让他们直接从已有的想法群体中学习。事实证明，扩展 AI 推理能力的关键不在于增加更多工具，而在于准确知道该丢弃哪些工具。

技术总结：GFlowRL

问题陈述

强化学习（RL）已成为大语言模型（LLM）后训练阶段的标准范式，尤其是在数学和编程等推理任务中。然而，主流的 RL 方法（如 PPO、GRPO）本质上是奖励最大化型的。它们将概率质量集中在单个最高奖励的模态（mode）上，导致**模态坍缩（mode collapse）**并降低了解的解空间多样性。对于依赖于覆盖多种有效解路径来实现泛化和鲁棒性的思维链（CoT）推理而言，这在结构上是具有局限性的。

生成流网络（GFlowNets）提供了一种替代方案，通过学习与奖励成比例采样轨迹的策略，从而匹配奖励分布而非仅仅最大化它。近期将 GFlowNets 应用于 LLM 的尝试（如 FlowRL、FOR）利用了轨迹平衡（Trajectory Balance, TB）目标。该目标需要估计一个配分函数（partition function） $Z(x)$ ，通常实现为一个以提示词（prompt）为条件的学习型辅助网络（例如 MLP）。

本文识别出了一个关键的扩展瓶颈：在现代 LLM 后训练的背景下，将一个随机初始化的配分网络与一个大规模预训练策略进行联合训练是不稳定的。策略仅需进行适度的微调，而配分函数却必须在同样的短训练周期内从零开始学习一个复杂的量。这种不对称性导致学习到的配分函数成为了噪声源和梯度不稳定的来源，而非有用的归一化因子，尤其是在稀疏奖励场景（如对抗性红队测试）和稀疏架构（混合专家模型，或 MoE）中，经常导致训练发散。

方法论：GFlowRL

作者提出了 GFlowRL，一种精简的 GFlowNet 式 RL 算法，它在保留奖励分布匹配目标的同时，完全消除了学习型的配分函数。

核心洞察

通过系统性分析，作者证明了学习到的配分函数 $Z_\phi(x)$ 对策略更新的贡献微乎其微。实验表明，用随机噪声替换学习到的 $Z_\phi$ 可以获得相当的性能，但学习版本却引入了高出数个数量级的梯度范数和频繁的梯度爆炸。

算法实现

GFlow-RL 用一个简单的、基于批次内的蒙特卡洛（Monte Carlo）估计取代了学习型的 $Z_\phi(x)$ ，该估计直接从训练所需的 Rollout 组中计算得出（类似于 GRPO 中的组相对归一化）。

批内估计器（In-Batch Estimator）： 对于提示词 $x$ 和一组 $G$ 个 Rollout $\{y^{(1)}, \dots, y^{(G)}\}$ ， $\log Z(x)$ 的估计值通过计算该组内 TB 目标的平均值来得出：
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
该估计器作为一个停止梯度基线（stop-gradient baseline）。它使残差中心化，但不携带自身的梯度，从而无需辅助网络及其优化器状态。
稳定器（Stabilizers）： 为确保稳定性，GFlowRL 结合了两个关键机制：
- 重要性采样修正（Importance-Sampling Correction）： 修正 Rollout 策略（ $\pi_{old}$ ）与当前策略（ $\pi_\theta$ ）之间的漂移。
- 非对称流间隙裁剪（Asymmetric Flow-Gap Clipping）： 对流间隙（即策略更新项之前的残差）进行非对称裁剪。这允许对采样不足的正确解进行更积极的上调修正，同时限制负向更新，防止异常的 Rollout 破坏训练稳定性。
损失函数： 最终的损失函数最小化流间隙的平方残差，并通过响应长度进行归一化，以防止长序列主导梯度。

核心贡献

识别不稳定来源： 本文确定了学习型配分函数 $Z_\phi$ 是 LLM 中 GFlowNet 式 RL 不稳定的主要来源。研究提供了经验证据，证明 $Z_\phi$ 几乎没有带来收益，反而引入了不必要的优化挑战。
GFlowRL 算法： 提出了一种精简算法，用基于批内蒙特卡洛估计的方法取代了学习型的配分网络。这消除了辅助网络及其分布式训练开销，同时保留了轨迹平衡目标的固定点特性。
稳定扩展： 展示了在包括密集型和稀疏型（MoE）架构在内的各种场景下的稳定训练能力，涵盖了此前方法（如 FlowRL）会发生发散的场景。

实验结果

作者在数学推理、竞争性编程和对抗性红队测试基准上评估了 GFlowRL，模型规模涵盖 7B 到 235B 参数。

数学推理： 在 7B 密集模型上，GFlowRL 达到了 40.92 的平均准确率，优于 GRPO (32.48) 和 FlowRL (35.63)。在 32B 模型上也超越了 FlowRL。
代码生成： 在 14B 规模下，GFlowRL 达到了 Codeforces 评分 2048，超过了 DeepCoder-14B (+112 Elo)、FlowRL-14B (+144 Elo) 以及 OpenAI 的 o1 (+157 Elo)。它与 o3-mini 的差距仅为 25 Elo。
对抗性红队测试： 在 FlowRL 会失效的噪声奖励场景中，GFlowRL 能够稳定训练。它在 AdvBench (82.5%) 和 HarmBench (79.5%) 上实现了最高的平均攻击成功率 (ASR@1)，优于之前的 SOTA 多轮攻击者 (SEMA)。
MoE 扩展： GFlowRL 在 Qwen3-30B-A3B（3B 激活参数）和 Qwen3-235B-A22B（22B 激活参数）上均实现了成功训练。在 30B 模型上，其达到了 1999 Codeforces Elo。相比之下，FlowRL 在测试的所有 MoE 基准上都出现了发散。
多样性： GFlowRL 取得了 3.93 的多样性得分（基于 1-5 分制），显著高于 GRPO (1.21) 和 FlowRL (2.64)，证实了其维持多样化推理路径的能力。

意义与主张

论文声称，GFlowRL 是第一个能在大型推理模型中跨密集型和稀疏型架构稳定扩展的 GFlowNet 式 RL 算法。

作者认为，GFlowNet 式 RL 的扩展瓶颈不在于轨迹平衡目标本身，而在于学习型的配分函数。通过将该组件替换为从 Rollout 组中提取的简单非学习估计器，GFlowRL 在实现分布匹配（多样性、鲁棒性）优势的同时，避免了辅助网络带来的工程开销和不稳定性。这表明，将 GFlowNet 式 RL 扩展到前沿模型，其关键不在于增加复杂的机制，而在于识别并移除原目标函数中不必要的组件。