💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

本文介绍了 PACED-RL，这是一种后训练框架，它将 GFlowNet 的配分函数重新诠释为每个提示的准确率信号，以优先处理信息丰富的提示并优化回放，从而在不增加额外计算开销的情况下显著提高大语言模型的样本效率和推理性能。

原作者： Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位才华横溢但非常字面化的学生（即人工智能）如何解决复杂的谜题，比如数学问题或编程挑战。你希望他们提升推理能力，同时也希望他们保持创造力，而不仅仅是死记硬背解决所有问题的单一方法。

本文介绍了一种名为PACED-RL的新教学方法。为了理解其工作原理，让我们先看看现有方法存在的问题，以及这种新方法如何通过一个巧妙的技巧来解决这些问题。

问题所在：“过度自信”的学生

现有的教学方法（如 PPO 或 GRPO）就像一位严厉的教官。他们告诉学生：“如果你答对了，很好！如果你答错了，下次要更努力。”

结果： 学生变得非常擅长给出正确答案，但他们变得僵化。他们停止尝试不同的方法，只输出他们认为“安全”的那一种。他们失去了思维的多样性。

之前的解决方案：“流”方法

最近，研究人员尝试了一种名为GFlowNets的方法。这种方法不再仅仅追逐最高分，而是试图教导学生匹配答案的特定“理想分布”。这就像在说：“不要只找到那一个正确答案；要在正确的比例下找到所有可能的正确答案。”

难点： 为了使这种方法生效，系统必须计算一个复杂的数值，称为配分函数（Partition Function）。直到现在，每个人都把这个数值当作一个无聊的计算器按钮——你必须按下它才能让数学运算成立，但随后你立即将结果丢弃。

核心创意：配分函数是一个“难度计”

本文的作者们有了“尤里卡！”（顿悟）时刻。他们意识到，这个“无聊”的数值（配分函数）实际上隐藏着一个秘密：它确切地告诉你，某个特定问题对学生来说此刻有多难。

不要把配分函数看作计算器，而要把它看作一个难度调度器。

如果数值很高，说明这个问题对学生来说很容易。
如果数值很低，说明这个问题太难了。
如果数值处于中间，说明这个问题“刚刚好”（是学习的最佳甜蜜点）。

PACED-RL 如何工作：智能导师

PACED-RL 没有丢弃这个“难度计”，而是利用它来运行一场超级智能的辅导课程。它主要做两件事：

1. 挑选“金发姑娘”式的问题（自适应提示选择）
想象一位老师面前有一叠 10,000 道练习题。

旧方法： 老师随机挑选问题。有些太简单（学生感到无聊），有些太难（学生放弃）。
PACED-RL 方法： 老师查看每道题的“难度计”。他们只挑选那些有 50% 概率被正确解答的问题。
- 为什么？ 这就是“金发姑娘区”。它既不太容易，也不太困难。这是学生能学到最多的完美挑战。
- 神奇之处： 老师免费获得了这些信息！他们不必先让学生解题来了解难度；“计”（配分函数）在训练过程中已经告诉他们了。

2. “错题回顾”环节（优先经验回放）
当学生做出猜测时，系统会检查：“我们的难度计预测准确吗？”

如果计显示“这很简单”但学生答错了，那是一个巨大的意外。
如果计显示“这很难”但学生答对了，这也是一个意外。
PACED-RL 将这些“意外”时刻保存在一个特殊的笔记本（经验回放缓冲区）中。稍后，它会再次复习这些特定案例，因为它们对于纠正学生的理解最有价值。

结果：更快、更聪明

本文在数学和编程任务上测试了这种方法。结果如下：

速度： 由于 PACED-RL 只关注最有用的问题，它学习速度快得多。在某些测试中，与其他方法相比，它达到相同性能水平所需的时间不到一半。
创造力： 不像那些让学生变得僵化的“教官式”方法，PACED-RL 保持了学生寻找多样化解决方案的能力。它不仅仅学会了一种解决问题的方法，而是学会了多种方法。
效率： 它不需要额外的计算机或额外的时间来决定挑选哪些问题。它利用了正在生成的信息。

总结类比

想象一下为马拉松进行训练。

旧方法： 无论你的感觉如何，你每天都跑同样的 10 英里。
GFlowNets（之前的方法）： 你尝试跑特定比例的坡道和平路，但你不知道哪种组合最适合今天。
PACED-RL： 你有一位聪明的教练，实时观察你的心率和疲劳程度（即配分函数）。教练说：“今天，不要跑平坦的轻松路段（无聊），也不要跑陡峭的山路（太难）。让我们跑那条刚好能让你变得更强壮的坡道。”

通过利用原本就存在的“难度计”，PACED-RL 在不浪费任何时间或精力的情况下，训练出更聪明、更快速、更具创造力的 AI。

技术摘要：超越归一化：将配分函数重新构想为 RLVR 的难度调度器

问题陈述
可验证奖励强化学习（RLVR）已被证明能有效增强大语言模型（LLM）的推理能力。然而，标准的奖励最大化方法（如 PPO 和 GRPO）往往导致输出分布过度尖锐，从而降低生成多样性。虽然近期利用 GFlowNet 的方法通过训练策略以匹配奖励诱导的目标分布来解决这一问题，但它们通常仅将学习到的配分函数（ $Z$ ）视为训练稳定性所需的归一化常数。本文认为，这种观点未能充分利用 $Z$ 内部编码的信息，错失了在不增加额外计算成本的情况下提高样本效率的机会。

方法论：PACED-RL
作者提出了配分函数引导的强化学习（PACED-RL），这是一个后训练框架，它将 GFlowNet 配分函数重新诠释为不仅是一个归一化器，更是每个提示词（prompt）在线准确性的信号。该方法包含三个核心组件：

配分函数的理论重释：
本文建立了最优配分函数 $Z^*(x)$ 与在更新前策略下问题提示词 $x$ 的在线准确性 $p_{old}(x)$ 之间的理论联系。通过将轨迹平衡（TB）损失修改为以当前策略（ $\pi_{old}$ ）而非固定参考模型为锚点来锚定 KL 散度，作者推导出 $Z^*(x)$ 直接编码了准确性信息。具体而言， $p_{old}(x) \approx \beta \log Z^*(x)$ ，其中 KL 散度项在标准训练动态中被实证证明可忽略不计。这使得原本为归一化而学习的配分函数能够作为一个免费的在线准确性估计器。
自适应提示词选择：
利用从 $Z_\phi(x)$ 导出的准确性估计，PACED-RL 实施了一种感知难度的提示词选择策略。该方法不再均匀采样提示词，而是贪婪地选择估计准确性最接近目标值 $\tau$ （通常为 0.5）的前 $m$ 个提示词。这将训练集中在“中等难度”样本上，先前的研究表明这些样本能提供最具信息量的学习信号，从而最大化样本效率。
准确性估计误差优先的重放：
为了进一步提高效率并校准配分函数，该框架引入了一种重放机制。一个缓冲区存储带有正确奖励（ $r=1$ ）的提示词 - 输出对。在该缓冲区内，样本根据其准确性估计误差的大小进行优先级排序： $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ 。这确保了模型会重新访问那些配分函数预测与观察到的现实偏差最大的样本，从而 refine 准确性估计和目标分布归一化。

关键在于，提示词选择和重放优先级排序都复用了标准 GFlowNet 训练过程中生成的信息，将计算开销摊销到现有的优化过程中。

主要贡献

理论洞察： 本文证明了用于 LLM 后训练的 GFlowNet 配分函数与在线准确性存在内在联系，使其无需辅助机制即可直接用作准确性估计器。
PACED-RL 框架： 引入了一种新颖的训练框架，利用这些准确性估计进行自适应提示词选择和误差优先重放，在保持 GFlowNet 多样性优势的同时提高了样本效率。
实证验证： 在数学推理和代码生成基准测试上的广泛评估表明，PACED-RL 在无需过度采样相关的计算开销的情况下，相较于强基线（GRPO、FlowRL）和自适应采样方法（DS、LILO、MoPPS）取得了显著的性能提升。

实验结果
实验在代码生成（DeepCoder 数据集，DeepSeek-R1-Distill-Qwen-1.5B）和数学推理（DeepScaleR 数据集，Qwen2.5-Math-1.5B/7B）上开展。

性能提升： 在 AIME 24 基准测试上，使用 Qwen2.5-Math-7B 模型，PACED-RL 将平均 pass@1 性能相较于 GRPO 提高了29.1%，相较于 FlowRL 提高了40.0%。
样本效率： PACED-RL 在显著更短的时间内（例如，在 LiveCodeBench 上仅为 GRPO 和 FlowRL 训练时间的 0.42 倍）达到了 GRPO 和 FlowRL 的最佳性能。与需要过度采样的方法（DS、LILO）不同，PACED-RL 保持了相对于标准训练 1.0 倍的 rollout 比率，避免了因生成额外样本以进行准确性估计而产生的延迟惩罚。
多样性： 通过 pass@k 指标衡量，PACED-RL 始终优于基线方法，相较于 GRPO 最高提升了 14.2%，相较于 FlowRL 提升了 9.1%，证实了该方法保留了输出多样性和探索能力。
消融研究： 作者验证了在准确性估计器中省略 KL 散度项对采样动态的影响微乎其微，同时节省了显著的计算量。他们还表明，该方法随着模型的提升自然地将训练转向更难的问题，防止了训练坍缩到狭窄的数据子集。

意义与主张
本文主张 PACED-RL 提供了一种“原则性且实用”的方法来增强 LLM 的分布匹配训练。通过将配分函数重新诠释为在线准确性信号，该方法实现了更高效的样本训练，而无需承担辅助准确性估计器或过度 rollout 生成的计算负担。作者将这项工作定位为迈向更高效 RLVR 后训练的一步，表明配分函数的作用超越了归一化，可作为动态难度调度器。未来的工作建议探索推理时的策略（例如自适应自一致性）并将该框架扩展到异步 GFlowNet 设置中。