🤖 AI

Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

本文提出并验证了一种中期训练框架，该框架利用基于波利亚方法引导的自生成多样化解题变体，以增强后续强化学习的有效性，从而提升数学推理、代码生成和叙事任务的性能。

原作者： Aswin RRV, Jacob Dineen, Divij Handa, Mihir Parmar, Ben Zhou, Swaroop Mishra, Chitta Baral

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Aswin RRV, Jacob Dineen, Divij Handa, Mihir Parmar, Ben Zhou, Swaroop Mishra, Chitta Baral

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一位才华横溢但略显僵化的学生去解决复杂的数学谜题。你希望他们成为精通解题的大师，而不仅仅是死记硬背某一种得出正确答案方法的人。

这篇论文描述了一种针对大型语言模型（LLM）——即 AI 聊天机器人背后的“大脑”——的新训练方法。研究人员发现，在教导 AI 从奖励中学习（这一过程称为强化学习）之前，他们应该首先教会它多种不同的方法来解决同一个问题。

以下是他们方法的分解，使用了简单的类比：

1. 问题：“单轨思维”

通常，当我们训练 AI 时，我们会给它展示一个问题以及唯一的“正确答案”。这就像给学生展示一道数学题，却只教他们一种特定的解法。

问题所在： 当 AI 后来尝试从奖励中学习（即答对得分）时，它往往只是变得更擅长它已经知道的那一种特定方法。它并没有学会灵活思考。这就像一位只会用一种方法煮意大利面的厨师；如果食材变了，他们可能会束手无策。

2. 解决方案：“波利亚训练营”

研究人员引入了一个中间步骤，称为中期训练（Mid-Training）。在最终的奖励训练之前，他们给 AI 安排了一个特殊的训练营。

教练： 他们利用了著名的**乔治·波利亚（George Pólya）**的解题规则（波利亚是一位撰写了《怎样解题》的数学家）。把波利亚想象成一位睿智的老教练，他教授不同的策略：“尝试倒推”、“画个图”、“分解成更小的部分”或“寻找一个相似的、更简单的问题”。
训练： 对于每一个数学问题，AI 被要求生成多个不同的正确答案，每个答案都使用不同的波利亚策略。
- 类比： 教练不是只给学生看答案，而是说：“好的，用地图解这道题。现在，用指南针解。现在，倒着走解。”
自我生成： AI 完全靠自己完成这一切。它不需要人类教师或超级聪明的 AI 来展示答案。它自己生成了多样化的练习题。

3. 魔法步骤：强化学习（RL）

在这个训练营之后，他们让 AI 接受标准的强化学习（即尝试各种方法，答对得分，并学会重复有效的做法）。

结果： 由于 AI 在训练营期间已经练习过许多不同的“招数”，RL 训练现在可以混合搭配这些招数。
类比： 想象一位爵士乐手。如果他们只练习了一个音阶，他们只能演奏一首曲子。但如果他们分别练习了音阶、和弦和节奏（中期训练），当他们开始即兴演奏（强化学习）时，他们就能突然将音阶与节奏结合，创造出新颖而精彩的作品。AI 学会了将不同的解题策略组合成一个强大的答案。

4. 他们的发现

研究人员在困难的数学竞赛（如 AIME 和奥林匹克竞赛）上测试了这种方法。

更高的分数： 经过“多样化训练营”的 AI 得分显著高于那些只学习一种方法或从标准教师那里学习的 AI。
"Pass@K"效应： 在 AI 术语中，"Pass@K"意味着：“如果我们让 AI 尝试 64 次，它有多少次能答对？”经过训练营的 AI 在拥有多次机会时，答对的概率要高得多。它更灵活，更不容易陷入死胡同。
超越数学： 尽管训练是基于数学规则的，但 AI 在其他方面也变得更擅长，比如编写代码和解决故事中的逻辑谜题。似乎这种灵活思考的习惯已经转移到了其他任务中。

5. 关键要点

这篇论文认为，多样性是秘密武器。

如果你教 AI 用 64 种不同的方法解决一个问题，它就学会了一个策略“库”。
当它后来尝试从奖励中学习时，它不会只选择一种策略；而是学会组合它们，挑选不同策略中最好的部分来解决问题。
教学生用 10 种方法解决 100 个问题，比教他们用 1 种方法解决 1000 个问题要好得多。

简而言之： 通过在最终考试前强迫 AI 练习通往解决方案的许多不同“路径”，AI 变成了一个更聪明、更具适应性的思考者，能够结合旧技巧来解决新的、困难的问题。

技术摘要：利用自生成数据进行中期训练可提升语言模型的强化学习效果

问题陈述
大型语言模型（LLM）的最新进展凸显了强化学习（RL）作为增强推理能力的强大技术，特别是通过推理时的扩展。然而，RL 的有效性在很大程度上取决于模型在 RL 训练之前所建立的先验。现有文献表明，带有可验证奖励的强化学习（RLVR）往往表现出“分布锐化”现象，即选择性地放大基础模型中已存在的行为，而非诱导真正的新能力。当模型缺乏对单一任务多样化解题方法的接触时，随后的 RL 训练可能难以提升性能，甚至在某些评估指标（如 pass@k）下导致性能下降。本研究解决的核心挑战是：如何在应用 RL 之前，有效地为基础模型配备丰富的多样化推理策略集，从而使 RL 过程能够组合并优化这些策略，而不仅仅是强化一组狭窄的现有行为。

方法论
作者提出了一种中期训练框架，作为预训练和 RL 之间的中间步骤。该阶段利用多样化的自生成数据，使模型接触同一问题的多种有效解法轨迹。

启发式引导的数据生成：
- 该框架借鉴了乔治·波利亚（George Pólya）的解题启发法（例如：类比、分解与重组、逆向工作）。
- 对于种子数据集（GSM8K）中的每个问题，基础模型接收特定的启发式描述和少样本示例提示，以生成多个候选回答。
- 该过程是自助式的：模型生成自身的训练数据，无需依赖从更强教师模型进行的蒸馏。
- 过滤与选择： 使用基于规则的验证器（如 Math-Verify）对生成的回答进行正确性过滤。剩余候选回答根据对特定启发式的遵循程度，由奖励模型（ $R_\phi$ ）进行评分。每个问题 - 启发式对得分最高的回答被选中。
- 生成的数据集（ $D_{Pólya}$ ）包含每个问题的 $n$ 个不同解法变体，其中 $n$ 代表应用的启发式数量。
中期训练（监督微调）：
- 基础模型在 $D_{Pólya}$ 上进行微调。与将问题与单一回答配对的标准 SFT 不同，该方法将每个问题与 $n$ 个多样化轨迹配对。
- 目标是针对这些多轨迹最小化负对数似然，鼓励模型在分支点为各种下一个 token 选项分配不可忽略的概率，从而有效地创建N 模态下一个 token 分布。
强化学习：
- 中期训练之后，模型使用组相对策略优化（GRPO）在独立数据集（DAPO-Math-17k）上进行 RL 训练。
- 该研究比较了初始化时使用不同启发式数量（ $n \in \{1, 2, \dots, 64\}$ ）的模型与基线：零样本（Zero-Shot）、普通 RL（直接在基础模型上训练）以及 STaR+RL（自教学推理器后接 RL）。

理论视角
本文提供了关于中期训练如何影响策略梯度更新的理论分析：

单模态与 N 模态机制： 在单模态机制下（对单个 token 具有高置信度），策略梯度更新产生的变化微乎其微（ $\propto \epsilon^2$ ）。相比之下，在 N 模态机制下（概率质量分布在 $N$ 个主导模式之间），更新会引发保守但可观的变化（ $\propto 1/N$ ）。
策略组合： 作者证明，在负优势更新下，从采样 token 中移除的概率质量主要重新分配给剩余的 $N-1$ 个主导模式。这种机制激励模型在 RL 期间学习在单个回答中组合不同的解题方法，而不是坍缩为单一策略。

关键结果
实验在 Llama 3.2–3B–Instruct 和 Qwen2.5–7B–Instruct 模型上进行，涵盖了六个数学推理基准（Math-500、AIME 2024/2025、AMC 2023、HMMT 2025、OlympiadBench）以及域外任务（HumanEval、MuSR）。

性能提升： 利用多样化自生成数据进行中期训练 consistently 提升了 RL 性能，特别是在较高的 $k$ $k$ 值（pass@64）下。
- 在 Math-500 上，pass@64 从 87.76%（零样本）提升至 88.94%（ $n=64$ ）。
- 在 AIME 2025 上，pass@64 从 12.84% 增加至 18.66%。
- 在多样化推理（ $n=64$ ）下进行中期训练的模型，在所有基准测试中均优于普通 RL 和 STaR+RL 基线。
多样性与数量： 一项受控实验表明，在固定的训练预算下，学习每个问题的多种方法（较少的问题，更多的方法）比在更多问题上学习单一方法能为 RL 带来更大的收益。
正确性至关重要： 使用导致错误答案的多样化方法进行中期训练未能提升 RL 性能，这表明正确性是多样性带来收益的前提。
优于蒸馏： 与从更强教师模型（QwQ-32B，Vendi 分数 10.95）蒸馏的数据相比，自生成数据表现出更高的多样性（Vendi 分数 13.81），从而带来了更好的下游性能。
泛化能力： 尽管波利亚的启发法以数学为中心，但学到的策略泛化到了代码生成（HumanEval）和叙事推理（MuSR），并在多步推理任务中取得了显著增益。

意义与主张
本文主张，其主要贡献在于证明：在中期训练期间通过自生成数据接触多种解题方法，从根本上塑造了模型的先验，使得随后的 RL 能够有效组合这些策略。

改进机制： 研究认为，RL 并不一定是从头开始创造“涌现”的推理能力，而是组合现有的行为。中期训练确保了这些行为是多样化的，可供组合。
实用价值： 该方法提供了一种简单、有效且可扩展的方式来改进 RL，无需人工标注或更强的教师模型。
理论洞察： 这项工作 bridging 了 RL 的经验成功与理论理解之间的鸿沟，展示了 N 模态分布如何防止模式坍缩并促进复合推理链的学习。

作者对单样本准确率（pass@1）保持谦逊，指出他们的重点在于理解多样化接触如何塑造 RL 行为，并提升需要多次采样尝试（pass@k）场景下的性能。他们承认，尽管启发法以数学为中心，但结果在其他领域的泛化表明，该过程挖掘并巩固了基础模型内部的潜在能力。

1. 问题：“单轨思维”

2. 解决方案：“波利亚训练营”

3. 魔法步骤：强化学习（RL）

4. 他们的发现

5. 关键要点

类似论文