🤖 machine learning

Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics

本文介绍了“问题催生问题”（Question Begets Question, QbQ），这是一种自我演进的课程，通过从模型当前的优势中迭代生成问题变体，以克服数据稀缺和推理轨迹限制，通过在 AIME 上实现 16.5% 的 pass@1 分数，成功打破了竞赛数学微调中的性能瓶颈。

原作者： Longtian Bao, Jianyou Wang, Yang Zhang, Youze Zheng, Ramamohan Paturi

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Longtian Bao, Jianyou Wang, Yang Zhang, Youze Zheng, Ramamohan Paturi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教导一位才华横溢但缺乏经验的学生如何解决世界上最难的谜题。你的谜题库很小，而且你并没有带有逐步解释的答案解析——只有最终答案。你试图通过给学生提供更多的谜题来教导他们，但无论你添加多少，学生都会遇到一个瓶颈。他们会在某种技能水平上停滞不前，即使经过再多的练习也无法变得更好。这是人工智能（AI）领域研究人员经常面临的一个头疼问题。他们希望 AI 能够学习复杂的技能，如数学或法律，但他们经常会面临练习题不足、缺乏展示思考过程的详细“思维路径”，并目睹 AI 陷入一种令人沮丧的“天花板”状态，即它仅仅是停止了进步。

这篇论文深入探讨了这一问题。研究人员想要看看他们是否可以在不需要人类教师写出每一步解题过程的情况下，打破那个学习天花板。他们使用了一个智能计算机程序（一个 AI 模型）和一套棘手的数学竞赛题目。他们并没有只是向 AI 输入更多重复的问题，而是发明了一个聪明的技巧，叫做“问题催生问题”（Question-begets-Question）。这就像一位大师级厨师，他不仅仅是给学徒更多的食谱，而是针对学徒几乎已经掌握的食谱，微调其中的食材，从而制作出一道略有不同但全新的菜肴。通过不断地根据 AI 几乎掌握的内容来创造这些新的、略有变化的挑战，研究人员发现了一种方法，可以将 AI 推向更高的极限。

自进化教学大纲的故事

研究人员从一个名为 Qwen2.5-Math-7B 的计算机模型开始。在开始阶段，这个模型在一种特定的高中数学竞赛（AIME）方面表现得很糟糕。它只能独立解决大约 5.6% 的问题。团队想要看看是否能教它变得更好，但他们面临着三个巨大的障碍：练习题不足、缺乏写出思考过程的“答案解析”，以及担心模型会直接撞上一堵墙并停止学习。

为了解决问题不足的问题，他们使用了一种称为“问题催生问题”（QbQ）的方法。想象一下，你有一个关于计算三角形面积的数学题。制作更多练习题的常规方法只是改变数字（让三角形变大或变小）。但研究人员的“教师”AI 做得更聪明。它选取了一个学生几乎能做对的问题，并应用了特定的“转换规则”。例如，它可能会将问题从寻找面积改为寻找该三角形内部圆的半径，或者它可能会要求以不同的数制给出答案。这些新问题虽然新鲜且多样化，但它们测试的是完全相同的核心技能。

然而，仅仅生成大量的这类新问题是不够的。当他们用一个由真实问题和合成问题组成的静态混合集来训练模型时，模型遇到了一个天花板。它的表现从 5.6% 提高到了大约 12.5% 或 14.5%，然后就停止了。无论他们喂给它多少数据，模型都无法变得更好。这就像一个学生背诵了特定练习测试的一套答案，却无法处理同一个问题的某种新变化。

突破出现在他们不再将训练数据视为一个静态的堆积物，而是将其视为一个自进化的课程时。他们没有给模型一个巨大的、混合在一起的问题包，而是将训练组织成了若干轮次。以下是奇迹发生的过程：

检查点： 在每一轮结束时，他们会对模型刚刚学习过的题目进行测试。
甜点区： 他们寻找那些模型大部分时间能做对、但并非每一次都能做对的问题。他们称之为“基本正确”区。
种子： 他们将这些特定的“基本正确”问题作为“种子”，用来生成下一批新的、难度略微增加的变体。
循环： 他们在这一批新问题上训练模型，再次检查，找到新的“基本正确”问题，并重复此过程。

最令人惊讶的部分是什么？研究人员发现，当模型在它已经擅长的问题上进行练习时，进步速度最快，而不是在它表现极差的问题上。通常，我们认为学习是通过纠正最大的错误来实现的。但在这里，AI 通过获取它的“差一点就成功”的案例，对其进行微调，并掌握这些案例，从而实现了最佳学习。这就像一名网球运动员，提升水平的方法不是一遍又一遍地把球打进球网，而是通过拿回一个通常能成功回击的球，并不断为其增加一点旋转。

通过使用这个自进化的循环进行 20 轮 训练，模型并没有撞到天花板。它一直在攀升。虽然其他方法在 14.5% 左右就进入了平台期，但这种自进化方法将模型的成功率推高到了 16.5%（在最终测试中具体为 16.46%），且从未表现出停止的迹象。更令人印象深刻的是，模型学会了解答它从未见过的更难的问题，这证明了所谓的“天花板”并不是模型大脑的限制，而是我们组织训练方式的限制。

研究人员还确保了 AI 不仅仅是在复制教师的“思考过程”。他们从未向 AI 展示教师的逐步推理过程；他们只展示了问题和最终答案。这意味着 AI 学会了独立思考，而不仅仅是模仿人类。这项研究表明，AI 经常停滞不前，并不是因为它太笨而无法学习更多，而是因为我们经常给它提供错误的练习方式。通过不断重塑课程，使其精准匹配 AI 当前所处的水平，我们可以帮助它突破自身的极限。

技术摘要：问题生成问题 (Question Begets Question, QbQ)

问题陈述

本文探讨了在教授语言模型（LLM）学习新且困难的技能时面临的三种常见障碍：

数据稀缺性： 高质量的复杂任务训练数据（例如竞赛数学、法律推理）通常非常有限。
缺乏地面真值推理（Ground-Truth Reasoning）： 即便存在数据，正确的逐步推理轨迹（即 Oracle/专家轨迹）也往往难以获得。
学习天花板： 模型往往会遇到一个表观性能天花板，即无论投入多少训练预算，增加数据量也无法带来进一步的提升。

作者在受控设置中研究了这些问题：在 AIME（美国数学邀请赛）竞赛题目上对 Qwen2.5-Math-7B 进行微调。基座模型的初始解题率（pass@1）仅为 5.6%，这表明该任务远超其当前能力范围。

方法论

提出的解决方案由两个耦合组件组成：用于合成数据生成的 问题生成问题 (QbQ) 以及用于组织训练的 自我演进课程 (Self-Evolving Curriculum)。

1. 问题生成问题 (QbQ)

QbQ 是一种可扩展的程序，用于生成多样化的合成训练数据，而无需依赖教师模型的推理轨迹。

流程： 教师模型（GPT-5-mini）将现有的“种子”问题转化为新的变体，这些变体探测相同的底层技能，但具有不同的结构特征。
结构算子： 为了确保多样性并避免肤浅的改写，教师模型受到五个人工设计算子的约束：
1. 泛化，然后特化： 将固定数值替换为参数。
2. 参数化与求和： 引入索引并要求计算总和。
3. 改变查询量： 保留设定，但查询一个需要相同引理的不同数值。
4. 逆向问题： 固定目标值并求解某个参数。
5. 添加约束层： 将计算嵌入到额外的流程中。
约束条件： 变体问题的答案必须与其父问题不同。该过程明确禁止仅修改数值。
多样性： 与标准合成增强（Vendi 分数为 1.25）相比，QbQ 实现了更高的 Vendi 分数（1.59），表明其具有更高的有效多样性。

2. 自我演进课程

模型并非在静态数据集上进行训练，而是通过课程学习，根据模型在 $T$ 轮（实验中为 20 轮）内的演进能力动态调整训练数据。

自我评估： 在每一轮 $t$ $t$ ，当前的检查点 $\pi_t$ $π_{t}$ 会在上一轮的问题上进行评估。根据 $k=16$ $k = 16$ 次采样中的正确答案数量 ( $n$ $n$ )，问题被分为四个区间：
- 已掌握 (Mastered): $n=16$
- 基本正确 (Mostly Right, 种子区间): $8 \le n \le 15$
- 有时正确 (Sometimes Right): $1 \le n \le 7$
- 从未正确 (Never Right): $n=0$
种子策略： 至关重要的是，课程选择 “基本正确” 区间 ( $8 \le n \le 15$ ) 的问题作为下一轮 QbQ 生成的种子。这是一个刻意的设计选择，旨在确保模型在强化学习过程中拥有频繁的正向信号，同时保持问题具有足够的挑战性以提供梯度方差。
训练 (GRPO)： 模型使用 组相对策略优化 (GRPO) 在新生成的变体上进行训练。
- 无 Oracle 推理： 训练仅使用问题陈述和最终答案。没有向模型展示逐步解题过程或教师的推理轨迹，从而避免了知识蒸馏的担忧，并模拟了无法获得专家轨迹的场景。
- 奖励： 二进制正确性奖励加上微小的格式合规性奖励。
演进： 训练结束后，问题会被重新评估。变为“已掌握”的问题会被丢弃；留在“基本正确”区间的则成为下一轮的种子。低于该区间的题目将被丢弃。这确保了训练分布随模型能力的提升而演进。

核心贡献

QbQ 方法： 一种基于算子的可扩展方法，用于生成多样化的合成训练问题，避免了静态增强中常见的多样性坍塌。
识别天花板： 文档化记录了静态训练（无论是真实数据加合成数据，还是非课程化的 QbQ）都会遇到性能平台期（分别封顶于 ~12.5% 和 14.5%），尽管增加了数据量。
自我演进课程： 一种新型迭代课程，在相同的训练预算下打破了性能天花板，将 pass@1 从 5.6% 提升至 16.5%，且在 20 轮后仍未出现饱和迹象。
反直觉的训练原则： 研究发现，模型在针对其 “基本能做对”（接近成功的案例）的变体进行训练时，进步最为显著，而非针对其最难的失败案例或已掌握的问题。这种方法还实现了向从未在训练循环中见过的更难问题的泛化。

实验结果

实验在 Qwen2.5-Math-7B 上进行，使用了 1,005 个历史 AIME 问题进行训练，并使用留出的 AIME 2025/2026 问题进行测试。

基线模型：
- 基座模型：5.62% pass@1。
- 有监督微调 (SFT) + GRPO（原始数据）：11.53% pass@1。
- 静态增强（真实数据 + 5k 合成数据）：12.05% pass@1。
- 非课程化 QbQ（6k 合成数据，随机打乱）：14.44% pass@1。
主要结果 (QbQ 课程)：
- 达到了 16.46% ± 0.45% 的 pass@1。
- 与静态方法不同，性能在所有 3,000 次 GRPO 更新中持续提升，并未出现平台期。
- 相比于非课程化 QbQ（使用了完全相同的训练数据和计算量），其提升了 2.02 个百分点，这证明了课程组织是性能提升的来源。
泛化能力：
- 在 499 个初始准确率为 0% 且从未被选为种子的“难题”子集上，经过课程训练的模型将 pass@1 从 0.0% 提升至 5.3%。

意义与主张

本文声称，在强化学习微调中观察到的表观学习天花板并非源于模型架构本身，而是源于 训练分布。通过基于“接近成功”的案例进行动态策展，并利用 QbQ 生成多样化的变体，模型可以在无需获取地面真值推理轨迹的情况下持续有效学习。

作者强调，这种方法：

避免了对昂贵或难以获得的专家推理轨迹的需求。
减轻了对教师模型知识蒸馏的担忧。
证明了模型可以泛化到比训练循环中所遇问题更难的任务。
挑战了“模型从最难的失败中学习最好”的普遍直觉，转而提出在“能力边缘”（即基本能解决的问题）进行训练对于此类领域的技能习得更为有效。