💬 NLP

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

该论文提出了名为 QuestA 的简单有效策略，通过在强化学习训练过程中引入部分解答进行问题增强，显著提升了大语言模型在数学推理任务上的表现，并在使用 15 亿参数模型时于 AIME24、AIME25 和 HMMT25 等基准测试中取得了新的最先进成果。

原作者： Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 QUESTA 的新方法，旨在让大型语言模型（LLM）变得更聪明，特别是在解决数学难题方面。

为了让你轻松理解，我们可以把训练 AI 的过程想象成教一个学生参加奥林匹克数学竞赛。

1. 遇到的难题：为什么直接“刷题”行不通？

在传统的训练方法（强化学习 RL）中，研究人员通常让模型直接去解那些很难的数学题。这就好比让一个刚学会加减法的学生，直接去解微积分难题。

问题 A（太难了）： 如果题目太难，学生完全没思路，怎么猜都猜不对。这时候，老师（奖励机制）只能给“零分”。学生学不到任何东西，因为不知道哪里错了，也不知道该怎么改。这就叫**“奖励稀疏”**（Reward Sparse）。
问题 B（太简单了）： 如果只给简单的题目，学生虽然能拿高分，但只是死记硬背了套路。一旦遇到新难题，他就束手无策了。而且，如果只练简单的，学生可能会变得“盲目自信”，遇到稍微难一点的题反而发挥失常（论文中提到的"Pass@k"下降现象，就像考试时只会做一种题型，稍微变个花样就懵了）。

核心矛盾： 练简单的没用，练太难的根本学不会。

2. QUESTA 的解决方案：给“脚手架”

QUESTA 的核心思想非常巧妙：不要直接扔给学生难题，而是先给他一部分答案作为“提示”或“脚手架”。

想象一下，你正在教学生解一道复杂的几何题：

传统做法： 直接问：“请证明这个定理。”学生抓耳挠腮，最后瞎写一通，错了。
QUESTA 做法： 你在题目后面加了一句提示：“提示：首先，我们要证明三角形 ABC 是等腰三角形……"
- 学生看到提示，思路瞬间打开了，顺着这个提示继续往下推导，最后成功解出了题。
- 在这个过程中，学生不仅学会了这道题，更重要的是，他学会了“如何思考”。

关键点： 在训练时，我们给模型看“部分答案”（比如解题的前 50%），让它完成剩下的部分。等模型练熟了，我们再减少提示（比如只给前 25%），最后完全不给提示。这就叫**“课程学习”（Curriculum Learning）**。

3. 为什么这招这么管用？（通俗版原理）

论文里用数学理论证明了这一点，我们可以用**“寻宝游戏”**来比喻：

没有提示时： 想象你在一个巨大的迷宫里找宝藏。宝藏（正确答案）藏在迷宫深处，但你手里没有地图。你每走一步都是瞎蒙，找到宝藏的概率极低（比如 1/10000）。如果你蒙了 1000 次都没找到，你就放弃了，或者不知道下一步该往哪走。
有了提示时： 现在有人告诉你：“宝藏就在迷宫的前半段，你只需要再走 10 步就能到。”
- 这时候，你找到宝藏的概率瞬间变成了 1/10。
- 你更容易获得“成功”的反馈（奖励），从而更快地学会怎么走出迷宫。
- 等你在“有提示”的情况下练熟了，再让你去“没提示”的迷宫，你其实已经掌握了走迷宫的规律，成功率自然就高了。

理论结论： 给一点提示，能让模型学习新知识的效率提高平方级（比如从需要试 10000 次变成只需要试 100 次）。

4. 实验结果：小模型也能逆袭

研究者用这个方法来训练一个只有 15 亿参数（1.5B，属于比较小的模型）的数学模型。

结果惊人： 这个“小模型”经过 QUESTA 训练后，在 AIME（美国数学邀请赛）等顶级数学竞赛题上的得分，竟然超过了很多 320 亿参数甚至更大的模型！
对比： 就像是一个普通高中生，通过这种“带提示”的魔鬼训练，最后考出了比清华北大尖子生还高的数学成绩。
稳定性： 以前那种直接练难题的方法，模型容易“变笨”（多样性下降，只会一种解法），但 QUESTA 训练出来的模型，解题思路更灵活，遇到新题也能举一反三。

5. 总结

QUESTA 就像是一位高明的教练，它不直接让学生去死磕最难的题，而是：

拆解难题： 把大难题拆成小步骤。
提供脚手架： 先给一部分答案，让学生顺着思路往下走。
逐步撤梯： 等学生熟练了，再慢慢减少提示，直到学生能独立解题。

这种方法不仅让模型学得更快、更稳，还让那些原本“带不动”的小模型，展现出了惊人的推理能力。这证明了：有时候，教学生“怎么想”比直接让他“做题”更重要。

这是一篇关于通过**问题增强（Question Augmentation）**来提升大语言模型（LLM）推理能力的论文，题为《QUESTA: EXPANDING REASONING CAPACITY IN LLMS VIA QUESTION AUGMENTATION》。该论文已被 ICLR 2026 接收。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

强化学习（RL）的局限性： 尽管基于可验证奖励的强化学习（RLVR）已成为提升 LLM 推理能力的主流范式，但近期研究指出，RL 可能无法真正扩展模型的内在推理能力，而仅仅是利用了基座模型中已有的知识。
训练数据的困境：
- 简单提示（Easy Prompts）： 在简单问题上训练会导致模型过拟合浅层模式，虽然 Pass@1（单次尝试通过率）可能提升，但 Pass@k（多次尝试中至少一次通过）会下降，且模型在更难的任务上表现退化（熵坍塌）。
- 困难提示（Hard Prompts）： 直接在困难问题上训练虽然能提升推理能力，但由于奖励信号稀疏（Sparse Rewards），训练效率极低，收敛缓慢，甚至无法学习。
核心挑战： 如何设计一种策略，既能利用困难问题来扩展模型的推理边界，又能克服 RL 在稀疏奖励下学习效率低下的问题？

2. 方法论：QUESTA (Methodology)

作者提出了 QUESTA（Question Augmentation），一种简单但高效的数据增强策略。其核心思想是在 RL 训练过程中，向困难问题注入**部分解决方案（Partial Solutions）**作为提示（Hint），从而降低任务难度并提供更密集的学习信号。

核心机制：
- 部分解注入： 对于原始问题 $q$ 及其完整解轨迹 $y$ ，QUESTA 截取解的前 $p\%$ （例如前 50% 或 25%）作为提示，拼接到原始问题之前，形成增强后的提示 $\tilde{x}(p)$ 。
- 动态课程学习（Curriculum Learning）： 采用两阶段训练策略：
  1. 第一阶段： 使用 $p=50\%$ 的部分解进行训练，帮助模型快速建立对困难问题的理解，加速收敛。
  2. 第二阶段： 减少提示比例至 $p=25\%$ ，逐步撤除脚手架（Scaffolding），迫使模型在减少辅助的情况下独立解决更复杂的问题，最终适应无提示的评估环境。
数据筛选：
- 仅针对基座模型通过率接近零的极难问题进行增强。
- 通过两阶段过滤（先筛选最难问题，再筛选增强后模型仍难以完全解决的问题），确保资源集中在最需要指导的样本上。
正交性： QUESTA 不修改 RL 算法（如 GRPO、DAPO）或奖励函数，仅作为输入层面的数据预处理，可无缝集成到现有训练流程中。

3. 理论分析 (Theoretical Analysis)

论文从理论角度证明了部分解增强能显著提高 RL 的采样效率：

可达性瓶颈： 如果模型的能力集（Capacity Set）与解集（Solution Set）不相交，即模型几乎不可能生成正确答案，RL 算法（在零奖励不更新权重的假设下）将无法更新模型。
采样预算降低： 理论证明（Theorem 4.4 & 4.6）表明，在没有提示时，找到正确解所需的采样预算与 $1/\delta_p$ 成正比（ $\delta_p$ 为极小的概率）。而引入部分解提示后，由于提示本身可被模型生成且能引导后续解，找到完整解的采样预算降低至 $O(1/\sqrt{\delta_p})$ 级别。这意味着提示能将学习难度降低一个数量级，使模型更容易探索到正确的推理轨迹。

4. 实验结果 (Results)

作者在数学推理任务上进行了广泛实验，基座模型为 Nemotron-1.5B（15 亿参数）。

基准测试表现（SOTA）：
- QUESTA-Nemotron-1.5B 在多个高难度数学基准上取得了1.5B 参数模型中的最佳成绩，甚至超越了参数量大 20 倍的 DeepSeek-R1-Distill-32B。
- 具体提升：
  - AIME24: 72.50% (+10.73%)
  - AIME25: 62.29% (+12.79%)
  - HMMT25: 41.67% (+10.11%)
Pass@k 表现：
- 与标准 RL 训练不同（标准 RL 在 $k$ 增大时 Pass@k 往往下降），QUESTA 在保持 Pass@1 提升的同时，维持甚至提升了 Pass@k。这表明模型不仅学会了特定解，还保持了推理的多样性和探索能力，避免了熵坍塌。
泛化能力：
- 即使在评估时移除提示，模型依然表现出显著的性能提升，证明模型真正内化了推理逻辑，而非仅仅依赖提示。
- 在 DeepScaleR-1.5B 等其他模型架构上同样有效，证明了方法的通用性。
训练效率：
- 相比仅使用困难提示的训练，QUESTA 显著加快了收敛速度（见图 3），在更少的训练步数内达到了更高的准确率。

5. 主要贡献 (Key Contributions)

发现与验证： 通过控制实验揭示了 RL 训练中提示难度对模型推理能力扩展的关键影响：简单提示导致能力退化，困难提示导致训练停滞。
提出 QUESTA： 提出了一种基于部分解注入的数据增强框架，通过动态调整提示比例（课程学习），有效解决了困难任务中 RL 训练效率低和稀疏奖励的问题。
理论支撑： 提供了理论证明，解释了为何部分解能降低采样复杂度，使模型在有限预算下更有可能发现正确解。
性能突破： 在 1.5B 参数模型上实现了新的 SOTA，证明了通过精心设计的训练数据策略，小模型也能在复杂推理任务上媲美甚至超越大模型。

6. 意义与影响 (Significance)

重新定义 RL 训练范式： 论文表明，RL 能力的扩展不仅仅依赖于算法优化（如 PPO/GRPO 的改进），**数据构建策略（Data-Centric）**同样至关重要。
解决“熵坍塌”问题： QUESTA 提供了一种在不牺牲模型探索能力（Entropy）的前提下提升推理性能的方法，解决了当前 RLVR 训练中常见的过拟合和多样性丧失问题。
小模型潜力： 展示了通过针对性的数据增强和课程学习，小参数模型（<2B）也能在数学推理等复杂任务上达到顶尖水平，降低了高性能推理模型的部署门槛。
未来方向： 该方法具有通用性，未来可推广至代码生成、逻辑推理及智能体（Agent）任务等领域。

总结： QUESTA 通过“授人以渔”（提供部分解题思路）而非“授人以鱼”（直接给答案）或“完全不管”（直接上难题），巧妙地平衡了 RL 训练中的难度与效率，成功激发了小模型的推理潜能，是 LLM 推理能力扩展领域的一项重要进展。