技术摘要：提出正确的问题（ARQ）

问题陈述

尽管大语言模型（LLM）通过后训练和推理时脚手架在解决复杂推理任务（数学、编程）方面取得了显著进展，但现有方法主要侧重于生成思维链（CoT）以直接解决问题或验证提出的解决方案。而提出相关且能产生洞察力的问题，从而将难题分解为可管理的中间步骤——这一人类智能的核心组成部分——却较少受到关注。现有的推理时方法（如 Self-Ask、类比推理器）通常依赖提示来激发辅助问题，但这些方法应用于现代推理型大语言模型（其本身已能生成长思维链）时，收益呈现递减趋势。此外，目前尚缺乏系统性研究来探讨大语言模型是否能生成真正提高原始目标任务解决成功率的“垫脚石”（更简单、相关的子问题），以及此类生成能力是否可以通过后训练习得。

方法论：ARQ 框架

作者提出了ARQ（提出正确的问题），这是一个包含两个独立模块的框架：一个问题生成器（$\phi$）和一个问题求解器（$\pi$）。

1. 推理过程

ARQ 引入了一种多步推理流程，而非直接将目标任务 $x$ 求解为解决方案 $y \sim \pi(x)$：

1. 生成：生成器 $\phi$ 基于 $x$ 生成一个“垫脚石”问题 $z$（$z \sim \phi(x)$）。垫脚石被定义为与 $x$ 相关但更易于解决的问题（例如，特例、简化版本或相关子问题）。
2. 求解垫脚石：求解器 $\pi$ 生成垫脚石 $z$ 的解决方案 $y_z$（$y_z \sim \pi(z)$）。
3. 求解目标：求解器 $\pi$ 接收原始问题 $x$、垫脚石 $z$ 及其解决方案 $y_z$ 作为提示，以生成最终解决方案 $y$（$y \sim \pi(x; z, y_z)$）。

该框架支持多种垫脚石的两种策略：

• 顺序式：基于 $x$ 和所有先前的垫脚石（$z_1, \dots, z_{i-1}$）生成垫脚石 $z_i$。
• 递归式：生成一个新的垫脚石 $z_i$ 以帮助解决前一个垫脚石 $z_{i-1}$，实质上是在逆向构建课程。

2. 后训练与数据策划

鉴于现成大语言模型生成的垫脚石混合了有益和有害的内容，作者提出了一种后训练流程以改进生成器 $\phi$：

• 评分函数：生成垫脚石 $z$ 的质量通过求解器 $\pi$ 在给定 $z$ 条件下求解目标 $x$ 时的预期奖励来评估。形式化表示为：$S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$，通过蒙特卡洛 rollout 进行估计。
• 监督微调（SFT）：生成器在为目标问题数据集生成的最高分垫脚石上进行微调。
• 直接偏好优化（DPO）：构建偏好数据集，将同一目标的高分垫脚石与低分垫脚石配对。生成器进一步利用 DPO 进行微调，以最大化生成高分垫脚石而非低分垫脚石的可能性。
• 合成数据：整个流程依赖于使用前沿模型（如 GPT-120B）生成合成数据来创建训练对，从而避免了对垫脚石进行昂贵的人工标注。

主要贡献

1. 优质垫脚石的存在性与可迁移性：论文证明了“优质”垫脚石的存在及其可迁移性。由强大模型生成的高质量垫脚石显著提高了不同能力求解器（包括较小模型）的成功率，表明这种收益并非源于对特定求解器偏差的过拟合。
2. ARQ 框架：一种新颖的推理时脚手架，将问题生成与问题求解分离，从而允许独立研究垫脚石生成。
3. 后训练方案：一种利用合成数据及源自求解器性能的奖励信号来微调大语言模型，使其成为更优垫脚石生成器的方法。这表明提出正确问题的能力是可以习得的。
4. 多垫脚石扩展：该框架被扩展为顺序或递归生成多个垫脚石，结果显示顺序生成能带来进一步的性能提升。

实验结果

作者在三个具有挑战性的数学基准测试上评估了 ARQ：AIME 2024、AIME 2025 和 BeyondAIME。

• 推理时性能：使用强大的现成模型（GPT-120B）作为生成器，当从 20 个候选者中选择最佳垫脚石时，ARQ 将求解器的成功率平均提高了 13%。然而，由于存在有害垫脚石，所有 20 个垫脚石的平均性能较低，这凸显了改进生成的必要性。
• 可迁移性：由参考求解器（GPT-120B）选出的优质垫脚石，对较弱求解器（GPT-20B、Qwen3-4B）性能的提升程度，与由求解器自身选出的垫脚石相当。
• 后训练影响：在合成垫脚石数据集上微调 Qwen3-8B 和 Qwen2.5-32B 带来了显著改进。微调后的模型生成的垫脚石平均分别将求解器性能提高了 3.1% 和 2.9%，优于基线“仅求解器”和预训练版本。
• 多垫脚石扩展：将 ARQ 扩展为生成 3 个顺序垫脚石进一步提升了性能。对于 GPT-120B，与使用单个垫脚石相比，最佳情况得分提高了 5.2%，平均得分提高了 3.9%。与顺序方法相比，递归生成显示出波动或性能下降。
• 对比：ARQ 优于其他中间步骤方法，如类比推理、Least-to-Most 和 Plan-and-Solve。在现有大语言模型上，其表现略逊于 Self-Refine（解决方案的迭代细化），这可能是因为 Self-Refine 与现有的 RLVR 训练流程更直接地契合，但 ARQ 具有互补性，可与 Self-Refine 结合以获得进一步收益。

意义与主张

论文声称，ARQ 为进入一个未被充分探索的研究方向迈出了令人鼓舞的一步：识别哪些问题值得提出，并训练大语言模型生成这些问题。作者强调：

• 垫脚石是一种独特的推理能力：它们不仅仅是更长的思维链，而是涉及构建相关且更简单的问题，以建立直觉并验证策略。
• 生成能力是可习得的：提出正确问题的能力并非所有推理模型固有的属性，但可以通过针对合成数据的定向后训练得到显著增强。
• 可扩展性：该方法对于极具挑战性的领域（如 IMO 级别的数学、科学研究）尤其有前景，在这些领域中直接生成解决方案十分困难，而人类通常会使用简化的原型来验证想法。

作者对其当前后训练实验的规模保持谦逊（受限于计算资源和数据源），并建议未来的工作包括扩展到更大的数据集、其他领域（如编程），以及探索用于问题生成的在线强化学习。