技术摘要：预规划赋能大语言模型数学推理（PPC）

1. 问题陈述

当前针对大语言模型（LLM）的基于规划的推理方法已确立了“问题 → 规划 → 思维链（CoT）”的范式。尽管该方法行之有效，但作者指出该范式存在一个根本性的、范式层面的缺陷：规划与执行阶段均致力于决定“如何”解决问题（组织步骤并执行），而关于“解决什么”这一前置问题则完全处于隐式状态。

“解决什么”阶段涉及识别问题类型、确定适用的工具与概念、标记边界条件以及预判潜在陷阱。现有方法假设这种理解会在规划生成过程中隐式涌现。然而，错误分析（图 1）显示，当前基于规划的方法中相当一部分失败并非源于计算错误，而是源于未能正确理解问题的本质（例如，误判齐次二次方程，导致选择了低效的求解路径）。

2. 方法论：PPC 框架

为了弥合这一差距，作者提出了PPC（预规划 - 规划 - 思维链），该框架引入了一个显式的预规划阶段，从而构建了新的“问题 → 预规划 → 规划 → 思维链”范式。预规划是一种全面的、非计算性的分析，旨在确定“解决什么”，而将“如何”解决留给随后的规划和执行阶段。

该框架通过特定的流程解决了两个主要挑战：

挑战 1：数据构建（防止泄露与剧透）

生成干净的预规划监督数据十分困难，因为模型倾向于回归到“如何求解”的行为模式。

• 泄露失败：预规划复述了即将生成的规划中的步骤序列。
• 剧透失败：预规划以分析为幌子执行了中间计算。

解决方案：作者设计了一个由剧透分数检测器保护的三阶段合成流程。

1. 三阶段生成：轨迹严格从左至右生成：$y_{pp} \sim \pi_{pp}(\cdot|q)$，$y_p \sim \pi_p(\cdot|q, y_{pp})$，以及 $y_e \sim \pi_e(\cdot|q, y_p)$。预规划提示词明确禁止推导过程、扩展公式和计算数值。
2. 剧透分数过滤：基于规则的分数 $s(\cdot) \in \{0, \dots, 6\}$ 聚合了推导和答案泄露的信号（例如，“简化为”等短语、高密度的方程、长行内数学跨度、多位数常数）。仅当 $s(y_{pp}) \leq \tau_s$（其中 $\tau_s=2$）且最终答案正确时，才保留该轨迹。这确保了预规划是纯粹的问题理解，而非伪装成解决方案。

挑战 2：训练时的依从性（确保效用）

即使拥有干净的数据，模型仍可能学会生成表面正确的预规划，却在规划阶段忽略它。

解决方案：作者扩展了组相对策略优化（GRPO），引入一个复合奖励函数 $R(y)$，以强制实现结构与语义的对齐：
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$（结果奖励）：基于 LLM 判定的求解路径接近度（而不仅仅是二元正确性）给予部分分数，为接近成功的轨迹提供梯度。
• $R_{adh}$（依从奖励）：由 LLM 批评家对预规划与规划之间的战略对齐进行评分。关键在于，一个高质量的规划如果忽略了预规划，将获得低分，从而迫使模型真正遵循预规划的指导。
• $R_{fmt}$（格式守卫）：确保输出按顺序包含且仅包含每个标签（<preplan>、<plan>、<execute>）各一次，并带有带框的答案。
• $R_{sty}$（风格惩罚）：在强化学习过程中复用剧透分数 $s(\cdot)$ 作为惩罚项。如果预规划在训练期间再次滑向计算内容，奖励将受到惩罚，从而维持数据构建阶段所确立的概念完整性。

3. 主要贡献

• 概念层面：本文形式化了现有推理方法中范式层面的差距：即显式建模“如何”解决与隐式处理“解决什么”之间的差异。为此提出了“问题 → 预规划 → 规划 → 思维链”范式。
• 方法层面：
  • 构建了首个带有显式预规划监督的推理数据集，并通过剧透分数检测器防止泄露和剧透失败。
  • 设计了一种复合 GRPO 奖励，显式强制规划与预规划的对齐，防止模型将预规划视为可忽略的装饰性步骤。
• 实证层面：在四个骨干模型（Qwen3-4B、Qwen2.5-7B、Qwen2.5-Math-7B、Llama-3.1-8B）和五个数学基准测试（AIME25、Minerva-Math、OlympiadBench、MATH-500、GSM8K）上进行了广泛评估。

4. 实验结果

• 性能：PPC 在所有基准测试和骨干模型上的40 项指标中取得了 39 项最佳结果。
• 改进：与最强的基线方法（Plan-Tuning、PTA-GRPO）相比，PPC 将maj@16 提高了 +2.23，将pass@16 提高了 +3.06。
• 效率：尽管增加了一个额外阶段，PPC 生成的token 数量仍少于完整的思维链（CoT），且显著少于 PTA-GRPO。预规划和规划将执行约束在单一求解路径上，避免了无约束思维链中常见的冗余弯路。
• 忠实度：推理时的干预措施（打乱预规划句子、使用不匹配的预规划或使用通用占位符）会导致性能严重下降（例如，在使用不匹配预规划的情况下，Qwen3-4B 的 maj@16 从 97.2 降至 46.8）。这证实了模型确实依赖于预规划的内容，而不仅仅是生成它。

5. 意义与主张

本文主张，当前基于规划的推理的主要局限性不在于缺乏规划，而在于缺乏一个专门的问题理解阶段。通过预规划将“解决什么”显式化，模型可以在确定求解路径之前选择合适的工具和策略。

作者强调，这种改进并非仅仅源于提示工程（如表现不佳的“仅提示”基线所示），而是需要通过特定的数据构建和复合奖励训练来学习该范式。该框架证明，显式的问题理解能同时提高准确率和推理效率，且与标准思维链相比并未引入额外的 token 开销。