💬 NLP

Plan Then Action:High-Level Planning Guidance Reinforcement Learning for LLM Reasoning

本文提出了PTA-GRPO，这是一个两阶段框架，将用于高层规划指导的有监督微调与感知指导的强化学习相结合，从而显著提升大语言模型在多种数学和科学基准测试中的全局推理能力。

原作者： Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Dinggen Zhang, Weida Wang, Towsif Raiyan, Benteng Chen, Qingtao Pan, Yang Ouyang, Chaoda Song, Zhiqiang Gao, Shufei Zhang, Sumon Biswas

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Dinggen Zhang, Weida Wang, Towsif Raiyan, Benteng Chen, Qingtao Pan, Yang Ouyang, Chaoda Song, Zhiqiang Gao, Shufei Zhang, Sumon Biswas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文“先规划后行动”的解释。

问题：“边跑边猜”的陷阱

想象你正在尝试解决一个非常复杂的迷宫。大多数当前的人工智能模型（大型语言模型）就像一个立刻开始沿着某条路奔跑的人。它们迈出一小步，接着再迈一步，再迈一步，始终只盯着眼前的那一步。

论文将这种现象称为思维链（Chain-of-Thought, CoT）。对于简单的迷宫，这种方法尚可应付，但对于复杂的迷宫，人工智能往往会迷路。它可能会走错方向，因为过于关注下一步而看不清大局，从而在原地打转；或者直到太晚才意识到自己在最开始就犯了错。等到它到达终点时，往往已经困惑不堪，或者给出了错误的答案。

其他方法试图通过让人工智能同时“思考”许多不同的路径（像树搜索那样）来解决这个问题，但这极其缓慢且昂贵，就像雇佣一百个人同时跑遍迷宫中所有可能的路径。

解决方案：“先规划后行动”（PTA-GRPO）

作者提出了一种训练人工智能的新方法，称为PTA-GRPO。这就像教导人工智能在开始奔跑之前先停下来绘制一张地图。

该过程主要分为两个阶段：

第一阶段：“绘图者”（监督微调）

首先，研究人员教导人工智能如何绘制地图。他们利用现有的优秀解题示例，让一个聪明的人工智能将冗长、详细的步骤总结为简短、高层级的“计划”或“大纲”。

类比：想象一位厨师。人工智能不再只是看着别人切菜和搅拌锅，而是被教导先写一张食谱卡：“1. 切洋葱。2. 炒香大蒜。3. 炖煮酱汁。”
人工智能学会在开始实际工作（即 <thought> 标签内的详细推理）之前，先输出这个简短的计划（位于 <plan> 标签内）。

第二阶段：“教练”（强化学习）

这是巧妙之处。通常，在训练人工智能时，教练只关心最终答案是对是错。如果人工智能答对了，但走了一条奇怪且令人困惑的路径，它也会得到“干得好”的评价；如果答错了，则得到“再试一次”的反馈。

作者改变了规则。现在，教练根据两件事来打分：

你得到正确答案了吗？（结果）
你的地图（计划）真的好吗？（指引）

类比：想象一名学生参加数学考试。
- 旧方式：老师只检查最终数字。如果学生猜对了数字但写了一堆胡言乱语，他们也能得 A。
- PTA-GRPO 方式：老师还会检查学生的提纲。如果学生在做数学题之前写了一个清晰、合乎逻辑的计划，他们就能获得额外加分。如果他们的计划杂乱无章或错误，即使他们 somehow 猜对了答案，也会扣分。

这迫使人工智能认识到好的计划能带来好的答案。它学会了创建清晰的高层策略来引导其思考，防止其偏离轨道。

为什么它有效

论文表明，当以这种方式训练人工智能时：

它不再犯“局部”错误（即在某一步上卡住）。
它能建立对问题的“全局”视角（看清整个迷宫）。
即使在更小、更便宜的计算机模型上，它在数学和科学问题上的表现也大大提升。

结果

研究人员在十个不同的困难数学和科学基准测试中测试了这种方法。他们发现：

使用这种“先规划后行动”方法训练的模型，其表现始终优于使用标准方法训练的模型。
它在不同规模的人工智能模型（从小型到大型）上都能发挥良好效果。
人工智能不仅在最终答案上变得更出色，而且在以结构化、有条理的方式思考方面也变得更出色。

总结

简而言之，这篇论文教导人工智能在开始解决问题之前要停下来、思考并制定计划。通过不仅奖励最终结果，还奖励其计划的质量，人工智能学会了更可靠地驾驭复杂问题，避免了困扰当前系统的“边跑边猜”式错误。

技术摘要：先规划后行动：用于大语言模型推理的高层规划指导强化学习

1. 问题陈述

大语言模型（LLMs）已通过思维链（CoT）提示展现出强大的推理能力。然而，标准的 token 级生成过程本质上是一个自回归且局部贪婪的马尔可夫决策过程（MDP）。这导致了几个关键局限性：

缺乏全局规划：模型优化的是短视的 token 似然性，往往导致冗余、偏离或 inaccurate 的推理链。
错误传播：推理轨迹早期的错误会在长视域中被传播，因为模型缺乏恢复或重新路由的机制。
现有方案的局限性：
- 基于树的搜索（例如 MCTS）：虽然在拓宽探索方面有效，但这些方法依赖重复的外部查询，导致高昂的计算成本，且未能增强模型内部的推理能力。
- 标准强化学习（RL）：像组相对策略优化（GRPO）这样的方法仅针对最终答案的正确性（基于结果的奖励）进行优化。它们忽略了中间规划和推理步骤的质量，这意味着如果最终答案碰巧正确，结构不佳的规划可能与组织良好的规划获得相同的奖励。

2. 方法论：PTA-GRPO

作者提出了基于组相对策略优化的先规划后行动增强推理（PTA-GRPO），这是一个旨在联合优化高层规划和细粒度 CoT 推理的两阶段框架。

阶段 1：规划结构化推理冷启动（PSR-CS）

在强化学习之前，模型经过监督微调（SFT）以获取生成分析性规划的能力。

数据集构建：作者构建了一个数据集（ $D_{PSR-CS}$ ），其中每个实例包含一个问题（ $q$ ）、一个简洁的高层分析性规划（ $t$ ）以及详细的推理/答案（ $c$ ）。
规划生成：分析性规划（ $t$ ）由强 LLM（例如 Qwen3-235B）从真实 CoT 推理中总结得出。规划被包裹在 <plan>...</plan> 标签中，推理在 <thought>...</thought> 中，答案在 <answer>...</answer> 中。
目标：模型学习条件分布 $c = \pi_\theta(\cdot | q, t)$ ，有效地学习将详细推理依赖于全局指导。

阶段 2：规划结构引导的强化学习（PSG-RL）

在 SFT 初始化的模型基础上，作者引入了一种基于 GRPO 的新型 RL 方法，该方法明确奖励分析性规划的质量。

采样过程：对于给定问题 $q$ ，策略采样 $m$ 个候选分析性规划 $\{t_i\}$ 。对于每个规划 $t_i$ ，模型重新采样 $z$ 个详细 CoT 轨迹 $\{c_{i,k}\}$ 。
复合奖励函数：总奖励 $R_{total}$ $R_{t o t a l}$ 由三个部分组成：
1. 结果奖励（ $r_{outcome}$ ）：基于最终提取的答案是否与真实值匹配的二元奖励（1 或 0）。
2. 分析性规划奖励（ $r_{analytic}$ ）：一种评估规划 $t_i$ 质量的新颖奖励。它被定义为在该特定规划下生成的 $z$ 个重采样 CoT 轨迹的经验准确率。能持续引导出正确答案的规划会获得更高的奖励。这作为规划质量的代理指标，鼓励模型生成能有效指导推理的规划。
3. 格式奖励（ $r_{format}$ ）：强制结构一致性（正确的标签）并惩罚过长的响应。
优化：模型使用组相对策略优化目标进行更新，利用复合奖励计算优势。

理论基础

该论文提供了理论分析，表明优化分析性规划奖励会增加在给定规划条件下预测答案与真实值之间的互信息 $I(\hat{y}; y | t, q)$ 。作者证明了错误概率的上界由条件熵界定，而条件熵随着互信息的增加而降低。因此，提高规划质量直接收紧了错误概率的界限。

3. 主要贡献

新颖的两阶段框架：PTA-GRPO 引入了一种训练范式，明确分离并优化高层规划与执行，超越了纯粹的基于结果的 RL。
高层指导作为监督信号：该方法利用 SFT 将结构化规划能力注入模型，使其具备将推理总结为全局指导的能力。
规划感知奖励机制：作者将分析性规划表述为 RL 目标中的显式优化变量，使用重采样轨迹的成功率作为规划质量的奖励信号。
实证验证：该方法在五个不同的基础模型（参数范围从 3B 到 14B）和涵盖数学及自然科学的十个基准测试中进行了评估。

4. 实验结果

作者在包括 MATH500、AIME24、AIME25、AMC23 以及多模态数据集（MMMU-Pro、EMMA、MMK-12）在内的基准测试上评估了 PTA-GRPO。

性能提升：PTA-GRPO 始终优于基础模型和其他 RL 基线（GRPO、DAPO、CPL、Full-Step-DPO）。
- 在 Qwen2.5-7B-Instruct 上，数学基准测试的平均准确率从 34.23%（基础版）提升至 58.46%（PTA-GRPO），超过了 GRPO（54.81%）和 DAPO（55.04%）。
- 在 Qwen3-14B 上，PTA-GRPO 达到了 85.01% 的平均分，优于 GRPO（83.08%）和 DAPO（83.31%）。
数据扩展：将 RL 训练数据从 4k 增加到 60k 样本带来了持续的性能提升，表明该方法随数据量扩展性良好。
消融研究：移除 SFT 冷启动或分析性规划奖励（ $r_{analytic}$ ）会导致性能显著下降，证实了初始化和特定奖励信号的必要性。
泛化性：该方法不仅限于纯数学，还表现出对多模态和科学推理任务的强大泛化能力。
测试时扩展：与 GRPO 相比，PTA-GRPO 在 Pass@K 指标（Pass@1 到 Pass@16）上表现出更优越的性能，表明其在多次采样条件下的鲁棒性。

5. 意义与主张

该论文声称，PTA-GRPO 通过将分析性规划视为一等优化目标而非仅仅是结构附加项，解决了大语言模型推理中“缺乏全局规划”的问题。

内部与外部：与依赖外部计算的树搜索方法不同，PTA-GRPO 增强了模型的内部推理能力。
鲁棒性：通过奖励中间步骤的质量（通过规划奖励），该方法减少了冗余推理，帮助模型避免局部最优，从而产生更稳定且受全局指导的轨迹。
效率：与标准 GRPO 相比，该方法在实现这些增益的同时并未产生显著额外的计算成本，因为规划奖励是使用相同的 rollout 预算（在生成的规划下重采样 CoT）计算的。
谦逊：作者承认，虽然该方法显著提高了基准测试中的推理能力，但它并未引入新的数据源或外部工具。他们还指出，更强的推理能力伴随着潜在风险（例如在学术不端中的滥用），并强调需要负责任的部署和对齐研究。

总之，该论文认为，显式优化高层规划指导，结合最终答案的正确性，是实现大语言模型更可靠、更连贯且更具泛化能力的推理的关键步骤。