🤖 AI

GPO: Learning from Critical Steps to Improve LLM Reasoning

本文介绍了引导式关键优化（Guided Pivotal Optimization, GPO），这是一种通过利用优势估计识别推理轨迹中的关键步骤，并将学习重点放在这些关键时刻，从而显著提升各种优化方法和基准测试性能的新型大语言模型微调策略。

原作者： Jiahao Yu, Zelei Cheng, Xian Wu, Xinyu Xing

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahao Yu, Zelei Cheng, Xian Wu, Xinyu Xing

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但有时有点丢三落四的学生（即 AI）如何解决复杂的数学问题或编写代码程序。这个学生试图通过写下一长串步骤来解决问题，就像写食谱一样。

通常情况下，当学生得出错误答案时，我们会查看整个“食谱”，说：“这不对”，然后告诉他们从头开始再试一次。但论文指出，这样做效率很低。通常情况下，学生在早期犯了一个微小但关键的错误——比如读错了一个数字或搞混了一个日期——而之后的所有步骤都只是在试图修复一个破碎基础的逻辑严密但注定失败的尝试。

作者将他们的新方法称为 GPO（引导式关键点优化，Guided Pivotal Optimization）。它是如何运作的呢？我们可以用简单的类比来说明：

1. “关键步骤”侦探

在旧的方法中，AI 将其推理过程中的每一个步骤都视为同等重要。而 GPO 则像是一个侦探。它观察学生的长串步骤，并问道：“火车究竟是在哪里脱轨的？”

它使用一种数学工具（称为“优势函数”）来扫描推理路径，并精准定位出逻辑出错的那个特定步骤。这就是“关键步骤”。在这个时刻，如果学生当时采取了不同的路径，他们本可以正确解决问题。

类比： 想象一名徒步旅行者试图到达山顶。他们在岔路口走错了路。旧的方法说：“你没能到达顶峰，回到车里重新开始吧。” GPO 则说：“你没能到达顶峰，是因为你在 2 英里前的那个岔路口选错了路。让我们把你传送到那个岔路口，然后尝试另一条路径。”

2. “时间旅行”重置

一旦 GPO 找到了那个关键错误，它不仅仅是告诉 AI 再试一次。它实际上会重置 AI 的记忆到出错的那一刻。

它会说：“好了，你现在处于第 3 步。你在这一步做了一个错误的决策。现在，忘掉你在第 3 步之后写下的所有内容。让我们从第 3 步开始重新开始，看看能否找到一条更好的路径。”

类比： 想象你在玩电子游戏。如果你掉进了一个坑里，旧的方法会让你重新开始整个关卡。GPO 则让你在坑边“复活”，给你第二次机会跳跃正确，而不需要浪费时间重玩那些你已经掌握了的安全部分。

3. 从“关键时刻”中学习

随后，AI 会多次练习这种“重置并重试”的过程。它专门学习如何处理那些决定成败的、高风险的关键时刻。

类比： 如果你在学习打网球，你不会只是一遍又一遍地进行完整的比赛。你可能会专门练习你的发球，因为发球是开启一分的“关键步骤”。GPO 迫使 AI 反复练习它的“发球”（即关键推理步骤），直到掌握为止，而不是仅仅进行随机的游戏。

他们发现了什么？

研究人员在七种不同类型的难题（包括数学题、科学问题和逻辑谜题）上对使用这种方法的 AI 进行了测试。他们将使用 GPO 的 AI 与使用标准训练方法的 AI 进行了对比。

结果： 使用 GPO 训练的 AI 在解决这些问题方面的表现有了显著提升。它不仅仅是略有进步，而是实现了准确率的大幅飞跃。
人工校验： 他们还请真实的人类来观察 AI 的错误，并猜测关键错误发生在哪里。他们发现，人类与 GPO 方法在判定“关键步骤”上大部分时间都是一致的。这证明了该方法并非随机猜测，而是找到了人类也会认为“啊，就是这里出错了”的实际时刻。

核心结论

论文声称，通过阻止 AI 在它已经掌握的知识上浪费时间，转而将其精力集中在它卡住的具体时刻，我们可以教会它更清晰地思考并解决更难的问题。这是一种更聪明的练习方式，它关注的是链条中最薄弱的环节，而不是整条链条。

技术摘要：引导式关键点优化 (Guided Pivotal Optimization, GPO) 用于大语言模型推理

问题陈述

大语言模型（LLMs）在多个领域展现出了令人印象深刻的能力，但实现可靠的多步推理仍然是一个重大挑战。诸如数学证明和代码编辑等复杂任务，需要生成连贯的中间步骤序列（推理轨迹）。虽然 LLMs 可以生成流畅的文本，但中间步骤中的细微错误往往会导致整个推理过程的失败。

现有的优化方法，如近端策略优化（Pimal Policy Optimization, PPO）和直接偏好优化（Direct Preference Optimization, DPO），通常将推理轨迹视为一个整体。它们基于对整个生成序列的奖励或偏好进行优化。因此，这些方法无法有效地定位并聚焦于那些发生关键错误或需要精确执行才能成功的特定中间步骤。这种“全轨迹”的方法限制了模型从推理过程中的关键时刻中学习的能力。

方法论：引导式关键点优化 (GPO)

作者提出了引导式关键点优化 (GPO)，这是一种新型的微调策略，旨在通过识别并优先处理轨迹中的“关键步骤”来提升 LLM 的多步推理能力。GPO 是一个通用的框架，可以与各种现有的优化算法（包括在线和离线算法）集成。

GPO 的过程包含三个主要阶段：

关键步骤识别：
给定由策略 $\pi$ 生成的推理轨迹，GPO 将轨迹分割为离散的推理步骤。随后，它通过估计每个步骤的优势函数 (Advantage Function) 来识别最关键的步骤 $y_m$ 。
- 优势 $A^\pi(x, y_{0:i-1}; y_i)$ 定义为在当前前缀 $y_{0:i-1}$ 中加入步骤 $y_i$ 时 Q 值的相对变化。
- Q 函数 $Q^\pi$ 估计在给定前缀的情况下采取行动 $y_i$ 的预期未来回报，并将其与标准答案进行比较。
- 由于在生成过程中真实的奖励函数通常是不可观测的，因此 Q 函数通过蒙特卡洛 (Monte Carlo, MC) 模拟进行估计。模型从当前步骤开始采样多个后续路径，以估计到达正确最终答案的概率。具有最高优势（表示具有最高成功潜力或与失败偏离最显著）的步骤被选中作为关键步骤。
轨迹重置与展开 (Trajectory Reset and Rollout)：
一旦识别出关键步骤 $y_m$ ，GPO 会将策略“重置”到该特定状态。模型不再从轨迹开头开始，而是从 $y_m$ 开始生成一条新的轨迹 $y'$ 。
- 在线设置（例如 PPO）： 模型重置到 $y_m$ 并展开一条新轨迹以生成新的奖励信号，该信号被添加到在线缓冲区中用于策略梯度更新。
- 离线偏好设置（例如 DPO）： 模型从 $y_m$ 出发生成两个后续路径：一条正向轨迹 ( $y^+$ ) 和一条负向轨迹 ( $y^-$ )。它们构成一个偏好对 $(x, y^+, y^-)$ ，用于通过偏好损失进行训练。
优化：
学习过程被优先应用于这些重置后的轨迹。通过聚焦于对结果起决定性作用的具体推理步骤，模型能够获得更具针对性的训练信号。这种方法使模型能够比统一的轨迹优化更有效地学习如何应对具有挑战性的推理路径。

主要贡献

本文概述了四个主要贡献：

提出 GPO： 一种新的微调策略，通过识别轨迹中的关键步骤并优先学习这些关键时刻，提升了 LLM 的推理能力。
理论分析：
- 对于在线学习，作者提供了遗憾界限 (Regret Bound) 分析，证明了在自然假设（有界 Q 值）下，GPO 降低了最终收敛策略的遗憾值。
- 对于离线偏好学习，他们证明了 GPO 可以被解释为一种优势加权强化学习 (RL) 形式，其中优势函数隐式地对每一步的对数似然进行了重加权。
实证验证： 在涵盖通用推理、数学和 STEM 领域的 7 个不同数据集以及 5 种不同的微调算法（PPO, DPO, KTO, SimPO, ORPO）上进行的广泛实验表明，GPO 始终能显著提升基准方法的性能。
人类对齐： 一项涉及 50 名参与者的用户研究证实，GPO 识别出的关键步骤与人类对推理失败中关键时刻的判断高度一致。

实验结果

作者使用 DeepSeek-R1-Distill-Qwen-7B 模型作为基座模型对 GPO 进行了评估。实验涵盖了 GSM8K, MATH, AIME-2024/2025, MMLU, MMLUPro 和 BIG-Bench Hard (BBH) 等数据集。

性能提升： 在所有 7 个数据集和 5 种优化算法中，集成 GPO 始终提高了测试准确率。
- 例如，在 MATH 数据集上，标准 PPO 的准确率为 79.60%，而 GPO-PPO 达到了 87.80%。
- 在 GSM8K 上，GPO-DPO 将准确率从 86.05% (DPO) 提升至 88.48%。
- 在 AIME 基准测试和 MMLUPro 上也观察到了类似的显著增益。
消融实验： 将 GPO 与受 Satori 方法启发的随机重置轨迹基准进行对比，结果显示 GPO 的表现明显优于随机重置。这证实了性能的提升源于通过优势函数对关键步骤的特定识别，而非仅仅是重置机制本身。
可扩展性： GPO 在不同模型规模（从 1.5B 到 70B 参数）上均表现出鲁棒性，并显示出当增加 MC 模拟次数达到一定程度（约 12 个样本）时存在性能饱和收益。
长上下文推理： 通过采用步骤分组启发式方法，GPO 被成功应用于长上下文推理任务 (BBH)，实现了 36.0% 的准确率，而 DPO 基准为 29.0%。

重要性与主张

论文声称，GPO 代表了迈向更稳健、更可靠的 LLM 推理的重要一步。其重要性在于将优化重心从整个轨迹转移到了决策最为关键的关键时刻。

泛化性： 作者强调 GPO 是一种通用策略，并不绑定于特定算法，因此可以与各种现有的微调框架兼容。
理论基础： 该工作提供了理论依据，解释了为什么通过关注关键步骤（通过优势加权）可以带来更好的策略收敛和更低的遗憾值。
以人为本的验证： GPO 识别的关键步骤与人类直觉之间的对齐，表明该方法有效地针对了推理过程中的实际瓶颈。

作者承认存在局限性，主要是蒙特卡洛模拟引入的计算开销（使 PPO 的训练时间增加了约 1.9 倍）。然而，他们认为考虑到性能的提升，这种权衡是值得的，并建议未来的工作可以探索更具样本效率的替代方案，如广义优势估计 (GAE)。

总之，论文认为，通过将学习集中在决定成功或失败的具体步骤上，GPO 为增强 LLM 复杂的推理能力提供了一种更具针对性且更有效的策略。