🤖 AI

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

本文介绍了策略引导策略优化（Strategy-Guided Policy Optimization, SGPO），这是一个通过利用 token 级前向 KL 目标和自适应权重，从强模型中蒸馏可复用的解题策略，从而增强大语言模型推理能力的创新框架，其在数学基准测试上的表现优于传统的轨迹模仿及其他基线方法。

原作者： Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《超越轨迹模仿：面向大语言模型推理的策略引导策略优化》（Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning）的解释，使用了简单的语言和日常类比。

核心问题：是模仿答案，还是学习解题思路？

想象一下，你正在试图教一名学生如何解决一道很难的数学题。

旧方法（轨迹模仿/Trajectory Imitation）：
目前大多数方法的工作方式就像一个严格的复读机。你向学生展示一个由天才写出的“完美”解题过程。学生被告知：“一步步把天才写下的内容原封不动地写下来。”

缺陷： 学生记住了针对那个特定问题的具体步骤。如果给你一个稍微不同的问题，他们就会卡住，因为他们记住了“剧本”，而不是学习了“逻辑”。他们知道该写“什么”，但不知道为什么要写这些步骤。

新方法 (SGPO)：
这篇论文提出了一种名为 SGPO（策略引导策略优化）的新方法。它不再强迫学生复制精确的剧本，而是提取出一份策略指南（Strategy Guide）。

策略指南： 这是一张高层级的地图。它会说：“这是一个分数问题。首先，找到公分母。然后，等式两边同时乘以……最后，隔离变量。”它告诉你的是“计划”，但不会替你做实际的数学计算，也不会给出最终答案。
目标： 学生学习内化这种“如何思考”的过程，以便将来能够独立解决新问题，而不需要在面前摆着地图。

SGPO 是如何工作的： “教练”与“选手”

研究人员设置了一个类似于体育训练的场景，对于每一个问题，都有两组玩家进行对比：

“自主型”组（独自练习的选手）：
学生在没有任何帮助的情况下尝试解决问题。有时他们做对了，有时失败了。这保持了他们自然的解题能力。
“策略引导型”组（带着教练的选手）：
学生尝试解决同一个问题，但这一次，他们的面前有一份“策略指南”（地图）。教练会在耳边低语计划：“记住，先找公分母！”

神奇之处：
系统并不仅仅是告诉学生去模仿“引导组”的答案。相反，它会通过比较这两组的表现，来观察教练究竟在哪些地方发挥了作用。

“前向 KL 散度”信号（聚光灯）：
想象学生正在森林中行走。“自主组”在随机游走；而“引导组”因为有了地图，走的是一条直线。
系统会观察路径并询问：“地图在什么时候改变了学生的运动方向？”
- 如果学生只是在说“好吧，让我们开始……”（这些是无聊、常规的词汇），地图并没有改变任何东西。忽略这一点。
- 如果学生原本打算瞎猜一个数字，但地图说：“不，这里要使用二次方程公式。”那么这就是一个关键时刻。
  系统会将聚光灯打在这些关键时刻，并教会学生：即使以后没有地图了，也要做出同样聪明的选择。

安全网（近端约束/Proximal Constraints）

教导学生根据教练的建议改变想法是有风险的。如果你推得太猛，他们可能会完全忘记如何独立思考（这种现象被称为“熵坍缩”）。

SGPO 使用了三个安全网来保持稳定性：

可达目标（Reachable Targets）： 它只教授那些学生确实能够掌握的策略。如果教练建议了一个学生永远无法学会的高难度动作，系统就会跳过它。
裁剪（Clipping）： 它会忽略极端的差异。如果教练的建议与学生的直觉大相径庭，系统不会一次性强行进行极其混乱且巨大的改变。
自适应权重（“音量旋钮”）：
- 在训练初期： 学生数学很差。此时教练建议的“音量”会被调高。学生需要尽可能多的帮助。
- 在训练后期： 学生变得更聪明了。此时教练建议的“音量”会被调低。系统开始信任学生自身不断增长的能力，不再进行过度微观的管理。

研究结果表明

研究人员在四个困难的数学基准测试（如高中和大学水平的数学竞赛）上，使用不同的 AI 模型进行了测试。

击败竞争对手： SGPO 的表现始终优于旧有的“复读机”方法（监督微调/SFT）以及其他结合了模仿与强化学习的高级方法。
“聪明学生”效应： 该方法在已有一定基础的聪明模型上效果最好。这就像一位教练：教练可以将有天赋的运动员培养成冠军，但仅靠一份剧本很难把一个完全的门外汉变成冠军。学生需要具备一定的基础能力才能理解策略。
选择性： 系统自然地学会了专注于问题的难点（策略），而不是易点（填充词），这也是它之所以能胜过那些试图模仿每一个单词的方法的原因。

总结类比

旧方法： 你给学生一篇完成好的论文，并说：“逐字逐句背下来。”当题目变化时，他们就失败了。
SGPO 方法： 你给学生一个关于如何写好一篇论文的提纲（引言 -> 论点 -> 证据 -> 结论）。你让他们练习独立写作，但偶尔会展示提纲来纠正他们的结构。随着时间的推移，他们不再需要提纲，因为他们已经内化了这种结构。他们学习的是如何思考，而不只是说什么。

技术摘要：用于大语言模型推理的策略引导策略优化 (SGPO)

1. 问题陈述

目前将强大的推理能力从强模型蒸馏到弱大语言模型（LLM）的方法主要依赖于轨迹级模仿（trajectory-level imitation）。无论是通过对专家轨迹进行监督微调（SFT），还是通过混合策略优化，这些方法都是训练学生模型去复现专家生成的特定解题序列。本文认为这种知识转移的单元存在缺陷：它鼓励模型记忆特定实例的模式，而非获取可迁移的解题技巧。因此，采用这种方式训练的模型在面对新颖问题时往往难以泛化，因为它们学习的是“答案是什么”而非“如何推理”。

核心挑战在于如何将蒸馏目标从具体的解题轨迹转向可复用的解题策略——即解释为何选择特定步骤，且无需模型在推理过程中依赖外部提示。

2. 方法论：策略引导策略优化 (SGPO)

作者提出了 SGPO，这是一个用可复用策略蒸馏取代实例级轨迹模仿的框架。该框架通过从强模型响应中提取结构化的策略描述，并利用这些描述来重塑学生模型的推理分布。

2.1 核心组件

对于每个训练问题 $q$ ，SGPO 构建了两个轨迹组：

自主组 (Autonomous Group)： 从当前策略 $\pi_\theta(\cdot | q)$ 中采样。
策略引导组 (Strategy-Guided Group)： 从 $\pi_\theta(\cdot | q, s)$ 中采样，其中 $s$ 是从强模型中提取的简洁自然语言策略描述（指定问题类型、方法和程序步骤），但不包含任何计算或最终答案。

该框架解决了两个关键问题：如何蒸馏以及何时蒸馏。

2.2 如何蒸馏：Token 级前向 KL 目标

SGPO 并非直接模仿引导后的轨迹（这会导致退化回 SFT），而是蒸馏由策略调节引起的分布偏移。

前向 KL 散度 (Forward-KL Divergence)： 该方法最小化 KL 散度，其中策略引导的分布作为参考分布，而无引导的分布作为目标分布（ $D_{KL}(\pi_{guided} || \pi_{unguided})$ ）。
选择性 (Selectivity)： 不同于会导致策略坍缩到单一引导模态的逆向 KL（Reverse KL），前向 KL 鼓励无引导策略覆盖引导模态，同时保留通过自主探索发现的其他替代路径。
机制： 该目标函数自然地将优化压力集中在那些在策略调节下发生显著分布变化的 token 上（例如，选择特定的数学方法）。这些位置对应于策略关键决策点，而常规的语言性 token 则表现出较低的 KL 散度。这提供了一种选择性的蒸馏信号，且无需显式的 token 级标注。

2.3 稳定性与效率：近端约束

为了确保训练的稳定性和效率，SGPO 采用了三个层级的近端约束：

轨迹级（可达目标选择）： 该方法并非对所有正确的引导轨迹求平均，而是选择当前无引导策略最容易到达的单个引导轨迹。这最小化了模型必须跨越的分布差距。
Token 级（KL 裁剪）： 对于引导分布与无引导分布之间差异超过阈值 $\delta$ 的 token 位置，进行掩码处理。这防止了异常位置主导优化过程并导致熵坍缩。
实例级（自适应权重）： 一个动态权重 $\alpha(q)$ $α (q)$ 根据策略引导带来的边际收益来调节蒸馏强度。
- 如果自主通过率低且引导通过率高，则 $\alpha(q)$ 较大，增强引导。
- 随着模型自主能力的增长， $\alpha(q)$ 会减小，从而实现从策略驱动改进到自主优化的自然过渡，无需手动调度。

2.4 总体目标

总损失结合了自主组相对策略优化 (GRPO) 与近端策略蒸馏项：
$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$

3. 主要贡献

范式转变： 将推理蒸馏从模仿特定的解题轨迹转向内化可复用的解题策略。
前向 KL 蒸馏： 引入了 token 级前向 KL 目标，通过关注决策点的概率偏移来选择性地转移策略知识，其效果优于直接的轨迹模仿。
自适应框架： 提出了一种训练动态机制，使蒸馏强度随模型能力自动缩放，消除了对手动课程调度的需求。
互补缩放： 证明了策略蒸馏的收益随基座模型能力的提升而增加，表明有效地内化策略引导需要具备最低限度的推理能力。

4. 实验结果

实验在四个数学推理基准测试（MATH500, AMC 23, OlympiadBench, AIME 24）上进行，使用了两个模型系列：Qwen2.5 (1.5B 和 7B) 以及 Llama-3.2 (8B)。

性能： SGPO 一致优于强基线模型，包括 SFT、在策略强化学习 (SFT+GRPO) 以及混合策略方法 (HPT, LUFFY)。
- 在 Qwen2.5-7B-Instruct 上，SGPO 比最强基线 (LUFFY) 平均提高了 2.2 分，比基座模型提高了 9.9 分。
- 在 Qwen2.5-1.5B-Instruct 上，平均分比基座模型提高了 6.7 分。
消融研究：
- 去除策略蒸馏会降低性能，证实了策略级转移优于纯 RL 的价值。
- 去除自主 GRPO 会导致熵坍缩和性能停滞，凸显了保持探索多样性的必要性。
- 去除近端约束会导致最大的性能下降（6.8 分），表明其在稳定性方面的关键作用。
分析：
- 选择性： 前向 KL 信号在策略关键步骤（如确定最小公分母）处达到峰值，而在常规 token 处保持较低水平，这与直接 SFT 中单调下降的损失函数不同。
- 缩放： SGPO 的增益对于更强的基座模型更大，表明策略蒸馏与基础推理能力具有互补性。

5. 意义与主张

本文主张，在策略层面进行知识转移，比在轨迹层面进行模仿是更有效的推理蒸馏方向。

泛化性： 通过内化“如何推理”（策略）而非“答案是什么”（轨迹），模型获得了能够更好地泛化到新颖问题的可迁移技能。
内在选择性： 提出的前向 KL 目标充当了一种自动机制，能够识别并放大策略关键 token，从而无需对推理步骤进行人工标注。
效率： 自适应权重机制确保计算资源集中在策略引导能带来最高边际收益的实例上，从而实现更快的收敛和更高的性能上限。

作者总结道，虽然提升推理能力可能带来潜在风险，但由于本文专注于数学推理，因此直接风险极小，且该框架为通过策略蒸馏增强 LLM 推理能力提供了一条稳健的路径。