📊 statistics

TREK: Distill to Explore, Reinforce to Refine

TREK 是一个通用的阶段性训练框架，它通过利用来自外部或内部教师的已验证候选解进行前向 KL 蒸馏，以扩展模型在困难提示下的探索能力，从而增强了群体相对策略优化（GRPO），进而加速收敛并提升在复杂数学和智能体推理任务上的性能。

原作者： Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名学生（即 AI）如何解决非常困难的谜题。你有一个强大的工具叫做 GRPO（群体相对策略优化）。你可以把 GRPO 想象成一位教练，他会对学生说：“尝试用 16 种不同的方法来解决这个谜题。如果你做对了，太棒了！如果你做错了，试着找出这尝试 16 次中哪一次是‘错得最轻微’的，然后多做那样的尝试。”

当学生已经接近答案时，这种方法效果很好。但如果谜题实在太难，以至于 16 次尝试中没有一个是接近答案的，会发生什么呢？学生会不断原地打转，胡乱猜测，永远无法找到正确的路径。教练也陷入了困境，因为没有“好的”尝试可以用来强化学习。

这就是论文中引入 TREK（通过前向 KL 进行教师路由探索）的原因。

核心思想：“指南手册”类比

TREK 通过引入一个指南手册（即“教师”）改变了游戏规则。

问题： 学生被困在某个特定的难题上。他们无法靠自己找到解决方案。
干预： 与其让学生再次盲目猜测，TREK 会要求“指南手册”来解决这个谜题。指南手册更聪明（或者拥有更多的工具/时间）并找到了正确的解法。
过滤器： 指南手册可能会找到许多种解决问题的方法。TREK 并不会照搬所有内容。它会观察学生当前的技能水平，并挑选出那个最接近学生原本就能想象出来的解法。这就像是指南手册在说：“这是答案，但我展示给你的是那个离你已知知识仅一步之遥的版本。”
“拉伸”（前向 KL）： 在学生回到独自练习之前，TREK 会针对这个特定的“接近”解法给他们进行一次快速且专注的课程。这就像是一次热身拉伸，让学生的肌肉足够灵活，从而能够触及那个新的位置。
回归： 现在，学生回到了“16 次尝试”的游戏中。由于有了之前的热身，他们终于能够触及正确的解法。一旦他们能够触及，原本的教练（GRPO）就可以接手并帮助他们精通它。

为什么这很特别

大多数先前的方法试图在学生正在尝试解决问题的同时，通过向他们展示指南手册的答案来进行教学。但如果学生完全迷失了方向，展示答案并不能帮助他们学习如何到达那里；这只会让他们觉得像是在变魔术。

TREK 的不同之处在于，它将指南手册的答案视为通往新领地的地图，而不仅仅是一个复制粘贴的指令。它专门针对学生完全陷入困境的时刻，利用指南手册找到一条可达到的路径，然后“拉伸”学生行走这条路径的能力。

结果：更快、更聪明

论文在两种类型的挑战上测试了它：

数学谜题 (AIME)： 想象一场数学竞赛。标准方法（GRPO）大约能解出 37% 的难题。使用 TREK 并配合一个超聪明的指南手册后，得分跃升到了 40% 以上。更令人印象深刻的是，当学生尝试使用自己的大脑并辅以额外的提示（而不是外部指南手册）时，表现依然有了显著提升。
机器人任务 (ALFWorld & ScienceWorld)： 想象一个机器人试图清理房间或进行科学实验。这些是漫长且复杂的任务，机器人经常会在其中迷失方向。
- 标准方法在处理最难的任务时会陷入停滞，需要花费很长时间才能搞定。
- TREK 帮助机器人在训练过程的早期阶段就成功完成了最难的任务。这就像是机器人不必在黑暗中徘徊数小时；指南手册打开了一道光，刚好足以照亮门口，然后机器人就可以靠自己的力量走过去。

“秘密武器”

论文强调 TREK 非常灵活。“指南手册”不一定非要是另一个更大的 AI。它可以是：

一个超聪明的外部 AI（黑盒）。
同一个 AI，但被赋予了更多思考时间或更好的工具（白盒/自我语境）。
同一个 AI，只是带着一份关于其过去失败经历的“小抄”在运行。

关键在于，TREK 仅在学生真正陷入困境时才使用指南手册的答案，并且它只挑选那些足够接近、学生能够真正从中学习的答案。这是一个聪明的分阶段方法：探索（借助帮助）、拉伸（触及新位置），然后精炼（靠自己完成）。

简而言之，TREK 是一种不再让 AI 用头撞墙的方法——它通过短暂地递给它一把梯子，教会它如何攀爬，然后让它靠自己的力量爬完剩下的路。

技术摘要：TREK —— 以蒸馏促探索，以强化精细化

1. 问题陈述

本文针对在处理复杂推理任务时，**群体相对策略优化（GRPO）所面临的一种特定失效模式进行了研究。虽然 GRPO 在当前策略（学生模型）已经能够采样到有用解轨迹时非常有效，但在面对困难提示词（hard prompts）**时，它往往会陷入停滞，因为这些问题的正确解模态（solution modes）位于学生当前在策略支持集（on-policy support）之外。

在这些困难场景下，学生模型会反复采样出看似合理但结构相似的错误轨迹。这里的瓶颈不在于奖励信号（验证器可以在找到正确解时进行评分），而在于**探索覆盖度（exploration coverage）**的缺失。标准的 GRPO 作为一种在策略方法，无法强化其未能采样到的行为。因此，即便增加 Rollout 组的大小或使用更尖锐的相对优势，也往往无法逃脱学生当前狭窄支持区域的束缚。

现有的蒸馏和教师引导方法主要侧重于改进学生已经触达的轨迹的监督或信用分配。它们并未直接解决这样一个问题：当学生的自主探索无法采样到任何奖励轨迹时，如何让有用的行为变得可采样？ 核心挑战在于：当学生的无助探索失败时，我们该如何让有用的行为变得可采样？

## 2. 方法论：TREK

作者提出了 TREK（通过前向 KL 进行教师路由的探索），这是一个将蒸馏重新定义为**探索支持集扩展（exploration support expansion）**而非简单模仿的分阶段程序。

核心理念

TREK 将教师（外部教师或自我增强的教师）视为一种提议机制（proposal mechanism），而非通用的行为目标。该方法依赖于仅输出接口（output-only interface），这意味着它仅需要经过验证的输出轨迹，不需要教师的 Logits、隐藏状态或概率。这使得使用黑盒教师、白盒教师或通过增加推理时上下文（例如：反思、更长的推理预算或失败教训）来增强自身模型的做法成为可能。

TREK 算法

该程序将提示词层级的提议可用性与轨迹层级的可达性解耦：

提示词路由（困难提示词挖掘）：
- 对于每个提示词 $x$ ，系统通过采样 $K$ 次 Rollout 来估计未辅助下的学生通过率 $p_S(x)$ 。
- 如果 $p_S(x) \leq \tau_{low}$ （表明这是一个学生表现不佳的困难提示词），则该提示词被路由至提议阶段。简单的提示词则保留在标准的 GRPO 流中。
提议生成与选择：
- 提议源 $\pi_T$ （如更强的模型或带有额外上下文的同一模型）为路由到的困难提示词生成候选解。
- 轨迹由验证器 $V$ 进行过滤。仅保留经过验证的成功案例。
- 可达性过滤： 在经过验证的轨迹中，系统根据当前学生的似然度（通过截断且长度归一化的负对数似然 $d_S$ 来衡量）对其进行排序。
- 保留前 $r$ 个与学生分布接近的已验证提议。这确保了学生不会被要求模仿与其当前能力过于脱节的解，而是专注于其可能触达的模态。
前向 KL 整合（热启动）：
- 保留的轨迹构成了一个数据集 $D_{scaf}$ 。
- 应用一个短期的**前向 KL（Forward-KL）**更新： $\min KL(q_{prop} \parallel \pi_\theta)$ 。
- 该目标函数惩罚学生为低概率分配经过验证的提议模态的行为，从而有效地将这些解模态“拉入”学生的支持集中。这不同于标准的蒸馏（通常最小化 $KL(\pi_\theta \parallel q_{prop})$ 或使用在策略蒸馏）。
在策略精细化：
- 在短期的前向 KL 热启动之后，提示词返回到标准的 GRPO Rollout 流中。
- 此时，学生通过扩展了支持集，已经包含了这些经过验证的模态，因此可以采样它们并接收来自验证器的相对优势，从而进一步精细化策略。

3. 主要贡献

识别失效模式： 本文指出，对于困难推理提示词，GRPO 的瓶颈在于“缺失探索支持”，这与奖励稀疏性是不同的概念。
将蒸馏视为探索： 它提出了一种全新的视角，即将蒸馏视为扩展学生可达支持集的手段，而非仅仅是对已采样轨迹进行密集的监督。
TREK 程序： 该算法通过一个路由化的过程，将提示词难度与轨迹可达性解耦，利用短期的前向 KL 阶段在回归 GRPO 之前巩固经过验证的提议。
黑盒兼容性： 由于仅需经过验证的输出而非教师的内部参数，该方法兼容外部黑盒教师、白盒教师或自我上下文增强，具有广泛的适用性。
训练效率： 研究表明，在强化学习开始前注入经过验证的解模态，能显著加速在最难任务类型上的学习，减少达到高性能所需的优化步数。

4. 实验结果

作者在数学推理（AIME 2024/2025）和智能体规划任务（ALFWorld, ScienceWorld）上评估了 TREK。

数学推理（Qwen3 模型）

设置： 在 1.7B、8B 和 14B 的 Qwen3 模型上进行测试。提议源来自 DeepSeek-V4（外部）或带有自我上下文（失败教训）的同一 Qwen3 模型。
性能： TREK 在所有规模上均一致优于直接使用 GRPO。
- Qwen3-8B： 使用 DeepSeek-V4 提议后，将 AIME 2025 从 36.9% 提升至 40.3%，将 AIME 2024 从 47.9% 提升至 51.1%。
- 自我上下文变体： 即使没有外部教师，自我上下文变体也将 AIME 2025 提升至 38.5%，并将 AIME 2024 提升至 49.6%。
消融实验： 用在策略蒸馏（OPD）风格的监督取代前向 KL 整合后，性能有所下降，证实了前向 KL 目标在扩展困难提示词的模态覆盖方面更为优越。

智能体任务（Qwen2.5-7B-Instruct）

ALFWorld： 成功率从 75.8%（GRPO）提升至 82.8%（使用 DeepSeek-V4 的 TREK）和 80.4%（自我上下文）。
ScienceWorld： 成功率提高了一倍多，从 12.5%（GRPO）上升至 26.7%（使用 DeepSeek-V4 的 TREK）和 23.4%（自我上下文）。
任务难度分析： 增益集中在最难的任务类型（如“加热并放置”、“在光线下检查”）上，即基准 GRPO 表现最低的任务。简单任务几乎没有改善，这证实了该方法精准打击了探索瓶颈。
训练动态： TREK 在训练早期就达到了较高的成功率。例如，在 ALFWorld 上，TREK 在第 20 步时成功率就超过了 60%，而 GRPO 仍低于 50%，且需要约 5 倍的步数才能达到相同的水平。

5. 重要性与主张

论文声称，当主要瓶颈在于无法采样到带奖励的轨迹时，TREK 提供了一个可泛化的框架，用于改进在策略推理系统。

互补性： TREK 被视为现有方法的补充（如 Token 加权或信用分配改进），后者是在学生当前支持集之内进行操作。而 TREK 在此之前运行，确保了支持集的存在。
效率： 其主要优势不在于提高渐近上限（因为 GRO 在计算量巨大时最终也能达到类似水平），而在于大幅降低了发现困难解模态所需的训练预算。
实用性： 由于依赖于经过验证的输出而非教师的内部信息，该方法对于在现实部署中常见黑盒教师或自我反思循环（此时内部模型状态不可访问）的情景非常稳健。

作者总结道，这种“以蒸馏促探索，以强化精细化”的范式可以扩展到其他后训练框架（如 DAPO, GSPO）以及持续技能获取场景，为通过经过验证的提议引入新能力，并在随后通过在策略强化将其稳定下来，提供了一种结构化的路径。