🤖 machine learning

Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents

本文介绍了一种名为步级自蒸馏策略优化（SSPO）的新型框架，该框架通过利用网络提取的证据锚点（Evidence Anchors）和步级优势权重来增强信用分配，从而解决深度搜索智能体训练中的信息不对称问题，并在保持极低计算开销的同时超越了标准的 GRPO。

原作者： Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人成为一名名侦探。在人工智能的世界里，这个机器人被称为“智能体”（agent），它的工作是通过搜索互联网、阅读页面并连接线索来解决复杂的谜题。为了变得更优秀，机器人需要进行练习，但棘手的地方在于：通常老师只在案件结束时才给评分。如果机器人破解了谜团，它会得到一颗金星；如果失败了，则得零分。问题在于，解开谜团可能需要五十个步骤。机器人是因为最后一步没找对线索而失败的吗？还是因为在第三步时犯了一个微小的错误导致了一切崩盘？如果只有游戏结束时的得分，机器人就像是在盲目飞行，只能靠猜来判断哪些步骤是好的，哪些是坏的。这是让搜索智能体变得聪明的巨大障碍。

为了解决这个问题，科学家们尝试了一种叫做“自我蒸馏”（self-distillation）的技术。你可以把它想象成机器人试图向一个已经知道答案的“幽灵”版本的自己学习。幽灵（老师）看到了解决方案和线索，而真实的机器人（学生）必须从零开始摸索。其核心思想是让学生模仿老师的思考方式。然而，在混乱且开放的互联网世界中，这往往会适得其反。老师因为知道答案，会采取捷径在三步之内就解决案件。学生为了模仿老师，也会学会走捷径，跳过实际搜索的艰苦过程。这就像是一个学生在没看书的情况下直接抄袭老师的期末论文；他们记住了正确的词句，却没学到任何关于如何做研究的知识。

这篇论文介绍了一种训练这些侦探机器人的新方法，称为 SSPO（步级自我蒸馏策略优化）。SSPO 并没有让机器人简单地模仿老师的捷径，而是由作者创造了一个特殊的工具，叫做证据锚点（Evidence Anchors）。想象一下，这些就是老师留在桌面上的便签纸。它们不会直接给出最终答案，而是强调了调查过程中每一步所需的特定且关键的证据。例如，老师不会说“嫌疑人在巴黎”，而是一张便签可能会写着“检查周二的航班记录”。

神奇之处在于机器人如何从这些便签中学习。作者意识到，如果机器人已经在正确地解决案件，就不应该强迫它改变自己的风格。因此，SSPO 仅在机器人失败时才使用这种特殊的教学方法。当机器人失败时，系统会将机器人混乱的搜索路径与老师的“证据锚点”进行对比。如果机器人错过了老师所强调的关键证据，系统就会给那个特定的步骤更大的“惩罚”（更深刻的教训）。如果机器人绕了远路但仍然找到了有用的线索，系统则会宽容处理。

至关重要的是，论文表明这种方法不仅让机器人变得更聪明，还让它成为了一个更好的搜索者。机器人学会了提出精准、有针对性的问题来寻找正确的证据，而不是撒大网进行模糊的搜索。在三个不同的挑战性搜索基准测试（BrowseComp、GAIA 和 FRAMES）中，这种新方法帮助机器人学习得更快，表现得更好。事实上，用这种新方法训练了 100 步的机器人，表现优于用旧方法训练了 200 步的机器人。作者认为，通过关注每个搜索步骤的质量而非仅仅是最终成绩，我们可以构建出不仅仅是靠运气猜题，而是真正的、高效的调查员智能体。

技术摘要：用于深度搜索智能体的步级自蒸馏策略优化

问题陈述

深度搜索智能体在涉及数十个步骤的长程轨迹上运行（例如，发起搜索、浏览页面和细化推理）。这些智能体的标准强化学习（RL）方法（如组相对策略优化，GRPO）通常仅为每条轨迹提供单一的二元结果奖励。这种稀疏监督造成了严重的信用分配瓶颈：模型无法获得关于哪些中间步骤导致成功或失败的具体指导。

虽然在线策略自蒸馏（OPSD）在单轮推理任务（如数学和代码）中通过使用模型自身的 Logits 作为稠密 Token 级教师取得了成功，但将此扩展到多轮搜索智能体会引入根本性的挑战：

极端的信息不对称性： 在搜索任务中，拥有特权信息（如精选证据和正确答案）的“教师”模型会显著压缩搜索过程（例如，教师只需 3.5 次工具调用，而学生需要 17.7 次）。简单的蒸馏会导致学生模仿这种简洁性，从而学会过早放弃工具使用，而不是发展出鲁棒的搜索策略。
缺乏天然的特权信息： 与数学或代码不同，开放式的网络搜索缺乏现成的参考解或执行反馈，无法将其作为不泄露整个答案路径的教师前缀。

方法论：SSPO

作者提出了**步级自蒸馏策略优化（SSPO）**框架，旨在解决密集监督的需求与特权信息不对称风险之间的张力。该方法由两个核心部分组成：

1. 证据锚点（特权信息）

为了在不泄露完整解路径的情况下为教师提供必要的上下文，作者构建了证据锚点。这些是由于从网络中提取的、能够捕捉回答问题所需关键推理条件的简洁、步级证据片段。

构建方式： 一个最先进的 LLM 识别支持每个问答对（QA pair）真实答案的证据。
使用方式： 仅当学生生成错误轨迹时，这些锚点才作为教师模型的辅助前缀。同时，教师也会获得学生错误的答案，以防止其重复同样的错误。

2. 步级优势权重

SSPO 并没有最小化教师与学生分布之间的差异（这会导致“捷径”问题），而是将教师-学生之间的分歧转化为 GRPO 目标函数中的步级优势权重。

机制： 对于轨迹中的每个步骤 $\tau$ ，该方法计算教师（带有特权上下文）与学生之间的对数联合似然比（ $\Delta^{step}_{\tau}$ ）。
应用： 该信号仅应用于错误的轨迹。
- 解耦方向与幅度： 结果奖励决定了策略更新的方向（强化或抑制该轨迹），而教师信号则调节每个步骤更新的幅度。
- 权重逻辑：
  - 如果学生在被教师拒绝的步骤上过度自信（ $\Delta^{step}_{\tau} < 0$ ），则放大惩罚。
  - 如果学生在被教师认可的步骤上表现出不确定性（ $\Delta^{step}_{\tau} > 0$ ），则减少惩罚，从而保留有效的中间推理。
  - 正确的轨迹保持不变，以保留行为多样性。
粒度： 监督与搜索动作（思考 + 工具调用）的自然单元对齐，而非单个 Token，确保信号与信息寻求过程相匹配。

核心贡献

识别假设失效： 本文证明了将自蒸馏扩展到多轮搜索会破坏在单轮任务中成立的假设（即教师与学生之间的差距适中且存在现成的特权信息），因此需要一种根本不同的设计。
证据锚点： 引入了一种新型的特权信息形式——紧凑的步级证据片段，它与搜索动作的结构相一致，且不会泄露完整的答案路径。
SSPO 算法： 一种将自蒸馏信号作为优势权重而非优化目标的策略优化方法。这种方法注入了细粒度的过程监督，同时避免了特权信息泄露以及对正确轨迹多样性的抑制。

实验结果

该方法在 Qwen3-8B 上针对三个信息寻求基准测试进行了评估：BrowseComp、GAIA 和 FRAMES。

性能： SSPO 始终优于标准的 GRPO。平均而言，SSPO 比冷启动基线提升了 +4.8，而 GRPO 仅提升了 +2.4。
样本效率： 训练 100 步的 SSPO 超过了训练 200 步的 GRPO，展示了卓越的样本效率。
效率： 该方法每步仅增加约 5% 的计算开销（由于增加了一次教师模型的正向传播）。
训练动态： 分析显示，与表现出早期饱和现象的 GRPO 相比，SSPO 在整个训练过程中保持了更高的奖励和更稳定的梯度范数。熵曲线保持一致，表明收益来自于更有效的策略更新，而非增加了探索度。
消融实验：
- 直接蒸馏（最小化差异）会导致工具使用崩溃，且表现不如 GRPO。
- Token 级权重是不够的；必须使用步级权重才能与信息寻求动作对齐。
- 证据锚点是过程监督的主要驱动力，而错误答案反馈则起到了惩罚最终失败的补充作用。

重要性与主张

本文声称，SSPO 通过将特权监督与搜索步骤的自然结构对齐，成功解决了深度搜索智能体的信用分配问题。通过将更新方向（由结果奖励决定）与更新幅度（由步级自蒸馏调节）解耦，该方法引导智能体实现更具针对性和基于证据的信息寻求。

作者强调，这种方法允许智能体在不继承教师信息不对称性的情况下学习更好的搜索策略，并以极低的计算开销实现更优的性能。结果表明，当过程监督被正确构建时，细粒度的监督对于将深度搜索智能体扩展到超越稀疏结果奖励的限制至关重要。