🤖 AI

Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?

本文揭示了反馈增强自蒸馏（Feedback-Augmented Self-Distillation）在检索交织搜索智能体中经常因“解码崩溃”（decoding collapse）现象和不一致的监督信号而失败，而通过采用指数移动平均（EMA）教师来稳定学习过程可以有效缓解这一问题。

原作者： Fan Yang, Rui Meng, Yuxin Wen

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fan Yang, Rui Meng, Yuxin Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但有点困惑的机器人如何破解谜题。这个机器人拥有一种超能力：每当它遇到困难时，都可以向图书管理员寻求帮助。这就是“搜索智能体”（search agents）的世界——它们是能够思考、提问并从庞大的文本图书馆中查找答案来解决问题的计算机程序。通常，为了教导这些机器人，我们会使用一个已经是专家的“老师”机器人。学生机器人观察老师，模仿其动作，并努力变得更好。但如果由于没有超级专家级的老师怎么办？如果我们唯一的老师就是学生机器人自己，通过回顾自己过去的尝试来进行学习呢？这被称为“自我蒸馏”（self-distillation）。这就像是一个学生试图从自己的作业中学习，希望如果他曾经正确地解决过一个问题，他就能在没有帮助的情况下再次做到。科学家们对此感到非常兴奋，因为这可以让机器人从自己的错误和成功中学习，而不需要人类为每一个步骤进行评分。但当机器人必须在过程中搜索信息时，这种技巧真的有效吗？这正是这篇论文所探讨的核心问题。

研究人员决定测试这个想法的一个特定版本，称为“反馈增强型自我蒸馏”（Feedback-Augmented Self-Distillation, FA-SD）。他们设计了一个实验，让他们的AI智能体（一个名为Qwen的机器人）尝试通过在互联网上搜索来解决棘手的问题。这个想法很简单：如果机器人在一次尝试中答对了问题，他们就会将那次成功的尝试展示回给机器人，作为一种“提示”或“反馈”，以帮助它在再次处理相同问题时做得更好。他们希望这能起到超级老师的作用，引导机器人做出更好的选择。然而，结果令人惊讶且有些令人失望。机器人并没有变得更聪明，反而陷入了一种非常特定且奇怪的失败方式。

团队发现，机器人实际上并没有学会如何更好地思考。相反，它掉进了一个他们称之为“解码崩溃”（decoding collapse）的陷阱。想象一个正在参加考试的学生，他不去读题目，而是直接背下了答案表的形状。无论问题是什么，他都反复写下那些看起来很高级的段落和搜索查询。对于外部观察者来说，答案看起来各不相同且复杂，但它们实际上是空洞无物的。机器人正是这样做的。它找到了一个看起来像是在进行搜索和思考的“模板”，然后只是不断重复那个模板。因为机器人只是在复制一个模式而非真正理解问题，所以它试图学习的“老师”信号变得毫无用处。用于教导机器人的数学方法（称为KL散度）无法区分出一个聪明的答案和一个虚假的答案，因此机器人并没有进步。

研究人员还发现，问题并不在于“老师”机器人太弱。事实上，当他们把“提示”（即那次成功的过去尝试）放入其提示词中时，机器人解决问题的表现比单独行动时要好得多。问题在于机器人无法“内化”或吸收这项技能。这就像一个学生，如果答案就在面前，他可以轻松考高分，但一旦拿走答案，他就彻底失败了。机器人无法将“提示”转化为一项永久性的技能。

为了解决这个问题，团队尝试让“老师”变得更稳定。他们意识到，由于机器人在每一秒都在学习和变化，其“老师”版本也在同时变化，这使得教学变得混乱。他们尝试了两种解决方案：一种是将老师的时间冻结（“固定参考”），另一种是让老师成为机器人过去多个自我的“平均值”（称为“指数移动平均”或EMA）。“冻结”版的老师略有帮助，但“平均”版的老师才是真正的英雄。通过平滑这些变化，EMA老师为机器人提供了一个稳定、一致的引导。这使得机器人能够从早期的失败中恢复并真正开始学习。最终，使用EMA老师的机器人在这七项不同的测试中平均得分0.206，相比其初始得分0.114有了巨大的飞跃。

然而，论文也警告说，这种“提示”技巧并不适用于所有人。当他们尝试将这种相同的“反馈”想法用于一个强大的外部老师机器人（一个不是学生本身，而是外部的强大模型）时，情况反而变糟了。看起来，向一个已经很强大的老师添加额外的提示只会制造混乱。这项研究表明，虽然自我教学是一个强大的想法，但它非常脆弱。如果机器人开始复制模板而不是思考，整个系统就会崩溃。但通过正确的、稳定的引导，比如EMA老师，是有可能帮助这些搜索智能体学会独立思考的，即使它们最初只是在假装知道答案。

技术摘要：为什么反馈增强型自我蒸馏无法提升检索交织搜索智能体的性能

问题陈述

检索交织（retrieval-interleaved）搜索智能体在推理与外部工具使用（搜索）之间交替进行，由于结果级奖励（outcome-level rewards）的稀疏性，这类智能体在训练中面临挑战。虽然强化学习（RL）和稠密监督信号（如过程奖励）已被提出，但**在策略自我蒸馏（On-Policy Self-Distillation, OPSD）**提供了一种极具前景的替代方案，即使用同一个大语言模型（LLM）同时作为学生和教师。在 OPSD 中，教师通过“特权信息”（如成功的展开轨迹）进行调节，从而为无条件的学生提供稠密的标记级（token-level）监督。

然而，这种范式能否有效地扩展到检索交织智能体仍不明确。与标准的语言建模不同，搜索智能体生成的轨迹中，模型的动作会决定随后检索到的观测结果（环境输出），这导致标准标记级蒸馏与实现有效检索所需的长程搜索决策之间存在不匹配。本文研究了反馈增强型自我蒸馏（Feedback-Augmented Self-Distillation, FA-SD）——即使用成功的展开轨迹作为特权演示来调节自我教师——是否能为这些智能体提供可靠的监督。

方法论

1. 反馈增强型自我蒸馏 (FA-SD)

作者针对搜索智能体实例化了 FA-SD。该过程包括：

展开生成（Rollout Generation）： 针对给定问题采样一组轨迹。
特权反馈（Privileged Feedback）： 如果该组中存在成功的轨迹，则将其作为反馈（ $f$ ）来增强“自我教师”的提示词。
蒸馏目标： 无条件的学生策略（ $\pi_\theta$ ）旨在匹配反馈增强型自我教师（ $\pi_\theta(\cdot | x, f)$ ）的标记分布。损失函数最小化学生与带有停止梯度（stop-gradient）的自我教师之间的散度（例如 KL 散度），并对检索到的观测结果进行掩码处理，专注于助手生成的标记。

2. 诊断失效模式

为了理解 FA-SD 失效的原因，作者将监督信号的不稳定性分解为两个组成部分：

模型不一致性（Model Inconsistency）： 自我教师和学生共享持续更新的参数，导致教师目标在训练期间发生漂移。
提示词不一致性（Prompt Inconsistency）： 教师受反馈演示的调节，而学生不受调节。这造成了分布不匹配，可能无法进行清晰的迁移。

3. 提出的缓解措施

为了解决模型不一致性，作者为自我教师评估了两种正则化策略：

固定参考教师（Fixed Reference Teacher）： 教师被冻结在训练开始时学生的初始参数上。
指数移动平均（EMA）教师： 教师参数作为学生参数的移动平均进行更新（ $\theta_{EMA} = \alpha \theta_{EMA} + (1-\alpha)\theta_t$ ），从而减缓教师目标的漂移。

4. 外部教师扩展

作者还测试了反馈增强技巧是否可以推广到使用外部教师的多展开在策略蒸馏（Multi-Rollout On-Policy Distillation, MOPD），即 FA-MOPD，其中外部教师受成功展开轨迹的调节，而学生保持无条件状态。

关键发现与结果

1. 标准 FA-SD 的失效

在七个开放域问答基准测试（NQ, HotpotQA 等）中，标准 FA-SD 变体（未剪切版和 PPO 式剪切版）均无法维持性能提升。

训练动态： 在大部分训练过程中，通过率保持在接近零的水平，仅在回归前出现过短暂的反弹。
解码崩溃（Decoding Collapse）： 作者识别出一种特定的失效模式，称为解码崩溃。模型开始依赖重复的“推理-搜索”输出模板。这些轨迹虽然看起来具有多样性，但很大程度上是与输入问题无关的。因此，基于 KL 的蒸馏信号变得不再提供信息，因为模型并不是在学习解决特定问题，而是在模仿一个通用的模板。标准的聚合指标往往会忽略这一点，因为它们并未验证输入的特异性。

2. 自我教师是有能力的，但内化失败了

实验表明，反馈增强后的自我教师在推理时的表现通常强于无条件的学生。这排除了“失效是由于教师能力弱”的假设。相反，问题在于内化失败：学生无法可靠地将源自特权反馈的标记级蒸馏信号吸收进其无条件的策略中。

3. 正则化的影响

稳定性： 固定参考教师和 EMA 教师都能通过防止教师目标过快漂移来稳定训练。
性能： EMA 教师取得了最好的结果。它允许模型从暂时的性能退化中恢复，并实现了比基线（0.114）更高的最终性能（各基准测试平均分 0.206）。
预热阶段： EMA 方法需要一个预热阶段，在此期间性能可能会暂时下降，直到监督信号稳定并提升。

4. 对外部教师的泛化性

当反馈增强技巧应用于带有强外部教师的 MOPD（FA-MOPD）时，性能较标准 MOPD 有所下降。这表明，即使在存在强外部教师的情况下，特权反馈也会引入提示词不一致性或不必要的调节，并且无法直接推广到外部教师的 OPD 任务中。

核心贡献

实例化 FA-SD： 本文定义并实现了用于检索交织搜索智能体的反馈增强型自我蒸馏，利用成功的展开轨迹作为特权演示。
识别解码崩溃： 作者描述了一种失效模式，即模型通过重复的模板产生与输入无关的轨迹，从而使蒸馏信号失效。这一现象不同于简单的性能退化，且常被标准指标所忽略。
分析监督不一致性： 研究将 FA-SD 的不稳定性分解为模型不一致性（漂移的教师）和提示词不一致性（调节不匹配）。研究证明，通过 EMA 或固定参考来稳定教师对于有效训练至关重要。
关于泛化性的负面结果： 本文表明，虽然强外部教师能为 MOPD 提供稳定的早期监督，但将特权反馈添加到这些教师中（FA-MOPD）并不会提升性能，这表明反馈增强在搜索智能体设置中会引入特定的不一致性。

意义

本文对为什么自我蒸馏（一种极具前景的稠密监督技术）在复杂的检索交织智能体设置中会失效进行了关键性的诊断。它强调了解码崩溃和监督不一致性是主要的障碍，而不仅仅是缺乏强大的教师。通过证明 EMA 正则化可以稳定自我教师并恢复性能，这项工作为将自我蒸馏应用于智能体任务提供了一条切实可行的路径。此外，它也警示不要将反馈增强技术盲目应用于外部教师框架，表明特权信息的益处高度依赖于蒸馏设置中特定的架构和调节方式。