💬 NLP

Self-Distilled Agentic Reinforcement Learning

本文介绍了 SDAR，这是一个新颖的框架，它将在线策略自蒸馏作为门控辅助目标整合到强化学习中，为长程智能体任务提供稳定、稠密的 token 级指导，在多个基准测试和模型规模上显著优于标准强化学习及朴素的混合基线方法。

原作者： Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, Zi-Han Wang, Jinyang Wu, Qi Gu, Xunliang Cai, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, Zi-Han Wang, Jinyang Wu, Qi Gu, Xunliang Cai, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位聪明但缺乏经验的学徒（即学生）如何穿越一个复杂的多步骤迷宫以寻找宝藏。你主要有两种教导方式：

“试错”教练（强化学习）： 你让学徒在迷宫中漫游。如果他们撞墙，就会收到“哎哟”的信号；如果他们更接近宝藏，就会收到“干得好”的信号。这种方法非常适合把握大局，但反馈缓慢且模糊。你只能在最后才知道他们失败了，却不知道具体哪一步出错了。
“超级助手”导师（自蒸馏）： 你拥有一个拥有秘密作弊条（特权上下文，如地图或技能列表）的学徒版本。这位导师会观察学徒，并在他们说的每一个字旁边低语：“这里别左转，要右转！”或者“干得好！”

问题所在：
论文指出，简单地让导师不停地低语是危险的。

漂移： 随着学徒深入迷宫，他们可能会开始犯错。如果导师继续基于其原始作弊条低语，由于情况已变，他们可能会开始给出错误的建议。学徒会感到困惑，导致整个训练崩溃。
错误的低语： 有时导师会说“别那样做！”，因为作弊条对于这一特定转弯来说是错误或不相关的。如果学徒盲目听从每一个“别做”，他们可能会仅仅因为导师感到困惑而停止尝试正确的事情。

解决方案：SDAR（自蒸馏智能体强化学习）
作者创造了一种名为SDAR的新方法。可以将 SDAR 想象为给学徒配备了一个智能、可调节音量的旋钮，用于控制导师的声音。

系统不再让导师在每一刻都大声发出指令，而是使用一个“门控”（智能过滤器）来决定对于学徒说的每一个特定单词，导师的声音应该有多大。

当导师正确时： 如果导师同意学徒并说“是的，那是很棒的一步！”（正面信号），音量旋钮就会调大。学徒会仔细聆听并从那个特定时刻中学习。
当导师困惑或错误时： 如果导师说“不，别那样做！”，但学徒实际上走在正确的轨道上，或者导师的作弊条在这一刻只是杂乱无章，音量旋钮就会调低到耳语级别，甚至完全静音导师。学徒会忽略错误的建议，继续听从他们自己的“试错”教练。

“智能过滤器”的类比
想象导师是一个广播电台。

旧方法（朴素 GRPO+OPSD）： 电台全天候播放。有时播放的是有帮助的音乐，但有时播放的是杂音或错误的歌曲。学徒试图跟着一切跳舞，结果头晕目眩，摔倒在地。
SDAR： 电台装有一个传感器。只有当节拍与学徒的舞步完美契合时，它才播放音乐。如果音乐节奏不对（错误建议），传感器就会将其静音。学徒只从音乐真正好的时刻中学习。

论文发现
研究人员在三个不同的“迷宫”（任务）上测试了这种方法：

ALFWorld： 一款文字游戏，你需要打扫房间并将物品放置在特定位置。
WebShop： 一个在线购物模拟，你需要找到并购买特定商品。
Search-QA： 一项任务，你需要搜索互联网来回答棘手的问题。

他们发现：

SDAR 是赢家： 与仅使用“试错”教练相比，它学习得更快，得分更高，并且比让导师不停地喊叫要稳定得多。
它能很好地处理糟糕的地图： 即使“作弊条”（技能）是随机的或低质量的，SDAR 仍然有效。智能过滤器会忽略来自随机地图的错误建议，只听取好的部分。
它适用于小脑和大脑： 他们在不同规模的 AI 模型（从小型到大型）上测试了这种方法，结果对所有模型都表现良好。

总结
SDAR 是一种训练方法，它将“在做中学”与“在听中学”相结合，但增加了一个智能过滤器，确保学生只在老师真正有帮助时才听从老师的教导。这防止了学生因错误建议而感到困惑，从而造就了一个更可靠、更智能的智能体。

技术摘要：自蒸馏智能体强化学习（SDAR）

问题陈述

强化学习（RL）已成为大语言模型（LLM）智能体后训练的核心范式，尤其适用于长视野、多轮交互场景。然而，标准 RL 依赖于轨迹级别的奖励信号，仅为复杂的多步任务提供粗略的监督。为此，有人提出了在线策略自蒸馏（OPSD），旨在从带有特权上下文（例如检索到的技能）的“教师”分支引入密集的、令牌级别的指导。

尽管 OPSD 在理论上颇具吸引力，但将其应用于多轮智能体时，本工作指出了两个关键挑战：

多轮不稳定性：随着学生智能体偏离教师支持的轨迹，令牌级别的监督变得日益不可靠。这导致误差累积、每轮 KL 散度激增，以及任务性能的灾难性下降。
对特权指导的不对称信任：在基于技能条件的 OPSD 中，教师是带有特权上下文（如检索到的技能）的同一策略，而非本质上更强的模型。因此，“负差距”（即教师对某令牌的分配概率低于学生）并不总是意味着该令牌应被抑制。它可能源于技能检索不完美、技能不相关，或教师未能将技能转化为可靠的偏好。若同等对待所有教师信号，会导致不稳定性，特别是在负差距令牌占训练数据显著比例时（初步研究中观察到超过 50%）。

现有的混合方法（例如简单地将 OPSD 损失添加到 RL 中）或僵化的课程方法未能解决这些问题，往往遭受无界蒸馏梯度的困扰，从而淹没 RL 信号，或依赖无法适应令牌级别动态的手工设计调度。

方法论：SDAR

作者提出了自蒸馏智能体强化学习（SDAR），该框架将 OPSD 视为一个精心控制的辅助目标，同时保持 RL 作为主要的优化骨干。核心创新在于一种令牌级别的自适应门控机制，该机制根据教师指导的可靠性来调节蒸馏信号。

1. 优化框架

总训练目标将标准的组相对策略优化（GRPO）损失与门控自蒸馏损失相结合：
$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$

$\mathcal{L}_{GRPO}$ ：主要的 RL 损失，由环境奖励和验证器反馈驱动，保持原样不变，以保留无偏的策略优化。
$\mathcal{L}_{SDAR}$ ：辅助蒸馏损失，选择性应用。

2. 令牌级别门控机制

SDAR 并非均匀地应用蒸馏，而是为每个令牌 $t$ 计算一个门控 $g_t \in [0, 1]$ ，以控制教师影响的强度。

教师 - 学生差距（ $\Delta_t$ ）：定义为特权教师与学生之间的对数概率差： $\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$ 。
Sigmoid 门控：将差距通过带有锐度参数 $\beta$ $β$ 的 Sigmoid 函数：
$g_t = \sigma(\beta \cdot \Delta_t)$
这产生了一个平滑、可微的权重，能够：
- 放大 正差距令牌（教师认可学生的选择）的蒸馏，将其视为高置信度指导。
- 衰减 负差距令牌（教师不同意）的蒸馏，防止模型盲目跟随可能嘈杂或基于技能的无关拒绝。
停止梯度：门控 $g_t$ 从梯度计算中分离。这确保门控纯粹作为置信度权重起作用，防止自指优化循环，并确保稳定的一阶更新。

3. 技能检索与上下文

SDAR 利用一个“自教师”分支，该分支以特权上下文 $c^+$ （例如来自技能库检索到的技能）为条件。该框架评估了四种检索策略的鲁棒性：UCB（上置信界）、关键词匹配、全量检索和随机检索。门控机制旨在过滤掉来自低质量或不相关检索技能的噪声。

主要贡献

不对称信任的识别：本文确立了在多轮智能体训练中，特权指导本质上是具有不对称性的。带有特权上下文的教师的正面认可是可靠的，但负面拒绝可能源于上下文的不稳定性，而非令牌质量。
自适应令牌级别门控：SDAR 引入了一种新颖的门控策略，允许每个令牌自主调节其蒸馏强度。这用动态的、自我进化的课程取代了僵化的、手工设计的调度，该课程在 finest granularity（最细粒度）上运行。
稳定性与鲁棒性：通过将蒸馏信号与主要 RL 目标解耦，并对负面信号应用软衰减，SDAR 避免了在朴素 GRPO+OPSD 组合中观察到的灾难性不稳定性。
知识内化：与依赖推理时外部技能的方法不同，SDAR 成功地将特权知识内化到策略参数中，即使在测试期间没有检索到技能也能实现强大的性能。

实验结果

作者在三个不同的基准测试中评估了 SDAR：ALFWorld（具身 AI）、Search-QA（检索增强推理）和WebShop（电子商务交互）。实验在 Qwen2.5（3B, 7B）和 Qwen3（1.7B）模型系列上进行。

性能提升：SDAR 显著优于基线 GRPO。
- ALFWorld：Qwen2.5-3B 上提升了 9.4%。
- Search-QA：提升了 7.0%。
- WebShop：Qwen2.5-7B 的准确率提升了 10.2%。
与混合方法的比较：SDAR 在所有模型规模上始终优于 Skill-SD 和 RLSD 等混合基线。值得注意的是，它避免了朴素 GRPO+OPSD 中出现的性能崩溃（后者在 Qwen3-1.7B 等较小模型上显著退化）。
对检索质量的鲁棒性：一个关键发现是，SDAR 随着检索质量的下降而优雅地退化。即使使用随机检索（零任务意识），SDAR 仍优于纯 GRPO 基线。这证实了门控机制有效地过滤了低质量技能带来的噪声，仅提取有益信号。
推理独立性：SDAR 在推理时不需要技能检索即可实现最先进（SOTA）的结果，展示了真正的知识内化。例如，在 Qwen2.5-3B 的 ALFWorld 任务中，SDAR（84.4%）优于依赖测试时技能的 Skill-GRPO*（80.5%）。

意义与主张

本文主张，SDAR 为在多轮智能体 RL 中应用自蒸馏的不稳定性提供了一种原则性解决方案。通过将蒸馏视为一个门控辅助目标，而非主要驱动力或刚性约束，SDAR 调和了 RL 的粗略、环境驱动优化与特权上下文的密集、令牌级别指导。

作者强调，他们的方法不需要一个单独的、更强的教师模型；相反，它利用带有特权上下文的同一策略，使其具有可扩展性和实用性。门控机制处理不对称指导的能力——信任正面信号同时保守地衰减负面信号——被视为稳定多轮训练并实现跨不同模型规模和任务领域鲁棒泛化的关键。这项工作表明，对于多轮智能体，RL 应继续保持为主要骨干，而蒸馏则应作为动态的、令牌级别的调节器，而非静态的监督者。