🤖 machine learning

Agentic Reinforcement Learning with Self-Distilled Reward Shaping

本文介绍了一种具有自蒸馏奖励塑造能力的智能体强化学习（ADRS）框架，该框架通过由教师置信度和实际回报共同校准与门控的、自蒸馏的特权技能信号，生成与回报相关的标记级信用，从而增强长程语言智能体的性能。

原作者： Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人在一个巨大且凌乱的房子里寻找特定的物品，比如一杯热茶。你不能只在它最终找到茶之后才说“做得好！”如果等到那时，机器人将无法知道哪些具体的步骤是有帮助的——是它推开了正确的门？还是它拿起了正确的杯子？亦或是它只是漫无目的地徘徊了十分钟后才碰巧运气好？这就是**强化学习（Reinforcement Learning）**的核心难题：当最终奖励非常稀缺且遥不可及时，你该如何为那些导致重大成功的微小、中间决策给予肯定？

为了解决这个问题，科学家们经常使用一种被称为**自我蒸馏（Self-Distillation）**的技巧。这就像是一个学生参加考试，然后在考试结束后，同一个学生立即扮演一名严格的老师来为自己的答案评分。这个“老师”版本拥有一份特殊的参考资料（称为“特权信息”），而“学生”在考试期间是没有这些资料的。通过比较学生的做法与拥有参考资料的老师的做法，我们可以判断哪些动作是明智的，哪些仅仅是运气好。然而，这里有一个陷阱：仅仅因为老师认为某个答案是“好”的，并不意味着它真的导致了正确的结果。老师可能会表现得很自信但其实是错的，或者对一个正确的动作感到不确定。

这引出了中国科学技术大学与阿里巴巴集团研究人员的一项新研究。他们解决了如何将这种“老师的信心”转化为可靠的指南，引导机器人的下一步行动，同时确保机器人在实际游戏过程中永远不会使用那份参考资料。他们将这种新方法称为 ADRS（基于自我蒸馏奖励塑造的智能体强化学习）。

研究人员发现，简单地模仿老师的分数是行不通的，因为老师的信心可能会产生误导。有时，老师对一个导致失败的动作表现得非常笃定，或者对一个成功的动作却表现得犹豫不决。为了解决这个问题，ADRS 扮演了一个智能过滤器的角色。首先，它会对老师的分数进行归一化处理，使其在任务的不同部分之间具有可比性。然后，它会检查老师的信心是否与最终结果相符（即：那个自信的动作是否真的带来了胜利？）。如果信心与结果一致，过滤器就会增强该动作的分数；如果两者不一致，则会削弱信号。最后，它在机器人做出决定之前，将这种经过提炼的信号直接注入到机器人的学习过程中。

结果表明，这种方法非常有效。在三个具有挑战性的任务——虚拟房屋导航、模拟网站购物以及在线搜索答案——中进行测试时，ADRS 一致地帮助 AI 智能体表现得更好，尤其是在长距离、复杂的任务上。例如，在房屋导航任务中，该方法帮助特定的 AI 模型实现了 94.5% 的成功率，大幅超越了之前的最佳尝试。研究还表明，该 AI 使用比通常更少的训练数据就学会了这些技能，并且即使在任务发生轻微变化或变得更难时，仍能保持良好的表现。至关重要的是，研究人员证明了 AI 在实际游戏中并不需要那份“参考资料”；它只需要在训练阶段利用这份资料来学习如何自主做出更好的决策。这表明，通过仔细校准我们基于真实结果来信任“老师”意见的程度，我们可以教导 AI 智能体更加可靠且高效地解决复杂的、多步骤的问题。

技术摘要：基于自我蒸馏奖励塑造的智能体强化学习 (ADRS)

问题陈述

智能体强化学习 (RL) 使大语言模型 (LLM) 智能体能够通过与环境交互进行学习。然而，标准的智能体 RL 通常依赖于稀疏的、轨迹层级的终端奖励。虽然这些奖励指示了轨迹是否成功，但它们无法识别哪些中间决策（查询或动作）值得给予信用（credit）。这种稀疏性使得即使对于像 GRPO 和 GiGPO 这样无需评论家 (critic-free) 的组相对方法，也难以进行 token 级的时序信用分配。

虽然自然语言技能（如子目标、动作规则）可以提供更稠密的引导，但现有方法在有效整合这些信息方面仍面临困难。具体而言，当前的方法在使用“特权”信息（仅在训练期间可用的技能）时面临三个技术挑战：

评分校准 (Score Calibration)： 由于上下文长度和响应组成的不同，教师模型的原始对数概率在不同交互步骤之间存在偏移和尺度差异，导致其不可比。
可靠性估计 (Reliability Estimation)： 高教师置信度并不一定意味着更高的实际回报；教师可能更倾向于语言规范的决策，但这些决策可能无法实现任务目标。
信用集成 (Credit Integration)： 现有方法通常将特权监督视为一个独立的辅助目标，这可能导致 token 级的更新与 RL 主干网络原生的“奖励-优势 (reward-to-advantage)”构建过程发生失配。

方法论：ADRS 框架

作者提出了 基于自我蒸馏奖励塑造的智能体强化学习 (ADRS)，这是一个将任务匹配的程序化技能转化为与回报相关的 token 级奖励的框架，且在 Rollout 或推理阶段不需要这些技能。ADRS 作为轨迹收集与智能体优化之间的信用构建层运行，通过三个耦合模块解决上述三个挑战：

1. 步内相对特权评分（评分校准）

为了解决不同步骤间评分不可比的问题，ADRS 使用在特权上下文（任务匹配技能）下的冻结策略快照对学生生成的 token 进行重评分。随后，它应用步内中心化与尺度归一化：

计算特定交互步骤内特权评分的平均对数概率 ( $b_s$ )。
计算每个 token 相对于该均值的符号偏差 ( $q_{s,j}$ )。
通过该步骤内偏差的标准差 ( $\sigma_q$ ) 进行归一化。
这产生了一个中心化、尺度受控的评分 ( $\hat{q}_{s,j}$ )，代表了决策步骤内的相对 token 偏好，在抑制步骤相关漂移的同时，保留了用于后续可靠性估计的原始分数。

2. 基于回报关联的 TVA 可靠性门控（可靠性估计）

为确保特权信号与实际任务成功相一致，ADRS 引入了一个教师价值优势 (Teacher Value Advantage, TVA) 门控。该门控根据比较组（例如 GRPO 中相同提示词的轨迹，或 GiGPO 中的锚点状态）中特权置信度与实现回报之间的关联，对归一化信号进行调节。

该方法根据每个单元（轨迹或步骤）的平均特权对数概率，为其计算一个软高置信度权重 ( $\alpha_u$ )。
它对比高置信度单元 ( $\mu^+_g$ ) 与低置信度单元 ( $\mu^-_g$ ) 的回报。
两者的差异 ( $d_g$ ) 作为标量门控 ( $m_u$ )。如果高置信度与高回报相关，则门控会放大信号；如果相关性不存在，则会抑制信号。
命题 1 确立了 TVA 门控的符号对应于组内特权置信度与回报之间的经验协方差。

3. 教师引导的逐 Token 优势调制（信用集成）

ADRS 并非使用单独的辅助损失，而是将门控信号集成到原生的奖励-优势路径中，并在优势构建之前进行处理。

教师奖励： 门控后的归一化评分被转换为 token 级奖励 ( $r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$ )。
塑造后的奖励： 该奖励被添加到基础环境奖励中 ( $\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$ )。
优势构建： 塑造后的奖励通过标准的优势算子（如 GRPO 或 GiGPO）传递。
双路径机制： 由于步中心化的教师奖励总和为零（命题 2），轨迹层级的总和保持不变，从而保留了环境定义的输出方向。然而，token 级的优势被重新分配（ $A^{ADRS} = A^{traj} + \eta Z^T$ ），允许策略学习在一次成功的轨迹中，哪些特定的 token 是最为关键的。

核心贡献

ADRS 框架： 一种自我蒸馏的奖励塑造方法，能将仅在训练阶段存在的程序化技能转化为与回报相关的 token 奖励。它独特地结合了步内评分校准和 TVA 门控，同时保持了 Rollout 和推理阶段对技能的无依赖性。
原生集成： 作者将门控信号表述为预优势奖励塑造 (pre-advantage reward shaping)，将特权引导直接集成到原生的 RL 信用构建中，而非作为独立的辅助目标。他们阐明了该方法与 GRPO/GiGPO 的兼容性，以及其与采样 token 辅助更新在局部一阶等价性上的特征。
实证验证： 在三个交互式基准测试（ALFWorld、基于搜索的问答、WebShop）上的广泛实验证明了性能的一致提升。

实验结果

论文在三个基准测试中评估了 Qwen2.5 (3B, 7B) 和 Qwen3 (1.7B) 模型：

最先进的性能 (SOTA)： ADRS 在所有三个基准测试中均达到了新的 SOTA 结果。例如，使用 Qwen2.5-3B 时，在 ALFWorld 上达到了 94.5% 的成功率（比最强基线高出 10.1 个百分点），并在基于搜索的问答任务中达到 45.0% 的宏平均水平。
长程任务： ADRS 在长程程序化任务（ALFWorld）中表现尤为出色，在长达 300 步的训练过程中以及不同的 RL 主干网络（GRPO 和 GiGPO）下，都能持续维持性能增益。
数据效率： ADRS 仅使用 60% 的可用训练数据，便超越了全量数据的 GRPO 基线。
泛化能力： 该方法能有效地迁移到 ALFWorld 中未见的任务拆分中，提升了大多数类别的成功率。
机制分析： 诊断性分析显示，ADRS 将更新对比集中在承载任务的动作 (action) 和物体 (object) token 上，将其与通用的风格 (style) token 分离开来，这解释了其在长程交互中的有效性。

意义与主张

论文声称 ADRS 成功解决了智能体 RL 中为中间决策分配信用的根本挑战。通过将仅在训练阶段存在的特权知识转化为经过校准（在步骤间可比）、可靠（与回报相关）且已集成（原生于 RL 目标）的信号，ADRS 使智能体能够更有效地从稀疏反馈中学习。

作者强调，ADRS 不需要特权信息进行推理，这使其成为部署“无技能”智能体的实用框架，这些智能体通过“有技能”引导的训练完成了学习。研究结果表明，仅在训练阶段存在的程序化知识可以有效地转化为 token 级的信用，并直接纳入原生的奖励-优势构建过程，为提升多轮对话语言智能体提供了一条稳健的路径。