🤖 machine learning

Co-Evolution of Policy and Internal Reward for Language Agents

该论文提出了一种名为 Self-Guide 的自生成内部奖励机制，通过构建策略与内部奖励的协同进化循环，在推理阶段提供实时引导并在训练阶段转化为密集奖励，从而有效解决了语言智能体长程任务中奖励稀疏和延迟的瓶颈问题。

原作者： Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让 AI 智能体（Agent）变得更聪明的新方法，叫做**"Self-Guide"（自我引导）**。

为了让你轻松理解，我们可以把训练一个 AI 智能体去完成任务（比如在网上买东西、在虚拟世界里找东西），想象成教一个刚学开车的新手司机。

1. 以前的难题：只有“终点”有反馈

在传统的训练方法中，AI 就像那个新手司机。它开了一整圈（比如走了 50 步），最后只有两种结果：

成功了（到达目的地）：教练给个“好”字。
失败了（撞车了）：教练给个“坏”字。

问题在于：教练只给最终评价，中间过程完全不管。

新手司机根本不知道：哪一步转弯是对的？哪一步踩刹车太早了？哪一步其实是在绕远路？
这就好比教练说：“你刚才那圈开得不好，下次注意。”但没说具体哪里不好。这导致 AI 很难从漫长的过程中学到东西，进步很慢。

2. 以前的尝试：找个“外脑”来帮忙

为了解决这个问题，以前的方法通常是请一个**“外部的裁判”**（Reward Model）。

每走一步，外部裁判就跳出来点评：“这一步不错”或“这一步错了”。
缺点：这个裁判是另外训练出来的，它可能跟司机（AI）的思维方式不一样，而且请裁判很费钱、费时间。更重要的是，裁判和司机是“两张皮”，司机变强了，裁判不一定能跟上。

3. 这篇论文的新招：让司机“自己当裁判”

这篇论文提出的Self-Guide，核心思想是：让 AI 在每一步行动前，先自己跟自己对话，进行“自我反思”。

核心比喻：司机的“内心独白”

想象一下，我们的 AI 司机在开车时，脑子里会不断冒出这样的内心独白（Self-Guide）：

“刚才那个路口我好像开偏了，现在有点危险，下一步我得赶紧变道。”
或者
“这一步走得很顺，离目的地更近了。”

这个“内心独白”有两个神奇的作用：

作用一：开车时的“即时导航”（推理阶段）

在真正行动前，AI 先说出这句独白。
这句独白就像是一个临时的导航指令，告诉 AI 下一步该往哪走。
效果：即使没有外部教练，AI 也能通过自己的判断，少犯低级错误，走得更稳。

作用二：训练时的“密集评分”（训练阶段）

这是最厉害的地方。AI 把刚才那句“内心独白”直接转化成分数。
如果独白说“做得好”，就给 +0.1 分；如果说“做错了”，就给 -0.1 分。
效果：原本只有最后才有 1 分或 0 分，现在每一步都有分数了！这就把“稀疏的奖励”变成了“密集的奖励”，让 AI 能更精细地知道自己每一步做得对不对。

4. 关键技巧：不能一开始就太信任自己（分阶段信任计划）

你可能会问：“刚开始学的时候，AI 自己说的话肯定不准啊，万一它瞎指挥怎么办？”

论文作者非常聪明，他们设计了一个**“分阶段信任计划”**（就像驾校教练的带教过程）：

第一阶段（热身）：让 AI 自己说独白，但不计分。只让它习惯“先思考再行动”，完全靠最终结果（撞没撞车）来学习。
第二阶段（激活）：当 AI 稍微有点经验了，开始把它的独白算进分数里，但权重慢慢增加。
第三阶段（全速）：AI 已经比较成熟了，它的独白和最终结果一起指导它变强。这时候，它越变强，独白越准；独白越准，它变得越强。这是一个良性循环。
第四阶段（收尾）：最后快毕业时，慢慢减少独白的权重，确保它最终是听“真实路况”（环境奖励）的，而不是只听自己瞎想。

5. 实验结果：真的有用吗？

作者在三个经典的 AI 测试场（像虚拟家庭、科学实验室、网上购物）做了实验：

结果：用了这套“自我引导”方法的 AI，比只用传统方法的 AI，平均成绩提升了 8% 左右。
发现：即使不训练，光靠“自我引导”在推理时帮一把，成绩就能提高；如果再加上训练时的“自我评分”，成绩提升更明显。
对比：如果试图用一个大模型把“自我引导”教给小模型（离线蒸馏），效果反而不好。这说明**“自我引导”必须和“行动能力”一起在线进化**，就像司机和教练必须一起成长，不能生搬硬套。

总结

这篇论文告诉我们：
AI 变强，不仅仅是靠收集更多数据，更要学会“自我反思”和“自我激励”。

就像人类一样，我们不仅从结果（成功或失败）中学习，更从过程中的自我判断（“我刚才那样做对不对？”）中学习。这篇论文让 AI 拥有了这种“内省”的能力，让它能在没有外部教练时刻盯着的情况下，自己把自己教得更好。

这是一篇关于大语言模型（LLM）智能体在长程交互任务中解决稀疏奖励（Sparse Reward）问题的研究论文。论文提出了一种名为 Self-Guide 的新框架，通过让智能体生成“自我引导”信号，并将其同时用于推理时的决策引导和训练时的内部奖励，实现了策略与内部奖励的协同进化（Co-Evolution）。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：LLM 智能体在长程交互环境（如网页导航、科学实验、家庭机器人）中，通常只能在轨迹结束时获得稀疏的终端奖励（成功/失败）。这导致中间步骤的信用分配（Credit Assignment）极其困难，智能体难以判断哪些中间决策是有效的，哪些是冗余或有害的。
现有方法的局限：
- 事后信用分配：在轨迹收集后重新分配奖励，无法在推理阶段指导下一步行动。
- 外部奖励模型：依赖独立的评估器或过程奖励模型（Process Reward Models），增加了计算开销，且奖励信号可能与策略的分布发生漂移（Drift）。
- 分离性：大多数方法将奖励优化与策略优化分离，缺乏两者之间的动态反馈循环。

2. 方法论 (Methodology)

论文提出了 Self-Guide 框架，其核心思想是智能体在每一步决策前生成一个简短的自然语言自我引导信号（Verbal Self-Guidance Signal, $z_t$ ），该信号具有双重用途：

2.1 双重角色机制

**推理时自我引导 **(Inference-Time Self-Guidance)：
- 在每一步 $t$ ，智能体先根据当前历史 $h_{t-1}$ 和环境观测 $o_t$ 生成自我引导信号 $z_t$ （评估当前轨迹是否偏离、是否有进展）。
- 随后，智能体基于 $z_t$ 生成动作 $a_t$ 。
- 作用：强制模型在行动前进行自我反思，为下一步行动提供上下文引导。
**训练时内部奖励 **(Training-Time Internal Reward)：
- 将生成的文本信号 $z_t$ 映射为标量奖励 $r_t^{sg}$ （例如：正/中/负映射为 +0.1/0/-0.1）。
- 将内部奖励与环境奖励 $R_{env}$ 结合，形成复合奖励信号用于策略优化。
- 作用：提供比稀疏环境奖励更密集的步级监督信号。

2.2 协同进化与分阶段信任调度 (Co-Evolution & Stage-Wise Trust Schedule)

由于智能体在训练初期生成的自我引导信号可能不可靠（“鸡生蛋，蛋生鸡”问题），直接将其作为奖励会导致训练不稳定。为此，作者设计了一个梯形信任调度（Trapezoid Trust Schedule）来控制内部奖励的权重 $\lambda(u)$ ：

**阶段 I：纯引导预热 **(Guidance-only warm-up)： $\lambda=0$ 。仅使用 $z_t$ 引导推理，不将其作为奖励。让模型先学会生成和响应引导，积累可靠经验。
**阶段 II：奖励激活 **(Reward activation)： $\lambda$ 从 0 线性增加到 1。逐渐引入内部奖励，避免优化冲击。
**阶段 III：全内部奖励 **(Full internal reward)： $\lambda=1$ 。策略与内部奖励进入协同进化循环：更好的策略产生更可靠的引导，更可靠的引导提供更强的奖励，进一步改善策略。
**阶段 IV：后期退火 **(Late annealing)： $\lambda$ 从 1 逐渐降回 0。由于内部奖励不是基于势函数（Potential-based），长期保留会偏离真实环境目标。退火确保最终策略收敛于真实环境奖励。

2.3 优化目标

使用 GRPO (Group Relative Policy Optimization) 算法，将复合奖励 $R(\tau) = R_{env}(\tau) + \lambda \sum r_t^{sg}$ 作为优化目标，端到端地联合优化策略和引导能力。

3. 主要贡献 (Key Contributions)

提出 Self-Guide：一种新的自生成内部奖励形式，统一了推理时的引导和训练时的监督，无需外部奖励模型。
分阶段信任调度：解决了自生成奖励在训练初期不可靠的问题，实现了策略与内部奖励的稳定协同进化。
实证验证：在三个基准测试（ALFWorld, ScienceWorld, WebShop）上证明了该方法的有效性，表明智能体不仅能通过收集更多经验学习，还能通过“学会生成并优化自己的内部奖励”来提升性能。

4. 实验结果 (Results)

实验在 ALFWorld、ScienceWorld 和 WebShop 三个基准上，使用 Qwen3-1.7B, Qwen3-4B, Qwen2.5-7B 等模型进行验证：

推理时提升：即使不进行 RL 训练，仅添加 Self-Guide 信号（ReAct w/ SG）也能显著提升在结构化环境（如 ALFWorld）中的成功率，证明了自我引导对决策的即时帮助。
训练时提升：
- 联合优化策略与内部奖励（GRPO w/ SG & GR）显著优于仅使用环境奖励的基线（GRPO）。
- 在 Qwen3-4B 上，相比基线 GRPO 平均提升了约 8% 的成功率。
- 在 WebShop 等复杂任务中，提升尤为明显（部分任务提升超过 10%）。
消融实验发现：
- 调度至关重要：如果一开始就使用内部奖励（Immediate Full Reward），性能反而下降，证明了预热和退火调度的必要性。
- 协同进化优于离线蒸馏：尝试用大模型离线蒸馏自我引导信号再用于小模型 RL 训练，效果不如在线协同进化。这证明了引导信号必须与策略在在线分布下共同进化才能有效。
- 错误分析：Self-Guide 显著减少了“循环动作”（Looping）和“冗余探索”，但在 WebShop 中主要减少了“过早购买”错误。

5. 意义与结论 (Significance)

理论意义：打破了传统 RL 中奖励必须由外部提供的限制，展示了智能体可以通过“自我反思”生成内部奖励信号，形成自增强的学习循环。
实践意义：提供了一种无需额外训练奖励模型（PRM）即可提升长程任务性能的低成本方案。该方法兼容现有的 RL 算法（如 GRPO, DAPO），易于集成。
核心洞察：语言智能体的能力提升不仅依赖于数据量的增加，更依赖于在推理和训练过程中动态生成并精炼其内部评估标准的能力。

总结：Self-Guide 通过让智能体“边做边想，边想边评”，利用自我生成的信号填补了稀疏奖励的空白，并通过巧妙的调度机制解决了训练初期的不稳定性，为长程语言智能体的强化学习提供了一条高效的新路径。