🤖 machine learning

SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

SkillRise 是一个统一的强化学习框架，它通过将技能组织成渐进式序列，并采用单一策略来同时解决任务与构建不断演进的技能文档，使大语言模型智能体能够在不同任务之间进化并复用可迁移技能，从而实现比现有多阶段或独立任务方法更优越的性能与效率。

原作者： Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiyuan Yao, Yuxin Chen, Zhengxi Lu, Zishan Xu, Yueqing Sun, Yifu Guo, Yuquan Lu, Zhengzhou Cai, Kangning Zhang, Zhuowen Han, Zi-Han Wang, Ziang Ye, Qi Gu, Xunliang Cai, Weiwen Liu, Yongliang Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人玩电子游戏。在过去，如果机器人第一关失败了，它会忘掉所有事情，从第二关开始重新开始，并听天由命。这就像是尝试学习骑自行车，摔倒后爬起来，却立刻去尝试骑另一辆不同的自行车，而完全不记得自己是怎么摔倒的。这就是许多被称为“AI智能体”的计算机程序过去的工作方式：它们把每一个新挑战都视为一个全新的、孤立的事件，白白浪费了在之前挑战中学到的所有教训。

但如果机器人可以拥有一份越来越聪明的“小抄”或“日记”呢？这就是“强化学习”这一领域的核心，在这里，AI通过尝试、通过成功获得奖励以及从错误中学习来进行进化。最近，科学家们一直试图教这些智能体不仅仅是解决一个单一的谜题，而是学习通用的“技能”，以帮助它们解决许多不同的谜题。一个核心问题是：你如何教一个AI写下它自己的教训，使其在以后确实有用，而不会被第一个谜题的具体细节所困扰？

SkillRise 应运而生，它是一种全新的方法，充当了AI智能体的超级智能导师。Skill-Rise 并不是让智能体忘记过去，而是将任务组织成一个从易到难的“升级”序列。随着智能体的游戏过程，它同时做两件事：它尝试解决当前的关卡，同时扮演一个“策展人”的角色来更新它自己的技能日记。把它想象成一个电子游戏角色，在击败一个 Boss 后，他不仅是进入下一关，而是立即在日志中写下一条新记录：“嘿，记住那个 Boss 只会在你在左边时攻击吗？下次记得待在右边。”

SkillRise 的魔力在于它如何奖励 AI。它不仅根据完成当前任务的表现给予分数，还会根据“日记条目”对智能体解决未来任务的帮助程度给予分数。这鼓励了 AI 写下通用的规则（比如“待在右边”），而不是具体的细节（比如“那个 Boss 叫 Bob”）。研究人员在三个不同的“世界”中测试了它：一个智能体需要打扫和整理的房子（ALFWorld）、一个需要购买特定物品的在线商店（WebShop），以及一个进行科学实验的实验室（ScienceWorld）。

结果令人印象深刻。SkillRise 不仅仅是在它训练过的特定任务上变得更好；它学会了一种学习的方法。当研究人员给它更长的一系列相关任务进行练习时，智能体的表现变得更好了，这表明它确实是在复用其技能，而不是仅仅死记硬背答案。事实上，它的表现大幅领先于其他顶尖方法——成功率提升了高达 8.5 个百分点。或许最令人惊讶的是，尽管它是用不同的任务进行训练的，但在反复尝试同一个任务时，它仍然比那些专门为此设计的算法表现得更好。而且，与那些需要复杂多步流水线来管理记忆的旧方法相比，它完成这一切的速度更快，消耗的计算资源也更少。

简而言之，SkillRise 表明，如果你想让一个 AI 变得更聪明，不要只是让它练习；要教它保持一本不断演进的、记录着自身智慧的笔记。通过将“执行”与“写下所学”分离，并通过奖励智能体所写内容的未来实用性，我们可以构建出不仅能解决问题，而且能通过进化自身策略来不断提升解题能力的智能体。

技术摘要：SkillRise

问题陈述

大语言模型（LLM）智能体经常遇到一系列相关但又各不相同的任务，这些任务共享底层的规律性和可重用的解决方案模式。然而，标准的智能体强化学习（RL）通常将每个任务视为独立的剧集（episode），从而丢弃了已获得的经验，并迫使智能体从头开始重新探索。现有的技能学习方法存在以下特定局限性：

实例特异性（Instance-Specificity）： 反复尝试相同任务的方法往往产生针对该特定实例的知识，无法在不同的任务实例之间进行泛化。
流水线纠缠（Pipeline Entanglement）： 使用外部技能库或多阶段流水线（涉及独立的提取、检索和执行模块）的方法在信用分配（credit assignment）方面面临困难。因为下游性能取决于所有这些阶段之间的相互作用，很难将成功或失败明确归因于所提取技能的质量。
缺乏端到端优化： 需要一个统一的框架，能够联合学习解决任务并整理可迁移的技能，而无需复杂的外部管理流水线。

方法论：SkillRise

作者引入了 SkillRise，这是一个统一的、端到端的强化学习框架，旨在实现跨任务的技能演进。该框架基于一系列相关的但又各不相同的任务实例进行操作。

1. 跨任务序列构建

任务根据环境提供的家族元数据（例如 WebShop 中的产品类别，ALFWorld 中的物体类型）进行分组，并按难度排序。这创建了一个序列 $x = (x_1, \dots, x_K)$ ，其中早期任务的经验旨在支持后续任务。

2. 单策略展开（Single-Policy Rollout）与技能演进

单个策略 $\pi_\theta$ 在序列中交替扮演两个角色：

任务求解： 智能体使用不断演进的文本技能文档 $S_{i-1}$ （该文档总结了之前任务的技能）作为上下文来解决当前任务 $x_i$ 。
技能整理： 任务完成后，同一个策略将技能文档 $S_{i-1}$ $S_{i - 1}$ 改写为新版本 $S_i$ $S_{i}$ 。这一过程包括：
- 保留前一份文档中有用的技能。
- 整合当前轨迹中揭示的成功程序或失败模式。
- 移除实例特有的细节（抽象化）以确保可重用性。
- 修订后的文档 $S_i$ 成为下一个任务 $x_{i+1}$ 的唯一信息通道。

3. 解耦的信用分配

为了有效地优化这两个角色，SkillRise 采用了时间对齐的解耦信用分配机制：

任务求解： 仅受当前任务即时奖励 $r_i$ 的监督。
技能整理： 受后续任务折扣奖励总和（ $\sum_{j=i+1}^K \gamma^{j-i} r_j$ ）的监督。这确保了整理策略是针对其向未来任务传递价值的能力进行优化的，而非仅仅针对当前任务。
优化： 该框架使用组相对优势（group-relative advantage）方法，通过比较共享相同任务位置和阶段（求解 vs. 整理）的独立试验的收益，来计算优势值，随后将其用于计算裁剪目标函数（类似于 PPO）以更新策略。

核心贡献

形式化定义： 本文将跨任务技能学习形式化为在有序的、不同的任务实例序列上的学习，其中后续任务的结果直接评估了从早期交互中整理出的技能的可迁移性。
框架设计： 开发了 SkillRise，这是一个端到端的 RL 框架，使用单一策略同时进行求解和整理，并结合了解耦的跨任务信用分配和角色感知的组相对优化。
高效性： 该设计消除了对外部技能管理流水线（如单独的检索模块或教师模型）的需求，提供了一种紧凑的训练范式。

实验结果

作者在三个交互式文本基准测试（ALFWorld、WebShop 和 ScienceWorld）上评估了 SkillRise，使用了 Qwen3-1.7B 和 Qwen3-4B 模型。

整体性能： SkillRise 在所有基准测试中均取得了最强的 Pass@1 性能，超过最强的基线模型（GiGPO）2.3 到 8.5 个百分点。
- ALFWorld: 85.9% (对比 GiGPO 的 83.6%)。
- WebShop: 84.4% (对比 GiGPO 的 77.3%)。
- ScienceWorld: 54.6% (对比 GiGPO 的 46.1%)。
任务内泛化能力： 尽管是在不同任务的序列上进行训练，但在对留出任务（held-out tasks）进行 Pass@2 和 Pass@3 评估时，SkillRise 的表现优于专门在重复尝试相同任务上进行训练的方法（如 LaMer）。这表明学习到的整理策略捕捉到了将交互结果转化为可操作技能的通用策略。
跨任务测试时缩放（Test-Time Scaling）： 随着测试时相关任务序列长度（ $K$ ）的增加，性能呈现单调提升（例如，在 ALFWorld 上从 $K=2$ 时的 83.6% 增长到 $K=6$ 时的 87.5%）。竞争方法未表现出这种增长，表明 SkillRise 能有效地在任务间重用并精炼可迁移的技能。
效率： 与 RetroAgent 和 SkillRL 等多阶段流水线相比，SkillRise 在实现相当或更优成功率的同时，运行时间仅为后者的 1/6，因为它移除了外部记忆维护和检索的开销。

意义与主张

本文声称 SkillRise 为 LLM 智能体提供了一种简单且高效的训练范式，使其能够提取、精炼并在任务间重用可迁移的技能。其主要意义在于证明了：

通过统一的端到端策略，可以实现跨任务的技能学习，而无需复杂的外部流水线。
将求解（当前结果）与整理（下游结果）的监督信号进行解耦，对于学习可迁移的规律性至关重要。
智能体可以表现出“测试时缩放”现象，即即使每个任务仅尝试一次，性能也会随着相关任务序列长度的增加而提高，这表明存在一种通过经验积累进行自我改进的稳健机制。

作者也指出了局限性，包括目前仍依赖任务家族元数据进行序列构建，以及实验范围限制在 4B 参数以下的模型及文本基准测试中。