🤖 AI

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkill 是一种新颖的智能体强化学习（agentic RL）框架，它通过将断言驱动的技能修订、组内展开采样以及汤普森采样嵌入到 GRPO 算法中，从而将技能创建与策略优化相统一，实现了可重用策略与策略的自动协同演化，以在未见任务上达到卓越的泛化性能。

原作者： Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 RESKILL 论文的解释，已将其转化为通俗易懂的语言，并采用了创意类比。

核心理念：教机器人如何在学习的过程中“学习”

想象一下，你正在教一个机器人玩一款复杂的电子游戏。

传统方式： 你教机器人规则，让它去玩；当它失败时，你手动写下一条新的规则（即“技能”）让它下次遵循。但问题在于：随着机器人变得越来越厉害，它的游戏风格也在不断变化。如果你根据它昨天的表现写下一条新规则，这条规则在今天可能会让它感到困惑，因为它已经进化了。这就像是用一本为成年人编写的手册来教蹒跚学步的幼儿系鞋带；幼儿已经超越了旧的指令，而新的指令尚未经过测试。
RESKILL 的方式： RESKILL 不再是在单独的笔记本上写规则，而是将“编写规则”的过程变成了游戏本身的一部分。它创建了一个在训练循环内运行的“规则制造工厂”。机器人在学习的过程中尝试新规则，观察它们是否有帮助，保留好的规则，同时丢弃糟糕的规则，这一切都是实时发生的。

核心问题：“不匹配”现象

论文指出，现有方法普遍存在 技能与策略冲突（Skill-Policy Conflict）。

策略（Policy）： 这是机器人的大脑（它的游戏策略）。随着学习的进行，它在不断变化。
技能（Skills）： 这些是可重用的技巧或捷径（例如“总是先检查冰箱”或“在猜测前先搜索”）。
冲突点： 现有方法将技能的创建与大脑的训练分开进行。它们可能会创造出一个适用于“旧”大脑的技能，但这个技能却与“新”大脑发生冲突。这就像教练在球员比赛中途给他们发了一本新的战术手册，却完全没有检查球员是否真的理解了这些新动作。

RESKILL 如何运作：“试吃”厨房

RESKILL 通过将技能创建直接集成到训练过程中来解决这个问题，主要使用了三个机制，作者称之为 “协调技能创建与策略优化”。

1. “小组试吃” (组内采样/Within-Group Sampling)

想象一场烹饪比赛，厨师（AI）必须制作一道菜。

标准方法： 厨师使用同一种食谱制作 10 道菜。然后，评论家写下一份新食谱。厨师稍后才会尝试新食谱。
RESKILL 方法： 厨师接到 10 个订单。对于其中的 5 个订单，他们使用旧食谱；对于另外 5 个订单，他们使用新食谱（即时生成的）。
为什么有效： 因为厨师在处理这 10 个订单时的情绪和状态是完全相同的，唯一的变量就是食谱。系统可以立即看出：“这个新食谱是否让厨师在当下获得了更高的分数？”这实现了一种公平、受控的对比，无需额外的资源或时间。

2. “自我修复”的规则书 (基于断言的创建器/Assertion-Driven Creator)

当厨师做砸了一道菜时，通常需要人类介入并说：“你忘了给汤加盐了。”RESKILL 将这一过程自动化了。

它维护着一个储水池（Reservoir），记录了厨师每一次成功和失败的时刻。
它使用一个“侦探”（大语言模型/LLM）来观察这个储水池并询问：“哪里出错了？我们是不是忘了检查烤箱？还是找错了食材？”
基于这些模式，系统会自动写下一条新的“技能”（规则，如：如果你看到锅，在搅拌前先检查温度）。
至关重要的一点是： 它不仅仅是靠猜。它会利用上述的“小组试吃”机制，立即将这条新规则与旧规则进行对比测试。

3. “聪明的赌徒” (汤普森采样/Thompson Sampling)

系统如何决定尝试“新食谱”与“旧食谱”的次数比例？

如果新食谱看起来很有前景，系统就会增加尝试它的频率。
如果新食谱看起来很糟，系统就会减少尝试它的频率。
转折点： 机器人的大脑每秒都在进化。十分钟前有效的规则现在可能已经过时了。RESKILL 使用了一种被称为 “带有自适应折扣的汤普森采样” 的数学技巧。
- 这就像一个赌徒知道昨天的中奖号码对今天毫无意义。
- 如果机器人最近尝试过这个新食谱很多次，系统就会信任最新的数据，并忽略旧数据（即“折扣化”处理）。
- 如果机器人尝试的次数很少，它就会保留旧数据，以避免仅凭一次糟糕的尝试就做出草率的决定。
- 这确保了系统始终在为机器人当前的大脑下注，而不是为过去的大脑下注。

结果：为什么这很重要

论文在多个“游戏”（任务）上测试了 RESKILL：

家务琐事 (ALFWorld)： 在虚拟房屋中移动物体。
搜索引擎： 通过搜索网络来回答复杂问题。
科学与编程： 解决物理问题并编写 SQL 代码。

研究发现：

擅长处理难题： RESKILL 不仅仅是表现稍好，它在未见过的任务（从未接触过的任务）上彻底碾压了竞争对手。这是因为它学到的技能是灵活且通用的，而非死记硬背的答案。
无额外成本： 它不需要机器人把游戏玩两遍。它是在正常的训练步骤中进行技能测试的。
自我修正： 系统会自动“修剪”（删除）那些随着机器人变得更聪明而不再起作用的技能。这是一个会随着需求自动增长或缩减的动态技能库。

总结类比

想象一支足球队：

旧方法： 教练观察比赛，在白板上写下一个新战术，并告诉球队下周再试。与此同时，球员们的阵型已经变了，所以新战术并不适用。
RESKILL： 教练在比赛进行时就在场上。每当球队发起进攻时，一半的球员尝试旧战术，另一半则尝试根据刚才的失误即时发明的针对性新战术。教练能瞬间看到哪种战术在当下能进球，并告诉球队坚持使用它。球队的策略演进与其战术手册的更新同步进行，达到了完美的和谐。

简而言之，RESKILL 停止了将“学习如何玩游戏”和“学习规则”视为两项独立工作的做法。它将两者合二为一，让 AI 能够同时构建更好的大脑和更好的规则书。

技术摘要：RESKILL —— 在智能体强化学习中实现技能创建与策略优化的协调

问题陈述

智能体强化学习（Agentic Reinforcement Learning, RL）使大语言模型（LLM）智能体能够通过环境奖励进行持续改进。然而，一个关键的局限性在于：生成的策略往往无法系统地积累可重用、可迁移且能泛化至不同任务的策略。虽然模块化技能（编码了特定任务策略的可重用代码片段）提供了一种解决方案，但现有的技能增强型 RL 方法通常将技能创建与策略优化解耦。

这种解耦导致了“技能-策略冲突”。通过外部演化技能的方法（例如通过人工在环测试或静态蒸馏）存在风险，即可能采用与智能体不断演进的策略不匹配的技能。相反，缺乏原则性测试而直接学习技能的方法可能会积累无效的知识。核心挑战在于创建一个框架，使技能演化与策略学习能够实现协调，确保技能是直接响应策略当前学习状态进行动态创建、测试和精炼的。

方法论：RESKILL 框架

RESKILL（Reconciling Skill Creation with Policy Optimization）通过将技能创建周期直接嵌入到 RL 训练循环中，特别是利用了**组相对策略优化（Group Relative Policy Optimization, GRPO）**的组内结构，来解决这一问题。该框架通过三个集成机制运行：

1. 组内技能测试

RESKILL 没有使用专门的、高成本的测试性采样（rollouts），而是利用了 GRPO 在同一任务下为同一策略采样一组 $G$ 个轨迹的事实。

机制： 在单个训练步内，不同的技能版本（例如，现有库 $S_{old}$ 与候选版本 $S_{new}$ ）通过 汤普森采样（Thompson Sampling） 被分配到同一组内的不同轨迹中。
优势： 这实现了对不同技能版本的受控且无成本的比较。由于任务和策略在组内是相同的，唯一的变量是技能版本，从而能够将性能差异直接归因于技能本身。
三效合一的采样： 每个采样过程同时承担以下职责：(i) 通过 GRPO 梯度进行策略优化，(ii) 为技能创建器提供失效诊断，以及 (iii) 作为用于技能版本选择的多臂老虎机评估。

2. 环内 RL 技能创建

RESKILL 改编了 Anthropic 的“技能创建器（Skill Creator）”流程，但用来自 RL 循环的自动化、奖励驱动信号取代了人工反馈。

经验储备库（Experience Reservoir）： 一个持续更新的储备库 $R$ 收集带有其对应技能版本和奖励的成功-失败轨迹对。
基于断言的诊断（Assertion-Driven Diagnosis）： 系统不是分析单个轨迹，而是对整个储备库应用一组动态的规则化断言（谓词），以识别普遍存在的失效模式。
条件修订（Conditional Revision）： 一个基于 LLM 的智能体根据这些失效剖面提出候选技能版本（包括 ADD、MODIFY、DELETE 操作）。至关重要的是，提出的触发器（triggers）会针对储备库进行验证，以确保它们在进入测试阶段之前具有足够的激活覆盖率。

3. 用于技能演化的自适应汤普森采样

为了管理探索新技能版本与利用已知有效版本之间的权衡（随着策略的演进），RESKILL 采用了带有**自适应折扣（adaptive discounting）**的汤普升采样。

分配： 在每一步中，分配给新技能版本的概率由新版本优于旧版本的后验概率（ $Pr(p_{new} > p_{old})$ ）决定。
自适应折扣： 由于策略在评估窗口内不断演进，较早的观测结果会变得过时。RESKILL 引入了一个记忆参数 $M$ 来对早期证据进行折扣处理。折扣因子 $w_t$ 根据新的回合数 $n_t$ 进行调整：如果 $n_t$ 较小，则保留过去的证据；如果 $n_t$ 较大，则积极折扣掉过去的证据，以反映当前策略的能力。
接受/拒绝： 在演化周期结束时，只有当新技能版本在折扣后的后验概率下的预期性能超过旧版本时，该新版本才会被接受。

核心贡献

协调的协同演化： RESKILL 是第一个将技能创建直接集成到策略优化循环中的框架，消除了在解耦方法中发现的技能-策略失配风险。
零开销测试： 通过利用 GRPO 的组结构，RESKILL 实现了对技能版本的受控比较，无需额外的采样预算或专门的测试阶段。
自适应技能生命周期： 该框架实现了技能的全自动化生命周期管理——包括创建、测试、精炼和剪枝——并基于实时的策略表现和奖励信号进行。
对策略漂移的鲁棒性： 引入自适应折扣的汤普森采样使得系统能够处理不断演进的策略的非平稳性，确保技能评估始终保持相关性。

实验结果

RESKILL 在五个领域进行了评估：具身推理（ALFWorld）、智能体搜索（NQ、HotpotQA 及五个未见数据集）、科学发现（ScienceWorld）、编程（InterCode-SQL）和网页购物（WANDS）。

性能提升： RESKILL 一致优于基准模型，包括 vanilla GRPO、基于记忆的 RL（MEMRL）以及现有的基于技能的方法（SKILLRL、INSPO）。
- 在 ALFWorld 上，RESCLIK 分别实现了 90.0%（4B 模型）和 92.7%（8B 模型）的成功率，大幅超越了最强的基准模型（SKILLRL）。
- 在 智能体搜索 任务中，RESKILL 在已见拆分集上比 SKILLRL 提高了 2.5–2.3%，并在未见拆分集上取得了更大的增益。
对未见任务的泛化能力： 最显著的改进出现在未见和困难任务中。例如，在 ALFWorld 未见任务中，RESKILL (8B) 达到了 95.3%，比 SKILLRL (82.6%) 高出 12.7%。这表明协调演化仅保留了泛化能力更强的技能版本。
跨领域适应： 在一项测试时适应实验中，一个在 ALFWorld 上训练的策略被冻结并应用于 ScienceWorld。RESKILL 能够迅速调整其技能库以适应新领域，而基准模型则无法进行演化。
效率： 相对于 GRPO，RESKILL 保持了具有竞争力的训练和推理速度。其条件触发机制确保了仅加载相关的技能，使得上下文长度比那些无条件加载所有技能的方法更加紧凑。

意义与主张

论文声称，RESKILL 证明了技能创建与策略学习不应被视为两个独立的过程。通过协调这两个过程，系统开发出了遵循并受益于新技能的通用能力，从而在处理复杂、未见及跨域任务时表现卓越。

作者强调，收益主要源于协调的协同演化机制，而非用于技能创建的具体 LLM（消融实验显示，即使使用基础模型作为技能创建器，性能依然保持在高水平）。该框架建立了一种新的智能体 RL 范式，其中技能不再是静态指令，而是与智能体策略共同演进的动态组件。