🤖 AI

SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment

本文提出了 SkillC，这是一个通过引入对比式技能归因，利用配对 rollout 和自适应课程学习直接优化策略以实现无技能依赖的成功，从而增强大语言模型智能体自主技能内化的框架，该方法在无需运行时访问技能的情况下，在长视野任务上超越了现有基线。

原作者： Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongxiang Lin, Zhirui Kuai, Erpeng Xue, Lei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个非常聪明的机器人去解决复杂的谜题，比如整理凌乱的房间或在线购买特定物品。为了帮助机器人更快地学习，你给它一张“小抄”（即一项技能），告诉它确切该采取哪些步骤。

训练机器人主要有两种方法：

“永久小抄”法：你让机器人永远保留这张小抄。它学会了如何解谜，但从未学会在没有纸的情况下完成。一旦你拿走这张纸，它就会失败。
“戒除”法：你起初给机器人小抄，但随后逐渐将其撤走。目标是让机器人最终能够完全独立地解决谜题。

问题：“内化盲区”
该论文指出，当前的“戒除”方法存在一个重大缺陷，作者称之为内化盲区。

想象一位老师正在批改学生的试卷。

在旧方法中，老师看到学生使用小抄的试卷得了 A，然后看到学生没有使用小抄的试卷得了 B。
老师说：“A 考得真棒！”并给学生打高分。
缺陷：老师没有意识到，这个"A"之所以可能，仅仅因为有小抄。老师继续奖励学生使用小抄，尽管目标本是让学生在不依赖小抄的情况下掌握知识。机器人会感到困惑：“我成功是因为我聪明，还是因为有人帮忙？”它分不清这两者的区别，因此从未真正学会独立。

解决方案：SKILLC（“并肩”教练）
作者提出了一种名为SKILLC的新框架来解决这个问题。他们使用了一种称为对比式技能信用分配的技术。

其工作原理如下，通过一个简单的类比来说明：

1. “并肩”赛跑（配对 rollout）

SKILLC 不再只是观察机器人一次在帮助下尝试、一次在无帮助下尝试，而是让机器人在每个任务中同时运行两场比赛：

比赛 A：机器人带着小抄尝试解谜。
比赛 B：机器人不带小抄尝试解决完全相同的谜题。

2. “公正裁判”（双流优势）

现在，老师（即学习算法）会并排审视这两场比赛。

如果机器人在比赛 A（有辅助）中获胜，但在比赛 B（无辅助）中失败，老师会意识到：“啊，机器人之所以成功仅仅是因为有小抄。我还不应该完全将其归功于它的智能。”
如果机器人两场都赢了，老师会说：“太棒了！你在没有帮助的情况下解决了问题。这才是真正的技能！”

该系统会特别更多地奖励机器人在比赛 B（独立获胜）中的胜利，而如果它在比赛 B 中失败，则减少对比赛 A 获胜的奖励。这迫使机器人认识到，唯一真正重要的是独立解决问题。

3. “智能教练”（自适应课程）

该系统还像一位实时观察机器人进展的智能教练。

早期：机器人没有小抄时表现很差。教练说：“继续使用小抄，但我们试着稍微减少一点依赖。”
中期：机器人开始进步。教练注意到“有辅助”和“无辅助”之间的差距正在缩小。教练开始更快地撤走小抄。
后期：机器人独自表现优异。教练说：“你不再需要小抄了。让我们彻底将其退役，并停止针对此特定任务的训练。”

为什么这很重要

该论文在两个环境中测试了这种方法：

ALFWorld：一个基于文本的游戏，智能体需要完成家务（例如“把干净衬衫放进抽屉”）。
WebShop：一个模拟的在线购物任务，智能体需要查找并购买特定物品。

结果：

SKILLC 最终学会了在没有任何小抄的情况下解决这些任务。
其表现显著优于之前的“戒除”方法（成功率提高了约 4-5%）。
它的表现甚至与那些永久保留小抄的方法相当，证明了机器人确实能够内化这些技能。

局限性（注意事项）

论文承认这种方法并不完美：

成本高昂：同时运行两场比赛（有辅助和无辅助）在初期大约需要多消耗 26% 的计算机算力。
需要高质量数据：如果机器人已经非常擅长某项任务，或者任务非常罕见，系统可能会在何时停止使用小抄的问题上产生混淆。

总结：
SKILLC 是一种训练 AI 智能体的新方法。它不是简单地缓慢移除辅助，而是不断比较“有辅助”的尝试与“无辅助”的尝试。通过特别奖励智能体在无辅助情况下的成功，它迫使 AI 真正内化技能，将“小抄使用者”转变为“自给自足的专家”。

技术摘要：SKILLC——通过对比信用分配实现 LLM 智能体中的自主技能内化学习

1. 问题陈述：内化盲区

结构化技能提示已成为增强长程智能体强化学习（RL）中探索能力和样本效率的实用机制。然而，现有方法存在一种二分法：

技能增强型 RL：方法在推理时保留外部技能，利用运行时技能支持优化性能。
技能内化型 RL：方法（例如 SKILL0）在训练期间撤除技能以实现自主表现，但遭受一种被称为“内化盲区”的关键优化失配。

在现有的内化框架中，策略更新（例如通过 GRPO）在单一提示条件下为任务生成所有轨迹。因此，梯度无法区分真正自主的成功轨迹与仅仅依赖技能的成功轨迹。即使课程知道某项技能在整体上是有用的，策略更新也会强化当前体制下的成功，而不是推动智能体在没有技能的情况下取得成功。这导致策略在训练阶段无法学习自主成功，从而造成“有技能”与“无技能”性能之间持续存在差距，该差距仅在硬性的课程切换后（如果有的话）才会消失。

2. 方法论：SKILLC 框架

作者提出了SKILLC，这是一个基于**对比技能信用分配（CSCA）**的框架。SKILLC 将注入技能与无技能表现之间的对比转化为直接的学习信号，以解决内化盲区。该框架通过三个协同机制运行：

A. 配对对比轨迹

对于活跃技能集内的任务，SKILLC 在同一次策略更新中采样配对轨迹：

技能注入（ $\tau^+$ ）：使用技能提示（ $z=1$ ）生成。
无技能（ $\tau^-$ ）：不使用技能提示（ $z=0$ ）生成。
两者均使用相同的策略参数 $\pi_\theta$ ，形成自对比设计。这使得系统能够测量任务级对比差距 $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$ 。正差距表明技能依赖；接近零的差距表明内化。

B. 双流优势估计器

为了在不扭曲全局排名的情况下将这种对比注入优化过程，SKILLC 采用双流优势估计器：

流 1（全局排名）：使用批次中所有轨迹的均值和方差，保留标准的组相对优势。
流 2（内化压力）：基于对比差距应用单向修正。
- 对于技能注入的轨迹（ $z=1$ ），优势通过修正项 $C(x)$ 进行向下加权。
- 对于无技能的轨迹（ $z=0$ ），优势通过 $C(x)$ 进行向上加权。
- 修正幅度 $C(x)$ 与估计的差距 $\hat{\Delta}(x)$ 和归因强度 $\lambda$ 成正比。
  该机制明确地将信用重新导向自主成功（“在没有技能支持的情况下成功”），而无需等待课程切换，此时智能体仍处于学习阶段。

C. 内化感知课程

一个平滑的验证级信号驱动自适应课程，动态控制三个超参数：

归因强度（ $\lambda$ ）：缩放对比修正。
轨迹分配（ $\rho$ ）：调整技能注入与无技能轨迹的比例。
活跃技能集剪枝：单调地淘汰验证差距 $\bar{\Delta}_{val}$ 低于阈值的技能类型。
与固定调度方法不同，该课程是数据驱动的，响应实际测量的内化进展。

3. 主要贡献

内化盲区的识别：本文指出，固定调度的内化之所以失败，是因为当所有轨迹共享单一提示条件时，标准策略梯度无法区分自主成功与技能依赖成功。
SKILLC 框架：作者提出了一种解决方案，利用配对对比轨迹和双流优势估计器，使内化差距在每次梯度步骤中都可观察且可操作。
自适应课程：一种由验证驱动的机制，联合调节归因强度、轨迹预算和技能退休，确保技能的撤除与智能体的实际能力相一致。
适用性的关键特征分析：本文提供了细致的分析，表明 CSCA 的有效性取决于信号质量。强对比信号带来显著收益（例如，在 ALFWorld 的"Pick2"任务上提升 +33.4%），而天花板效应任务上的弱信号可能导致性能倒退。

4. 实验结果

实验在ALFWorld（基于文本的家庭任务）和WebShop（在线购物）上进行，使用 Qwen2.5-7B-Instruct 基础模型。

性能提升：在没有运行时技能访问的情况下，SKILLC 在 ALFWorld 上比最强的先前技能内化基线（SKILL0）高出5.5%（85.9% $\to$ 90.6%），在 WebShop 上高出4.4%（70.9% $\to$ 74.0%）。
竞争力：SKILLC 与技能增强型方法（在推理时保留技能）保持竞争力。在 ALFWorld 上，尽管在推理期间无法访问技能，SKILLC 的表现仍与 D2Skill（一种技能增强型方法）相当。
消融研究：
- 移除配对轨迹（单条件更新）导致性能下降 3.3%。
- 用混合归一化替换双流归一化导致性能下降 2.2%。
- 固定课程门控或移除剪枝会导致较小但一致的性能下降。
训练动态：与 SKILL0 不同（SKILL0 在硬性切换之前一直维持有技能与无技能成功率之间的巨大差距），SKILLC 显示出该差距的单调下降，并在训练中期跨越零点。这证实策略正在持续学习自主性，而不是依赖被动迁移。

5. 意义与主张

本文主张，SKILLC 解决了当前智能体 RL 中的一个根本性局限：当技能存在时，无法在训练过程中针对自主性进行优化。通过将技能的“有用性”转化为自主成功的直接信用分配信号，SKILLC 消除了先前方法固有的“内化盲区”。

作者强调，他们的方法不需要改变底层的策略优化框架（GRPO），而是修改了信用分配机制。其意义在于实现了与技能增强型方法相媲美的自主性能，而无需承担技能检索的运行时开销，同时提供了一个数据驱动的、自适应的技能退休机制。

承认的局限性：
本文指出，SKILLC 依赖于固定的、预定义的技能库，可能在动态技能相关性的开放-ended 设置中遇到困难。此外，由于配对采样，该方法在训练早期会产生约 26% 的计算开销，但随着技能的退休，这一开销会减少。该方法的有效性还取决于对比信号的质量；在性能已接近天花板的任务中，信号可能太弱，无法推动进一步的内化。