💻 computer science

Learning New Tasks via Reusable Skills: Skill-Compositional Experts for Embodied Continual Learning

本文提出了 SCE，一种技能组合专家（Skill-Compositional Experts）框架，该框架通过组合式技能落地（Compositional Skill Grounding）将任务分解为可重用的技能，并通过双重执行与转换专家（Dual Execution-and-Transition Experts）协调其执行与转换，从而缓解具身持续学习中的灾难性遗忘问题。

原作者： Shuaike Zhang, Shaokun Wang, Haoyu Tang, Jianlong Wu, Liqiang Nie

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuaike Zhang, Shaokun Wang, Haoyu Tang, Jianlong Wu, Liqiang Nie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做家务。首先，你教它如何打开抽屉。接着，你教它如何拿起一个碗。最后，你教它把那个碗放进抽屉里。

在机器人领域，这被称为具身持续学习（Embodied Continual Learning）。机器人必须在学习新任务的同时，学会不忘记旧的任务。

问题所在：“漂移”的机器人

论文解释说，大多数机器人都有严重的记忆问题。当你教它一个新技巧时，它的内部“大脑”（具体来说，是它处理视觉和语言数据的方式）会开始发生偏移或“漂移”，以适应新任务。

这就像一位音乐家在学习一首新歌。如果他练习这首新歌练习得太多，他可能会开始把旧歌也弹错，把新歌的节奏混入其中。对于机器人来说，这非常危险，因为它不仅仅是在演奏一首歌，它还在移动物理手臂。如果机器人的内部映射发生了漂移，那么在完成任务的过程中，一个小小的错误会随着步骤的进行而不断放大，最终导致任务彻底失败。这被称为灾难性遗忘（catastrophic forgetting）。

解决方案：“乐高积木”法 (SCE)

作者提出了一个名为 SCE（技能组合专家，Skill-Compositional Experts）的新框架。他们并没有教机器人将每一个新任务都视为一个全新的、庞大的指令，而是教它将一切拆解成小的、可重复使用的乐高积木（技能）。

以下是 SCE 如何运作，它主要使用了两个工具：

1. “技能组织者” (CSG)

想象你有一个指令盒。**组合技能接地（Compositional Skill Grounding, CSG）**模块就像是一个聪明的图书管理员。它观察一段机器人执行复杂任务（例如“把碗放入抽屉”）的长视频，并将其切分成微小的、可重复使用的块：

块 A： “抓取碗。”
块 B： “举起碗。”
块 C： “打开抽屉。”
块 D： “放置碗。”

它将这些块保存在一个技能库（Skill Base）（即数字图书馆）中。现在，当机器人需要学习一个新任务时，它不需要从零开始。它只需从库中取出现有的“抓取”和“放置”积木，然后按新的顺序将它们拼凑在一起。

2. “双专家大脑” (DETE)

一旦机器人拥有了它的乐高积木库，它就需要一个大脑来决定如何使用它们。这就是**双执行与转换专家（Dual Execution-and-Transition Experts, DETE）**模块。它有两个专门的助手协同工作：

“执行者”（执行专家/The "Doer"）： 这个助手擅长完美地执行特定的技能。如果机器人需要“抓取碗”，这个专家就会接管，确保机器人精准无误地抓取，就像它第一次做的那样。这防止了机器人“忘记”如何抓取。
“切换者”（转换专家/The "Switcher"）： 这个助手是转换大师。它知道如何从“抓取”平滑地过渡到“举起”。它处理的是一个技能结束与另一个技能开始之间那段混乱的中间部分。

这两个专家协同工作。“执行者”保持单个技能的稳定性，而“切换者”则确保机器人在切换动作时不会踉跄。

为什么这很重要

论文在计算机模拟（使用 LIBERO 基准测试）和真实的物理机械臂上对该方法进行了测试。

在模拟中： 与其他方法相比，这种新方法（SCE）在学习新任务的同时，对旧任务的记忆能力更强。它的遗忘程度要低得多。
在现实世界中： 当研究人员将其应用于真实的机械臂时，效果甚至更好。机器人能够成功完成随时间推移所学到的序列任务，而其他方法在学习新任务后会导致旧任务失败。

大局观

论文声称，通过将机器人任务视为可重复使用技能的组合（就像用乐高搭建一样），而不是一个巨大的、不可更改的记忆块，机器人可以实现持续学习而不至于“丧失理智”。“执行者”保持技能敏锐，“切换者”保持流程流畅，从而防止机器人的内部映射偏离航线。

简而言之： SCE 教会机器人成为像大师级厨师那样——他们拥有一套完美的各种基本技法（切菜、煎炸、煮沸）。他们不需要每次都从头背诵整份食谱，而是通过混合搭配这些完美的技法来创造新菜肴，从而确保他们永远不会忘记如何切洋葱。

技术摘要：面向具身持续学习的技能组合专家 (Skill-Compositional Experts)

问题定义

本文探讨了具身持续学习 (Embodied Continual Learning, ECL)，这是一个机器人必须在闭环控制下，顺序获取新操纵任务并保留已学习行为的场景。与数据静态的传统持续学习 (CL) 不同，ECL 涉及动态环境，其中观测结果会随着机器人的动作而演变。

识别出的核心挑战是灾难性遗忘，而在 ECL 中，由于特征漂移 (feature drift) 的存在，这一问题被进一步加剧。随着视觉-语言-动作 (VLA) 模型学习新任务，其特征表示会偏离与旧任务相关的表示。在闭环控制下，这种漂移不仅仅是静态性能的下降；它会在序列决策中传播，导致误差累积，从而引起已学习行为的退化。现有方法通常将任务视为孤立单元，或专注于技能发现而未明确组织技能以进行连贯组合，这导致了不一致的复用和放大的漂移。

方法论：SCE 框架

作者提出了 SCE (Skill-Compositional Experts)，一个旨在通过组合可复用技能来实现持续任务学习的框架。该架构由两个集成到预训练 VLA 模型中的主要组件组成：

1. 组合式技能接地 (Compositional Skill Grounding, CSG)

CSG 负责将任务演示分解为可复用的技能，并将它们组织进一个技能库 (Skill Base) 中。它分为两个阶段运行：

状态感知任务分解： 利用机器人状态动力学（具体为夹持器状态变化和末端执行器运动趋势变化），CSG 将原始任务演示划分为时间连贯的片段。
VLM 接地技能归纳： 视觉-语言模型 (VLM) 将这些片段与当前技能库进行匹配。如果某个片段与现有技能匹配，则将其分配给该技能；否则，则归纳出一个新的可复用技能并添加到技能库中。此过程为训练数据生成技能标注 ( $s$ )，使模型能够学习结构化的技能空间。

2. 双重执行与转换专家 (Dual Execution-and-Transition Experts, DETE)

DETE 通过两个互补的专家分支来增强 VLA 动作解码器，以支持技能组合：

执行专家分支 (Execution Expert Branch)： 专注于建模特定技能的动作模式。它使用一个路由程序，根据当前的技能分布从技能池中选择最相关的专家，确保单个技能的稳定执行。这种将更新限制在特定专家范围内的做法减少了对无关技能的干扰。
转换专家分支 (Transition Expert Branch)： 专注于建模跨技能转换模式。由于技能变化通常发生在时间间隔而非瞬时发生，因此该分支捕捉前序技能与后续技能之间的依赖关系。它使用一个感知转换的路由程序，结合技能分布来建模技能切换期间的歧义性。
自适应融合 (Adaptive Fusion)： 自适应融合模块动态结合执行分支和转换分支的输出。它根据转换感知路由特征计算平衡系数 ( $\alpha$ )。当技能分布集中在单一技能时，模型强调执行；在技能边界附近，模型则向转换分支转移权重，以确保行为的连贯性。

模型使用组合损失函数进行优化：即用于动作生成的原始流匹配 (flow-matching) 损失，以及用于监督技能分布的辅助交叉熵损失。

核心贡献

SCE 框架： 提出了一个通过组合可复用技能来实现持续学习的技能组合专家框架，解决了 ECL 中闭环控制下特征漂移的特定挑战。
CSG 和 DETE 模块：
- CSG： 一种将演示分解为可复用技能并维护结构化技能库的机制。
- DETE： 一种双专家架构，将特定技能的执行与跨技能转换分离，从而实现稳定的执行和连贯的切换。
实验验证： 通过广泛的实验证明，与最先进的基线方法相比，SCE 有效缓解了特征漂移并提高了保留率。

实验结果

作者在模拟和真实世界基准测试中评估了 SCE：

仿真 (LIBERO 基准测试)：
- 在 LIBERO-Goal 上，SCE 实现了 83.4% 的最终成功率 (SR) 和 4.3% 的新任务遗忘率 (NBT)，显著优于 Task-MoE (64.8% SR, 15.8% NBT) 等基线。
- 在 LIBERO-Long 上，SCE 实现了 73.4% 的最终 SR 和 0.5% 的 NBT，展示了在长时程下的卓越稳定性。
- 使用的指标包括前向迁移 (FWT)、NBT、曲线下面积 (AUC) 和最终 SR。
真实世界操纵：
- 在一台 7 自由度 Mercury B1 机器人上进行的三个连续任务（箱子到板、板到碗、箱子到碗）实验表明，SCE 实现了 83.3% 的最终 SR 和 0.0% 的 NBT，优于 Task-MoE 基线 (56.7% SR, 10.0% NBT)。
特征漂移分析：
- 分析显示，虽然标准的顺序训练会导致动作特征产生显著漂移（比 VLM 特征大高达 6.9 倍），但 SCE 大幅减少了这种漂移。
- 共享锚点展开 (Shared-anchor rollouts) 表明，在闭环控制下，与参考行为相比，SCE 保持了更小的模拟器状态差距。
消融实验：
- 移除 CSG 会导致最终 SR 从 83.4% 下降到 70.0%，凸显了显式技能组织的必要性。
- 移除执行专家或转换专家中的任何一个分支都会降低性能，证实了特定技能执行与跨技能转换建模是互补且必要的。

重要性与主张

本文声称 SCE 为具身持续学习中的稳定性-塑性权衡 (stability-plasticity trade-off) 提供了一个鲁棒的解决方案。通过将知识结构化为可复用的技能，并显式建模它们之间的转换，该方法防止了通常会降低闭环性能的特征漂移累积。作者断言，与任务级或非结构化技能级方法相比，其方法能让机器人更有效地保留先前学习的行为，这使得该方法成为实现现实世界机器人长期适应性的可行步骤。该工作表明，未来的研究方向可能包括将这种组合式方法扩展到更大规模和更开放的技能库中。