Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation

本文提出了 Uni-Skill 框架，通过构建基于大规模非结构化机器人视频的层级化技能库（SkillFolder）并实现技能库的自动演化，解决了传统方法依赖固定技能库的局限性，从而显著提升了机器人在新任务中的零样本泛化能力与自适应规划水平。

要点

这篇论文介绍了一个名为 Uni-Skill 的机器人系统。简单来说，它解决了一个让机器人“变笨”的痛点：以前的机器人只能做人类教过它的动作，一旦遇到没教过的任务，就彻底“卡壳”了。

Uni-Skill 就像给机器人装了一个**“会自我进化的超级大脑”**，让它不仅能听懂新指令，还能自己“查字典”、“找教程”，甚至自己“发明”新技能来完成任务。

为了让你更容易理解，我们可以用**“一个刚入职的超级实习生”**来打比方：

1. 以前的机器人：死板的“执行机器”

想象一下，你以前雇佣的机器人实习生，手里只有一本固定的《操作手册》（这就是传统的“技能库”）。

• 如果你说：“把杯子拿起来。”它手册里有“拿杯子”这一页，它就能做。
• 但如果你说：“把桌子擦干净。”它翻遍手册，发现没有“擦桌子”这一页，它就彻底懵了，或者只能胡乱尝试，因为它不知道该怎么把“拿杯子”和“移动”组合成“擦桌子”。
• 痛点：每遇到一个新任务，人类就得手把手教它，或者重新写代码，效率极低。

2. Uni-Skill 的突破：会“自我进化”的实习生

Uni-Skill 把这个实习生升级了，它现在有两个超能力：

超能力一：技能感知与规划（“我知道我缺什么”）

当你对它说：“把桌子擦干净”时，它不会死板地查手册。

• 它会先思考：“我现有的技能（比如‘拿’、‘放’）够吗？”
• 它发现不够，于是它会自动意识到：“哦，我缺一个‘擦’的技能！”
• 它不会停下来等人类教，而是自己生成一个“擦桌子”的任务描述（比如：“用布或海绵在桌面上来回移动”）。
• 比喻：就像你让实习生去修一个没见过的电器，他发现自己不会修，但他不会直接放弃，而是先写出：“我需要学会‘拆卸螺丝’和‘更换电路板’这两个步骤”，然后开始行动。

超能力二：自动技能进化（“我去网上找教程”）

既然它知道自己缺“擦桌子”这个技能，它去哪学呢？

• 以前的方法需要人类去拍视频、打标签，告诉机器人怎么擦。
• Uni-Skill 有一个叫 SkillFolder（技能文件夹） 的超级数据库。这个文件夹里存了成千上万段从互联网上抓取的机器人操作视频（就像 YouTube 上的各种教程视频）。
• 这个文件夹不是乱放的，而是像图书馆的分类系统一样，把动作分门别类（比如：所有“擦”的动作都归在一起，再细分为“擦桌子”、“擦窗户”等）。
• 当机器人需要“擦桌子”时，它立刻去 SkillFolder 里检索，找到一段别人擦桌子的视频。
• 比喻：这就像实习生遇到不会的题，不再等老师教，而是直接打开维基百科，搜索“如何擦桌子”，然后看别人是怎么做的，模仿着做。

3. 它是如何工作的？（三步走）

1. 发现缺口：机器人听到指令，发现现有技能不够用。
2. 生成描述：它自己用语言描述出缺少的技能（比如：“用布擦拭表面”）。
3. 检索与模仿：
   • 它去 SkillFolder 里找类似的视频片段。
   • 它不是死板地复制视频，而是提取出核心逻辑（比如：手要接触哪里？移动轨迹是圆形的还是直线的？）。
   • 它把这些逻辑应用到当前的新场景中，生成新的动作代码。

4. 效果怎么样？

论文在电脑模拟和真实世界中都做了测试：

• 模拟环境：在遇到从未见过的任务（比如“关上冰箱”、“拔掉充电器”）时，Uni-Skill 的成功率比目前最先进的其他方法（MOKA）高出了 31%。
• 真实世界：在真实的机械臂上，它也能很好地完成像“叠衣服”、“搅拌东西”这种需要复杂轨迹的任务，成功率提升了 20% - 34%。

总结

Uni-Skill 的核心思想就是：
不要试图把世界上所有动作都提前教给机器人（那是做不到的）。
而是给机器人一个**“会查资料、会总结规律、会自我学习”的能力。它把海量的、杂乱无章的机器人视频，整理成一本结构化的“技能百科全书”。当遇到新任务时，它就能像人类一样，“举一反三”**，自己学会新技能。

这就好比，以前的机器人是只会背课文的学生，而 Uni-Skill 是懂得查字典、会做笔记、能举一反三的学霸。

技术摘要

Uni-Skill 技术总结：构建自进化的技能库以实现通用机器人操作

1. 研究背景与问题 (Problem)

现有的以技能（Skill-centric）为核心的机器人操作方法虽然利用基础模型（如大语言模型 LLM）提升了组合任务的泛化能力，但存在以下主要局限性：

• 固定技能库的束缚：现有方法通常依赖预定义的固定技能库（API 集合）。当遇到新任务或现有技能无法覆盖的变体（例如“折叠衣服”若未预定义）时，系统无法执行，缺乏适应性。
• 人工干预依赖：为了扩展技能，通常需要人工收集演示数据或进行航点标注，这在新任务部署时效率低下且成本高昂。
• 非结构化数据利用不足：虽然存在大量未标注的机器人视频数据，但由于缺乏与特定技能的关联和结构化标注，难以直接用于技能库的扩展。

核心挑战：如何构建一个能够自动识别技能缺口、生成新技能描述，并能从大规模非结构化数据中自动检索和实现新技能的框架，从而实现无需人工干预的自进化技能库。

2. 方法论 (Methodology)

作者提出了 Uni-Skill，一个统一的以技能为中心的框架，旨在支持可扩展的机器人学习。该框架包含两个核心模块：

A. 技能感知规划 (Skill-Aware Planning)

该模块旨在将规划过程扩展到预定义技能库之外。

• 工作流程：
  1. 充分性判别 (Sufficiency Discriminator)：评估现有的基础技能集是否足以执行给定的自由形式语言指令。
  2. 技能生成 (Skill Generator)：如果现有技能不足，系统自主生成补充技能的自然语言描述（例如，将“清洁桌子”分解为需要“擦拭”这一新技能）。
  3. 规划器 (Planner)：基于自增强的技能库（基础技能 + 新生成技能），生成可执行的策略代码（Policy Code）。
• 特点：利用多模态大模型（VLM）作为智能规划器和技能描述符，支持多模态输入和代码输出。

B. 自动技能进化 (Automatic Skill Evolution)

该模块负责将规划模块生成的高层技能描述落地为低层可执行动作序列，无需部署时的额外演示。

• 核心组件：SkillFolder：
  • 受 VerbNet 启发，构建了一个分层技能本体库。
  • 层级结构：从顶层的 VerbNet 动词类别（如 wipe-manner），到具体的动词实例，再到以物体为中心的交互模板（技能描述层），最后是细粒度的视觉锚定技能切片（具体示例）。
  • 数据构建：利用 VLM 流水线（Extractor, Descriptor, Aligner）从大规模非结构化机器人视频（如 DROID 数据集）中自动提取流程、生成技能描述并进行时间对齐，构建了包含 10,000+ 个技能轨迹、106 个 VerbNet 类别和 1,659 种独特技能描述的数据集。
• 少样本技能实现 (Few-shot Skill Implementation)：
  • 检索：根据新技能描述，在 SkillFolder 中通过语义匹配检索最相关的示例。
  • 约束与轨迹生成：利用检索到的示例提供两类指导：
    1. 语义约束：接触约束（Contact Constraints）和航点约束（Waypoint Constraints）。
    2. 空间轨迹参考：从示例中提取的 2D 轨迹和 6-DoF 姿态模式。
  • 执行：结合目标场景的视觉观测，生成具体的 3D 轨迹和姿态序列，实现新技能的自动执行。

3. 关键贡献 (Key Contributions)

1. Uni-Skill 框架：提出了首个支持自增强技能库的统一框架，实现了从“固定技能”到“自进化技能”的范式转变。
2. SkillFolder 技能库：构建了首个基于 VerbNet 的分层技能本体库，利用大规模未标注视频数据，通过自动标注实现了技能描述的细粒度结构化（10k+ 示例，1659+ 技能）。
3. 零样本泛化能力：通过检索式少样本学习，实现了在部署时无需人工演示即可执行未见过的技能（Zero-shot generalization）。
4. 闭环自我修正：引入了自我修正机制，将失败案例作为负样本反馈，通过闭环过程诊断错误并重规划轨迹。

4. 实验结果 (Results)

实验在仿真环境（RLBench）和真实世界（Franka 机械臂）中进行，对比了 Code-as-Policies (CaP) 和 MOKA 等最先进方法。

• 仿真环境 (RLBench)：
  • 预定义技能任务：Uni-Skill 在模糊指令下的表现优于 CaP（例如“关闭罐子”任务，成功率为 0.48 vs 0.03）。
  • 未见技能任务：在 10 个超出基础技能集的任务中，Uni-Skill 的平均成功率达到 41%，显著优于 MOKA (10%) 和 CaP (1%)。在未见技能类别上，Uni-Skill 比 MOKA 高出 31.0%。
• 真实世界实验：
  • 在 8 个真实世界任务中，Uni-Skill 的平均成功率为 73%，远超 CaP (0%) 和 MOKA (39%)。
  • 在复杂任务（如“折叠衣服”、“搅拌积木”）上，Uni-Skill 展现了更强的长程规划和空间推理能力。
• 消融实验：
  • 证明了技能更新机制（Skill Updating）是系统泛化的关键，禁用后性能大幅下降。
  • 证实了语义约束和空间轨迹参考在不同任务类型（接触敏感型 vs 空间精确型）中分别起主导作用。

5. 意义与影响 (Significance)

• 范式转变：Uni-Skill 将机器人技能获取从依赖昂贵的人工标注和演示，转变为利用大规模非结构化数据的高效离线结构化检索，极大地降低了技能扩展的门槛。
• 通用性提升：通过自进化的技能库，机器人能够适应无限多样的新指令和环境，解决了传统方法在面对长尾任务时的“能力天花板”问题。
• 数据利用：展示了如何有效利用互联网规模的未标注机器人视频数据，通过结构化本体（SkillFolder）将其转化为可复用的技能资产。
• 未来方向：为构建真正通用的机器人操作智能体（Generalist Robot）提供了可行的技术路径，即通过“感知缺口 - 生成描述 - 检索实现 - 自我修正”的闭环实现持续进化。