Offline Discovery of Interpretable Skills from Multi-Task Trajectories
本文介绍了 LOKI，这是一个三阶段离线学习框架，它能够从多任务演示中发现可解释且可复用的技能，而无需显式奖励，从而能够构建出在复杂基准测试上实现高成功率、并能通过组合已学技能来解决新任务的分层策略。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想教一个机器人做一道复杂的菜，比如一顿丰盛的晚餐。你没有时间为每一个细微动作编写逐行的说明书（比如“手臂向左移动2英寸，然后手腕旋转15度”）。相反，你向机器人展示一段人类厨师完成整个工作的视频。
问题在于，这段视频只是一个漫长且连续的运动流。机器人并不知道一个动作在哪里结束，下一个动作在哪里开始。它不知道“切菜”是一个独立的技能，而“打开炉灶”是另一个技能。它看到的只是动作的模糊堆叠。
这篇论文介绍了一种名为 LOKI（通过模仿学习离线关键技能，Learning Offline Key-skills via Imitation）的新方法来解决这个问题。你可以把 LOKI 想象成一个聪明的剪辑师，它观看数小时的原始烹饪视频，并自动将它们切割成完美的、可重复使用的“片段”或“技能”，以便机器人稍后进行学习和组合。
以下是 LOKI 的工作原理，分为三个简单的阶段：
第一阶段：“大局观”剪辑师（宏观分割）
首先，LOKI 观察整个视频，并试图找到主要的章节。
- 类比： 想象你有一部很长的电影，但你不知道场景在哪里切换。LOKI 使用一种特殊的工具（称为 EVQ-VAE）来充当“任务侦探”。
- 工作原理： 它了解视频的总体目标（例如“做晚餐”）。它会寻找那些执行该特定任务所特有的时刻（例如打开某个特定的微波炉），而不是那些在许多任务中都会发生的通用动作（例如将手臂从 A 点移动到 B 点）。
- 结果： 它将长视频切割成大的块，称为通用技能（General Skills）。这就像是在说：“好吧，这一整段是关于微波炉的，下一段是关于炉灶的。”
第二阶段：“精修”剪辑师（微观分割）
现在，LOKI 深入观察这些大的块。
- 类比： 即使在“微波炉”这个部分内，机器人也可能在做三件不同的事情：走向微波炉、抓取把手、转动旋钮。第一阶段的划分太宽泛了；它需要找到一个动作停止和下一个动作开始的确切时刻。
- 工作原理： LOKI 使用一种“重构”技巧。它尝试根据机器人刚刚做出的动作来预测接下来的动作。如果机器人突然做出了意料之外的动作，或者预测失败，LOKI 就会知道：“啊！机器人刚刚切换到了一个新的技能！”然后它使用一种聚类过程（将相似的运动组合在一起）来清理切割点，去除混乱或不必要的边界。
- 结果： 它创建了独立技能（Independent Skills）。这些是原子级的、可重复使用的动作，如“转动旋钮”或“开门”，它们在不同任务中保持一致。
第三阶段：“导演”（分层策略）
最后，LOKI 教会机器人如何使用这些片段。
- 类比： 想象一位电影导演。导演不会告诉演员如何眨眼或呼吸，他们只会说：“现在，执行‘转动旋钮’这个片段。”
- 工作原理：
- 底层执行者： 机器人学习如何完美地执行每一个特定的“片段”。
- 停止信号： LOKI 教会机器人一个特殊的信号（一个“终止函数”），用来告诉它：“这个片段结束了；现在停止。”这可以防止机器人不停地转动旋钮。
- 剧本： 机器人被给予一个简单的剧本（一系列技能 ID）来遵循。它只需要知道：“执行片段 A，然后执行片段 B，最后执行片段 C。”
为什么这意义重大？
- 无需人工标签： 通常，要教机器人，人类必须手动标记每一个步骤（“现在他在打开冰箱”）。LOKI 几乎能自动完成这一切，只需要一个关于总体目标的微小提示。
- 符合人类逻辑： LOKI 发现的技能并非随机的数学模式；它们与人类的思维方式相契合。如果你观察机器人的“大脑”，你会发现它将“打开橱柜”和“打开微波炉”归为一类，因为它们感觉很相似，就像人类一样。
- 混合与组合： 由于这些技能被拆解得非常清晰，机器人可以将它在某个任务中学到的技能（如“转动灯开关”）应用到一个全新的、未见过的任务中。
总而言之： LOKI 接收混乱、无标签的机器人复杂作业视频，自动将其切割成逻辑清晰、人类可理解的“技能”，并教会机器人如何将这些技能串联起来以完成任务。它将混乱的数据流转化为了整洁、有序的指令手册。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。