💻 computer science

SkillWrapper: Generative Predicate Invention for Task-level Robot Planning

本文介绍了 SkillWrapper，这是一种利用基础模型从原始 RGB 观测中自动发明形式化、具有证明完备性且逻辑完备的符号谓词的方法，从而使机器人能够将黑盒技能泛化为抽象表示，以解决未见的长程任务。

原作者： Ziyi Yang, Benned Hedegaard, Ahmed Jaafar, Yichen Wei, Skye Thompson, Shreyas S. Raman, Haotian Fu, Stefanie Tellex, George Konidaris, David Paulius, Naman Shah

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziyi Yang, Benned Hedegaard, Ahmed Jaafar, Yichen Wei, Skye Thompson, Shreyas S. Raman, Haotian Fu, Stefanie Tellex, George Konidaris, David Paulius, Naman Shah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个在物理层面极其强壮且灵巧的机器人。它能拿起茶壶、倒茶，或者把碗叠放在盘子上。然而，现在的它就像一位只会按单个琴键却不懂乐理的卓越钢琴家：它能弹奏出一个音符，却不知道如何谱写一首乐曲或策划一场完整的音乐会。

这正是 SkillWrapper 所要解决的问题。

问题所在：“黑盒”机器人

目前，许多机器人配备的是“黑盒”技能。这些是预设的动作（例如“拿起物体”或“倾倒液体”），它们在执行单个动作时表现良好。但如果你想让机器人完成一项复杂的、多步骤的任务——比如“泡一杯茶”——它并不知道如何将这些技能串联起来。

为了让机器人规划复杂任务，人类通常需要手动为机器人编写一本“规则手册”。人类必须解释：“要倒茶，机器人必须先拿着茶壶，且杯子必须是空的。”这种方式既繁琐又缓慢，而且不可能为每一个新机器人或新环境都重复这一过程。

解决方案：教机器人编写自己的规则手册

研究人员创建了一个名为 SkillWrapper 的系统。与其由人类编写规则手册，不如让 SkillWrapper 教会机器人通过观察自己的尝试过程，来发明属于自己的“词汇”和“规则”。

以下是它的工作原理，我们使用一个简单的类比：

1. “试错”阶段（主动数据采集）

想象机器人在厨房里。它还不了解规则。SkillWrapper 告诉机器人：“去试着拿起茶壶。现在试着拿起海绵。再试着叠放碗。”

成功： 机器人拿起了茶壶。
失败： 机器人试图拿起海绵，但海绵太滑了，它掉落了。

机器人记录下这些时刻：“我尝试拿起茶壶，成功了。我尝试拿起海绵，失败了。”

2. “顿悟”时刻（生成式谓词发明）

这是最神奇的部分。机器人观察自己的成功与失败，并追问自己：“为什么一个成功了而另一个失败了？”

在过去，计算机需要人类告诉它答案（例如“海绵太滑了”）。但 SkillWrapper 使用了一个基础模型（一种能够理解图像和语言的高级 AI，类似于非常先进版本的 ChatGPT 或 DALL-E）。

机器人向 AI 展示两张图片：一张是成功抓取的图片，另一张是抓取失败的图片。
AI 查看图像，并发明了一个新的词汇（即谓词）来描述其中的差异。
AI 说： “啊！区别在于茶壶有把手，而海绵很滑。让我们发明一个新的规则，叫做 GripperEmpty（夹持器为空）或 ObjectIsStable（物体稳定）。”

机器人创造了一个人类可读的概念，用以解释为什么该动作成功或失败。这就像机器人突然学会了“滑溜”这个词，并意识到：“噢，我目前的握力无法抓取滑溜的东西！”

3. 构建规则手册（算子学习）

一旦机器人发明了这些新词汇（谓词），它就开始构建逻辑地图。

规则： “要执行 Pour（倾倒），你必须 Holding（拿着）一个 Teapot（茶壶），且 Cup（杯子）必须是 Empty（空的）。”
规则： “要执行 Stack（堆叠），Plate（盘子）必须是 Flat（平整的）。”

机器人将这些规则组合在一起，形成一个符号模型。这是一个关于世界的逻辑高层地图，它忽略了混乱的细节（如机械臂的具体角度），而专注于逻辑本身（如“杯子是否为空？”）。

4. 宏观规划（任务级规划）

现在，当你给机器人一个复杂的目标，如“泡茶”时，它不会感到恐慌。它会利用一种标准的规划算法（类似于视频游戏 AI 或物流软件中使用的逻辑）来查阅它新建立的规则手册。

它看到目标：“杯中有茶。”
它检查规则：“我需要 Pour（倾倒）。”
它检查前提条件：“我拿着茶壶吗？杯子是空的吗？”
它构建了一个分步计划：拿起茶壶 -> 移动到杯子上方 -> 倾倒。

为什么这篇论文很特别

该论文声称了三点主要成就，使其区别于以往的方法：

从零开始： 不同于其他需要人类提供初始规则列表的方法，SkillWrapper 从“无”开始。它仅通过观察机器人的运动，就从零开始发明自己的词汇表。
在数学上保证正确性： 作者不仅是猜测这行得通，他们还通过数学证明，如果机器人遵循这个过程，它所学习到的规则将是可靠的（Sound）（它不会规划出不可能实现的事情）且完备的（Complete）（如果存在解决方案，它不会遗漏）。这就像是在让人行走之前，先通过数学证明一座桥是安全的。
在现实世界中有效： 他们在真实的机器人上测试了这一点（而非仅仅在模拟器中），机器人仅通过摄像头图像作为输入，就学会了规划复杂的任务，如堆叠物体或倾倒液体。

核心总结

SkillWrapper 是一个让机器人教会自己动作“语法”的系统。与其由人类编写说明书，不如让机器人通过尝试、失败、询问聪明的 AI“为什么失败”、发明描述问题的词汇，进而规划下一步行动。这使得机器人能够在不需要人类专家为每个规则进行编程的情况下，在现实世界中解决长期且复杂的任务。

技术摘要：SkillWrapper：面向任务级机器人规划的生成式谓词发明

问题陈述

构建能够进行长程任务规划的自主机器人，需要弥合底层感知/运动控制与高层抽象推理之间的鸿沟。虽然人类可以对复杂任务（例如烹饪）进行推理，而无需对肌肉层级的控制进行建模，但机器人通常依赖于由领域专家定义的、人工指定的任务级模型（前置条件和效果）。在现实世界设置中，由于复杂的技能间约束和特定的环境具身性，获取这些模型并非易事。

现有的学习这些抽象的方法面临着一种两极分化：

自下而上的方法： 提供理论保证（完备性和可靠性），但通常依赖于受限且结构化的状态空间（例如配置空间），或者在缺乏基础模型的情况下，难以从像素级输入中进行扩展。
基础模型（FM）驱动的方法： 利用基础模型从原始感官输入中生成具有语义意义的谓词（这一过程被称为生成式谓词发明）。然而，这些方法通常依赖于启发式或临时性的程序，缺乏关于所学习的抽象必须满足哪些属性，以及如何确保生成的模型对于规划是正确的形式化保证。

本文解决的核心挑战是：如何利用基础模型，自主地从原始 RGB 观测中学习黑盒机器人技能的可靠且完备的符号表示，同时为任务级规划提供形式化保证？

方法论：SkillWrapper

作者提出了 SkillWrapper，这是一个主动学习框架，能够自主获取黑盒技能的可靠且完备的符号模型。该系统运行在一个由一组以对象为中心的技能 ( $\Omega$ ) 定义的领域上，并学习一个抽象转换模型 $M = \langle P, A \rangle$ ，其中 $P$ 是谓词集， $A$ 是算子集。

该方法通过三个主要步骤进行迭代：

1. 主动数据采集

SkillWrapper 不是进行随机探索，而是主动选择要执行的技能实例序列。它提示基础模型（FM）生成候选技能序列，然后基于两个维度对序列进行评分：

平衡度 ( $b$ )： 优先考虑成功执行与失败执行比例接近目标值（例如 0.5）的序列。这确保了收集到正例和负例，这对于对比学习至关重要。
覆盖度 ( $c$ )： 优先考虑能使连续技能对观测到的熵最大化的序列。这确保了系统能够观察到多样化的技能间依赖关系。
系统选择帕累托最优（Pareto-optimal）的序列子集并执行它们，记录捕捉执行能力和结果的转换 $\langle s, \omega, s' \rangle$ 。

2. 生成式谓词发明

SkillWrapper 从空谓词集 ( $P = \emptyset$ ) 开始。它仅在当前模型无法解释观测到的转换时，才会发明新的谓词。谓词发明的触发由两个形式化条件决定：

条件 1（前置条件不一致）： 模型预测某个技能实例会成功，但实际失败了（或反之亦然），且当前的谓词无法区分成功状态与失败状态。
条件 2（效果不一致）： 模型无法区分同一技能在不同参数下的成功执行与失败执行的效果（即使考虑了通过提升函数处理的不同对象参数）。

当触发时，系统会提示基础模型（具体为视觉语言模型）生成一个能够语义上区分这些冲突情况的候选谓词。通过检查该候选谓词是否能提高模型解释数据集的能力（即是否允许构建正确分离成功与失败转换的算子）来对其进行评估。

3. 算子学习

利用累积的数据和当前的谓词集，SkillWrapper 学习算子（具有前置条件和效果的动作）。

聚类： 基于“提升后的抽象变化”（抽象状态的差异）对转换进行聚类。
前置条件推导： 对于每个簇，前置条件被推导为该簇内所有转换的抽象初始状态的交集。
类型处理： 为了防止在具有重叠对象类别的领域中出现过度泛化，系统会使用与数据一致的类型层次结构中的最低层级来保守地分配算子参数。

理论框架

本文为生成式谓词发明建立了一个形式化理论，为这类方法提供了首个可证明的保证：

可靠性 (Soundness)： 学习到的模型能正确预测计划的效果；如果规划器预测一个序列会到达某个状态，那么实际执行确实会到达那里。
完备性 (Completeness)： 模型绝不会遗漏真实的解；如果环境中存在解，规划器就能找到抽象计划。
正确性 (Correctness)： 作者证明了 SkillWrapper 学习到的模型相对于观测数据是经验正确的（定理 1），并且在平稳的 $\beta$ -混合过程中渐近收敛于正确的模型（定理 2）。

实验结果

作者在模拟环境和真实机器人上评估了 SkillWrapper。

模拟环境 (Robotouille)

在包含六个物体和五种技能的模拟厨房环境中，SkillWrapper 与以下对象进行了比较：

专家算子 (Expert Operators)： 手动定义的 PDDL 模型。
系统谓词 (System Predicates)： 真值模拟器谓词（Oracle）。
ViLa： 使用直接 FM 提示进行动作选择的基准方法。
消融实验： 不使用主动数据采集启发式算法或不使用特定谓词发明算法的变体。

发现：

SkillWrapper 的表现优于所有非特权基准方法（包括 ViLa 和随机探索）。
在“困难”问题（高达 15 步）上，SkillWrapper 超过了系统谓词基准，证明了在复杂规划场景中，学习到的抽象可以比真值模拟器谓词更有效。
它正确识别了 100% 的不可能完成的任务，这是实现可靠性的要求。

真人机器人实验

实验在 Franka Emika Panda（桌面级）和双臂 Kuka iiwa 机械臂上进行。

泛化性： 在受限训练环境（物体子集）中学习的模型成功泛化到了包含所有物体的测试环境，解决了未见的长程任务。
数据效率： 在具有死胡同的双臂设置中，SkillWrapper 的性能随迭代次数提升，并在五次迭代内超过了所有基准。系统表明，引导式主动数据采集对于在具有不可逆动作的环境中学习至关重要。

重要性与主张

本文声称是首个为任务级规划提供可靠性和完备性证明保证的生成式谓词发明工作。

核心贡献包括：

形式化理论： 刻画了学习到的模型在何种条件下是可证明可靠且完备的，解决了先前基础模型驱动方法中缺乏理论严谨性的问题。
SkillWrapper 系统： 一个原则性的系统，利用基础模型交互式地收集数据、发明谓词，并学习可解释的符号表示，而无需人工指定。
经验验证： 广泛的证据表明，这些学习到的表示能够使机器人通过组合黑盒技能，使用现成的经典规划器来解决未见的、长程的任务。

作者总结道，SkillWrapper 为可扩展的符号模型学习提供了一条充满前景的路径，使机器人能够在不需要手工设计抽象或对环境动力学拥有特权知识的情况下，对高层目标进行推理。该工作也承认了局限性，例如对确定性动力学的假设以及无法直接控制基础模型的输出，并建议未来在概率设置和噪声处理方面开展工作。