Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

该论文提出了一种神经符号技能发现架构，能够从少量无标签的低层轨迹演示中自动提取可泛化的高层符号技能，并结合视觉语言模型与梯度优化方法，在模拟和真实世界的复杂环境中实现长程多任务规划与执行。

要点

这篇论文介绍了一种让机器人变得更聪明、更灵活的“新大脑”架构。简单来说，它教机器人如何从看别人做几件事中，自己学会“举一反三”，然后规划出从未做过的大任务。

我们可以把这项技术想象成教一个刚入职的学徒（机器人）如何成为大厨。

1. 核心难题：机器人太“死板”，数据太“少”

通常，教机器人做复杂任务（比如做一顿饭）很难。

• 现实困境：机器人看到的都是连续的动作（手怎么动、抓多紧），数据像流水一样复杂且充满噪音。而且，我们很难收集到成千上万条完美的演示视频（就像很难请到大厨每天来演示一遍）。
• 大模型的局限：现在的 AI 大模型（像 LLM）很聪明，读过很多书，知道“做咖啡”需要什么步骤，但它们不懂怎么控制机械臂去抓杯子。它们就像懂理论但没下过厨的评论家。

2. 解决方案：给机器人装个“翻译官”和“技能包”

这篇论文提出了一种神经符号技能发现（Neuro-Symbolic Skill Discovery）的方法。我们可以把它比作给机器人装了一套**“技能翻译系统”**：

第一步：从混乱中提炼“技能包”（无监督学习）

想象一下，你给机器人看 100 段视频，里面有人从冰箱不同位置拿三明治，有人从柜子里拿盐。

• 传统做法：机器人会死记硬背每一段视频，换个位置就不会了。
• 新方法：机器人像是一个聪明的整理师。它通过一种特殊的数学方法（向量量化），自动把视频分类。
  • 它发现：“哦，虽然拿三明治的位置不一样，但核心动作都是‘伸手 - 抓取 - 收回’。”
  • 于是，它把这些不同的视频打包成一个**“拿取技能包”**（高维符号）。
  • 比喻：就像你不需要记住“拿左边的苹果”和“拿右边的苹果”是两件事，你只需要记住“拿苹果”这个概念，至于苹果在哪，那是细节。

第二步：请“大模型”给技能包贴标签

现在机器人有一堆“技能包”，但它不知道这些包叫什么（比如它不知道那个包叫“倒水”，只知道那是“倒水动作”）。

• 做法：机器人把动作的关键帧截图发给多模态大模型（像 GPT 或 Gemini）。
• 大模型的作用：大模型看着图说：“嘿，这个动作是在‘倒水’，那个是在‘把盘子放进洗碗机’。”
• 结果：机器人原本模糊的“技能包”现在有了名字，变成了可理解的符号。

第三步：双层规划（大脑 + 小脑）

这是最精彩的部分，机器人学会了**“分层思考”**：

• 高层规划（大脑/指挥官）：

  • 当任务来了（比如“做一杯咖啡”），大模型（指挥官）利用它学到的常识和刚才贴好的标签，制定宏观计划：
    1. 拿杯子
    2. 放咖啡机
    3. 按按钮
    4. 把杯子拿回来
  • 它不需要知道手怎么动，只需要知道“先做 A，再做 B"。

• 低层执行（小脑/执行者）：

  • 当指挥官下达“拿杯子”的指令时，机器人会调用之前学好的“拿取技能包”。
  • 关键点：如果杯子在桌子上，而训练时杯子在柜子里，机器人怎么办？
  • 魔法时刻：机器人使用梯度下降（一种数学优化方法）来微调这个“技能包”。它会在脑海里快速模拟：“如果我把手往左移 2 厘米，能不能抓到杯子？”它不断调整，直到找到完美的抓取点。
  • 比喻：就像你学会了“骑自行车”这个技能。虽然训练时是在平地上，但今天路有点歪，你的身体会自动微调平衡，不需要重新学骑车。

3. 实验效果：真的能行吗？

研究人员在模拟厨房和真实世界中测试了这套系统：

• 场景：让机器人把盘子放进洗碗机、用咖啡机做咖啡、给植物浇水。
• 挑战：物体摆放的位置是随机的（以前没见过的），而且环境很乱。
• 结果：
  • 机器人只需要看很少几次（甚至只有几个样本）的演示，就能学会新技能。
  • 它能处理长链条任务（比如先拿杯子，再倒水，再清洗，一共 7 步以上）。
  • 即使物体放在奇怪的地方，它也能通过微调成功抓取。

4. 总结与比喻

如果把机器人比作一个刚学做饭的学徒：

• 以前的方法：学徒必须死记硬背“在桌子左边拿苹果”和“在桌子右边拿苹果”是两本不同的菜谱。换个地方就懵了。
• 这篇论文的方法：
  1. 学徒自己观察，发现“拿苹果”其实就是一个通用的动作模式。
  2. 请一位美食评论家（大模型）告诉学徒这个动作叫“拿取”。
  3. 当需要“做苹果派”时，评论家指挥：“先拿苹果，再切苹果”。
  4. 学徒在执行“拿苹果”时，会根据苹果实际在哪，自动调整手的位置，而不是死板地照搬。

一句话总结：
这项技术让机器人学会了**“抽象思维”，能把具体的动作提炼成通用的技能**，再结合大模型的常识，从而在没见过的复杂环境中，像人类一样灵活地规划并完成长任务。

技术摘要

论文技术总结：基于神经符号的技能发现用于条件多级规划

1. 研究背景与问题 (Problem)

在连续状态 - 动作空间中学习长视野（Long-horizon）的机器人规划是一个极具挑战性的问题。现有的方法面临以下主要困难：

• 数据限制：真实的机器人数据复杂、噪声大且通常缺乏标注，难以直接用于训练大型多用途模型（如 LLM）。
• 抽象缺失：通用智能体（如 LLM）缺乏与物理环境交互的“手脚”（低层控制）和“眼睛”（状态感知）。
• 规划断层：如何将高层的语义决策（做什么）与底层的连续控制（怎么做）有效结合，特别是在仅通过少量无标签演示数据学习时。

本文旨在解决如何从少量无标签的低层技能轨迹演示中，自动发现可泛化的高层符号技能，并构建一个能够执行多级规划（从高层任务分解到低层轨迹生成）的神经符号架构。

2. 方法论 (Methodology)

该论文提出了一种新颖的端到端神经符号架构，主要包含以下核心模块：

2.1 基于向量量化的条件神经运动原语 (Conditional Neural Movement Primitives with VQ)

• 模型架构：采用条件神经运动原语（CNMP）架构，结合**向量量化（Vector Quantization, VQ）**技术。
• 输入与输出：输入为传感器运动轨迹（如末端执行器姿态），输出为重构的轨迹。
• 技能聚类机制：
  • 编码器将轨迹采样点映射为潜在向量 $z_e$。
  • 通过向量量化瓶颈层，将 $z_e$ 映射到技能空间中最接近的离散向量 $v_k$（即技能嵌入）。
  • 解码器接收离散向量 $z_q$ 和目标时间步 $t_{target}$，生成轨迹分布。
  • 训练目标：最小化重构损失（负对数似然）和向量量化损失。模型自动将同一高层技能的不同低层变体（如在不同位置抓取物体）聚类到同一个离散向量上。

2.2 自监督学习与技能标签化

• 自监督微调：初始训练后，系统利用聚类得到的技能标签进行自监督学习。重新训练模型，强制将属于同一技能的演示数据映射到特定的向量，从而显著提升低层规划的性能和可靠性。
• 符号标签生成：利用多模态大语言模型（VLM/LLM）（如 GPT-4.1, Gemini）对聚类后的技能向量进行语义标注。
  • 流程：生成技能轨迹 -> 截取关键帧图像 -> 输入 VLM 分析环境与动作 -> 输出技能名称（如 "pickup", "place"）。
  • 输入提示：包含环境分析、物体位置及动作执行序列的图像网格。

2.3 多级规划管道 (Multi-Level Planning Pipeline)

1. 高层规划 (High-Level Planning)：
   • 外部智能体（LLM）接收环境图像、物体列表（由 DINO 检测）及任务目标。
   • LLM 利用已发现并标注的技能集合，生成高层动作序列（如：pickup(tomato, rightCupboard) -> place(tomato, pot)）。
2. 低层规划 (Low-Level Planning)：
   • 针对高层规划中的每一步，利用基于梯度的规划方法调整输入的技能向量。
   • 优化过程：保持解码器参数不变，通过梯度下降调整输入向量，使得解码器输出的轨迹在接触物体时的预测位置与实际物体位置（由 DINO 提供）的均方误差（MSE）最小化。
   • 生成具体的低层轨迹变体以执行任务。

3. 关键贡献 (Key Contributions)

1. 无监督技能发现：提出了一种能够从少量无标签低层轨迹中自动发现高层离散技能表示的神经架构，无需预先定义状态或动作谓词。
2. 神经符号结合：将神经网络的连续控制能力与符号系统的离散推理能力相结合。利用 VLM 自动为发现的技能赋予语义标签，桥接了数据驱动模型与逻辑规划器。
3. 多级规划框架：构建了一个完整的管道，支持从高层任务分解到基于梯度的低层轨迹生成，能够处理长视野任务。
4. 自监督增强：证明了利用聚类标签进行自监督微调可以显著提高低层执行的准确性和泛化能力。

4. 实验结果 (Experimental Results)

4.1 技能发现性能

• 聚类准确性：在模拟厨房环境中，当技能空间大小设置为 5（对应 5 种技能）时，100 个随机初始化的模型中有 27 个实现了完美聚类。
• 空间大小影响：实验表明，即使技能空间设置得比实际技能数大（如 10, 20, 100），模型仍能通过损失函数引导将相似技能聚类，但过大的空间会导致同一技能分散到多个向量。通过选择损失最小的模型，可以自动确定有效的技能数量。

4.2 标签化准确性

• 使用多模态 LLM（Gemini 2.5 Flash, GPT-4.1）对技能进行自动标注。
• 结果：GPT-4.1 在“抓取（Pick）”动作上的标注准确率较高（约 65%），但在“放置（Place）”动作上表现较差（约 15%），主要因为模型倾向于将放置动作误判为抓取。增加图像网格数量有助于 GPT 提升性能，但对 Gemini 效果不稳定。

4.3 规划性能

• 高层规划：结合 DINO 物体检测与 LLM 规划，在长视野任务（>7 个动作）中，使用 DINO 增强后的 Gemini 模型表现最佳（成功率 65.18%），显著优于未增强或仅使用 GPT 的模型。
• 低层规划：
  • 自监督 vs 无监督：自监督训练的模型在泛化能力上远超无监督模型。
  • 演示数量：当每个技能提供 2 个或更多演示时，自监督模型在模拟和真实世界（洗碗机、咖啡机、浇花）任务中均能达到 80%-100% 的成功率。
  • 泛化性：模型能够处理未见过的物体位置，并在杂乱环境中执行长序列任务。

5. 意义与结论 (Significance & Conclusion)

• 填补空白：该方法有效解决了将真实世界机器人数据（低层、连续、无标签）与通用智能体（高层、离散、基于文本）连接的问题。
• 数据效率：仅需少量（每个技能 2-4 个）无标签演示即可训练出可泛化的规划系统，降低了对昂贵专家标注数据的依赖。
• 实际应用：在模拟和真实机器人（UR-10, XArm 7）上的实验证明了其在复杂、非结构化环境（如杂乱厨房）中执行长视野任务的能力。
• 未来方向：作者建议未来将“效果谓词（Effect Predicates）”纳入模型，以支持错误检测和更鲁棒的长视野规划。

局限性：系统依赖外部智能体进行推理，且假设演示数据分布一致；低层规划仍需要精确的物体位置信息（依赖感知模块）。