💻 computer science

Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories

该论文提出了 ENAP 框架，通过从视觉运动轨迹中自适应地推断可解释的 Mealy 状态机作为高层规划器，并引导底层残差网络进行连续控制学习，从而在无需特定任务标签的情况下实现了长程机器人任务的高样本效率与可解释性。

原作者： Yiyuan Pan, Xusheng Luo, Hanjiang Hu, Peiqi Yu, Changliu Liu

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiyuan Pan, Xusheng Luo, Hanjiang Hu, Peiqi Yu, Changliu Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ENAP（Emergent Neural Automaton Policy，即“涌现神经自动机策略”）的新方法，旨在解决机器人学习复杂、长时间任务时的难题。

为了让你轻松理解，我们可以把机器人学习做任务的过程，想象成教一个刚入职的实习生（机器人）完成一项复杂的“组装乐高”或“整理房间”的工作。

1. 核心问题：为什么现在的机器人学得很慢？

传统方法（端到端大模型）： 就像让实习生死记硬背每一帧画面和每一个动作。
- 比喻： 你给实习生看一万次“拿杯子”的视频，他记住了“手往左移 5 厘米，再往下压 2 厘米”。但如果杯子稍微偏了一点，或者光线变了，他就懵了，因为他是靠“肌肉记忆”硬背的，没有理解背后的逻辑。这需要海量的数据，而且是个“黑盒”，你不知道他为什么这么做。
旧式符号方法： 就像给实习生一本死板的说明书。
- 比喻： 说明书上写着：“如果看到红色，就抓；如果看到蓝色，就放”。但这需要人类专家把规则一条条写出来。如果任务变复杂了（比如杯子是半透明的），说明书就失效了，因为人类很难穷尽所有情况。

2. ENAP 的解决方案：让机器人自己“悟”出逻辑

ENAP 的核心思想是：让机器人自己从观察中“涌现”出一套逻辑结构，既像人一样有直觉（反应快），又像人一样有逻辑（会规划）。

我们可以把 ENAP 的工作流程想象成**“先画地图，再开车”**：

第一步：自动画地图（结构发现）

机器人先看专家演示的视频（比如如何把积木插进孔里）。它不会死记硬背每一帧，而是像侦探一样，自动把连续的动作拆解成几个关键的**“阶段”**（State）。

比喻： 想象你在学做一道复杂的菜。
- 普通机器人：记住“切葱 3 秒，炒 5 秒，加盐 2 克..."。
- ENAP 机器人：自动发现这道菜有四个关键阶段：
  1. 准备阶段（洗菜、切菜）
  2. 热锅阶段（倒油、烧油）
  3. 烹饪阶段（下菜、翻炒）
  4. 出锅阶段（装盘）
- 它甚至能发现**“分支逻辑”：如果油温不够，就回到“热锅阶段”；如果菜炒糊了，就自动“回退”到上一步重试。这就叫“自动故障恢复”**（就像图 1 里展示的，插不进去就退出来再试一次）。

第二步：粗调 + 微调（双层控制）

有了这个“地图”（状态机）后，ENAP 用两层网络来指挥机器人：

高层大脑（状态机/System 2）： 负责**“看大局”**。
- 比喻： 就像导航仪。它告诉机器人：“现在我们在‘热锅阶段’，目标是‘油温合适’，所以接下来的大方向是‘继续加热’。”它不需要知道手具体动多少毫米，只负责切换任务模式。
低层手脚（残差网络/System 1）： 负责**“干细活”**。
- 比喻： 就像司机的肌肉。它接收导航仪的指令（“继续加热”），然后根据眼前的具体情况（油温稍微低了一点，或者手抖了一下），微调动作（“再加热 0.5 秒”或“手往右偏 1 毫米”）。

关键点： 这种分工让机器人既不需要像死记硬背那样学海量数据（因为逻辑已经由“地图”概括了），也不需要人类专家来写死板的规则（因为“地图”是机器人自己从数据里“悟”出来的）。

3. 这个方法的厉害之处（实验结果）

论文通过实验证明，ENAP 就像是一个**“天赋异禀且善于总结的实习生”**：

数据少也能学会（样本效率高）：
- 比喻： 别人学做 100 道菜需要看 1000 遍视频，ENAP 看 10 遍就能总结出“炒菜”的通用逻辑，然后举一反三。在数据很少的情况下，它的成功率比目前最先进的 AI 模型（VLA）高出很多。
能自己纠错（鲁棒性）：
- 比喻： 如果机器人插积木插歪了，普通机器人可能会继续硬插导致失败。但 ENAP 的“地图”里有“如果插不进去，就退回来”的逻辑分支，它能自动发现错误并回到上一步重试，就像人一样有“后悔药”。
解释性强（白盒）：
- 比喻： 你可以清楚地看到机器人的“思考过程”：它现在处于“抓取”阶段，正准备切换到“放置”阶段。不像大模型那样是个黑盒子，你不知道它为什么突然乱动。

4. 总结

ENAP 就是给机器人装了一个“自动生成的思维导图”和“灵活的执行手脚”。

它不再让机器人像鹦鹉学舌一样死记硬背，而是让它学会**“分阶段思考”。遇到复杂任务，它先拆解成几个小目标（状态），每个目标里再灵活调整动作。这种方法让机器人学得快、懂得多，而且出了问题知道怎么自己想办法解决，是通往通用智能机器人**的重要一步。

1. 研究背景与问题 (Problem)

核心挑战：
将机器人学习扩展到**长程任务（Long-horizon tasks）**仍然是一个巨大的挑战。

端到端方法（End-to-End）的局限： 如视觉 - 语言 - 动作（VLA）模型，虽然在短程任务中有效，但在处理多阶段、长程任务时，往往缺乏必要的结构先验（Structural Priors）来进行有效的长期推理。它们通常被视为“黑盒”，语义不透明，且需要海量数据。
传统神经符号方法（Neuro-Symbolic）的局限： 虽然结合了符号推理和神经控制，但通常严重依赖人工设计的符号先验（如手动定义的时序逻辑谓词），缺乏从数据中自适应发现内在结构的能力。

核心问题：
如何从系统 1（直觉、感知 - 运动控制）的感知流中，自然地涌现出系统 2（符号推理、长期规划）的逻辑结构？即，如何在不依赖人工标签或先验知识的情况下，从原始视觉运动数据中自动发现任务的结构化表示？

2. 方法论：ENAP 框架 (Methodology)

作者提出了 ENAP (Emergent Neural Automaton Policy) 框架，这是一种双层神经符号策略，能够自适应地从视觉运动演示数据中涌现出任务结构。

2.1 核心架构

ENAP 将策略表示为概率梅利机（Probabilistic Mealy Machine, PMM）与残差网络的结合：

高层（System 2）： 一个离散的 PMM 状态机，作为可解释的规划器，捕捉潜在的**任务模式（Task Modes）**和状态转移。
低层（System 1）： 一个连续的残差网络（Residual Network），在高层状态和动作先验的指导下，学习精确的连续控制。

2.2 技术流程

整个框架包含三个主要阶段（如图 2 所示）：

自适应符号抽象 (Adaptive Symbol Abstraction)：
- 编码： 使用编码器（如 DINO 或策略内部的编码器）将连续观测 $o_t$ 映射为特征向量 $z_t$ 。
- 聚类： 利用 HDBSCAN（自适应聚类算法）在特征空间中无监督地发现离散符号集 $\Sigma$ （即任务阶段，如“抓取”、“对齐”）。
- 历史嵌入： 训练一个 RNN 将变长的历史轨迹（动作序列 + 符号序列）映射为固定大小的嵌入 $h_t$ 。RNN 通过对比损失（Contrastive Loss）优化，使得同一任务阶段的嵌入聚集，不同阶段分离，从而作为离散状态的连续代理。
基于扩展 $L^*$ 算法的结构提取 (Structure Extraction via Extended $L^*$ )：
- 为了解决经典 $L^*$ 算法需要离散输入和“全知教师（Oracle）”的问题，作者提出了扩展的 $L^*$ 算法，直接从演示数据中推断 PMM。
- 自监督成员查询 (Self-Supervised MQ)： 替代传统查询，通过数据挖掘从演示集中检索与当前状态嵌入相似的后续状态，构建状态转移表。
- 非确定性等价查询 (Non-deterministic EQ)： 验证假设的状态机是否能解释测试轨迹。如果轨迹在状态机中无法找到有效路径，则将其作为反例加入训练，迫使算法分裂状态或添加新边。
- 稳定阶段剪枝： 合并具有自环的稳定状态，得到紧凑的结构。
双层控制与迭代残差学习 (Bi-level Control & Iterative Residual Learning)：
- 控制策略： 最终动作 $\hat{a}_t$ 由两部分组成：
  $\hat{a}_t = a_{base} + \pi_\psi(q_t, o_t, a_{base})$
  其中 $a_{base}$ 是 PMM 根据当前状态 $q_t$ 和输入符号 $c_t$ 输出的粗粒度动作先验（动作均值）， $\pi_\psi$ 是残差网络，负责精细修正。
- EM 训练范式： 由于离散聚类操作不可导，作者采用 期望最大化（EM） 风格的迭代训练：
  - E-Step： 固定编码器，利用当前特征重新聚类并提取/更新 PMM 结构。
  - M-Step： 固定 PMM 结构，通过行为克隆（Behavior Cloning）优化残差网络 $\pi_\psi$ 和编码器 $\phi_\theta$ 。
  - 这种交替优化确保了特征空间既适合结构发现，又适合控制执行。

3. 主要贡献 (Key Contributions)

提出 ENAP 框架： 一种能够以**涌现（Emergent）**方式学习结构化任务抽象和底层反应网络的框架，为从端到端推理向分层认知架构演进提供了可行路径。
无标签神经符号框架： 设计了一种**无需专家先验（Label-free）**的框架。通过自适应符号抽象和扩展 $L^*$ 算法，直接从原始数据中自动发现可解释的自动机结构，消除了对人工定义谓词的依赖。
理论与实验验证：
- 理论： 基于部分可观测马尔可夫决策过程（POMDP）为框架提供了严格的理论证明，展示了双层架构如何分解贝尔曼方程，降低函数逼近复杂度。
- 性能： 在低数据场景下，ENAP 比最先进的 VLA 模型（如 OpenVLA, $\pi_0$ 等）表现提升至少 8%（部分任务高达 27%），且参数量显著减少（例如在 CALVIN 任务中减少了约 39% 的参数）。
- 可解释性： 能够自动恢复任务逻辑，包括循环依赖、多模态目标分支以及自主故障恢复（如检测到错误时自动回退到上一状态重试）。

4. 实验结果 (Results)

实验在仿真（Maniskill, CALVIN）和真实世界（Lego 堆叠、挂衣架等）三个领域进行：

复杂操作任务 (Complex Manipulation)：
- 在 PegInsert（插销）和 DualStackCube（双堆叠方块）任务中，ENAP 即使在没有专用编码器（使用 DINO 预训练）的情况下，成功率也显著优于传统行为克隆（Transformer, GMM）和生成式策略（Diffusion Policy, OpenVLA）。
- 数据效率： 在仅使用 25% 训练数据时，ENAP 仍保持高成功率，而其他方法性能急剧下降，证明了其提取的 PMM 结构具有强大的归纳偏置。
长程 TAMP 任务 (Long-Horizon TAMP)：
- 在 CALVIN 基准测试中，ENAP 在顺序（Sequential）和分层（Hierarchical）任务中均优于 HULC, LCD, MDT 等 VLA 基线。
- 特别是在 5 步长任务中，ENAP 展现了更强的长程规划能力。
真实世界表现 (Real-World)：
- 在 Lego 堆叠、多物体抓取放置等任务中，ENAP 的成功率（88%-94%）远超微调的 $\pi_0.5$ 模型（58%-76%），且推理速度更快（281ms vs 6841ms）。
结构分析：
- 故障恢复： 实验显示，当插入失败时，PMM 能自动识别并触发“对齐”状态的自环，进行重试，体现了自主恢复能力。
- 多模态处理： 在 MultiGoalPushT 任务中，ENAP 成功将冲突的多模态数据（推往不同目标）分离到不同的拓扑路径中，避免了策略崩溃。

5. 意义与影响 (Significance)

打破黑盒： ENAP 提供了一种将“黑盒”神经网络转化为“白盒”分层结构的途径，使得机器人决策逻辑对人类可见且可解释（如通过状态机图展示任务流程）。
数据效率革命： 证明了在长程任务中，显式建模任务结构（离散状态 + 连续残差）比单纯扩大模型规模更有效，显著降低了对海量数据的依赖。
通用性与适应性： 该方法不依赖特定任务的标签或先验，能够自适应地从不同领域的数据中涌现出合适的任务结构，为构建通用机器人智能（Generalist Agents）提供了新的范式。
理论贡献： 将自动机学习理论（ $L^*$ 算法）成功扩展到连续、概率性的机器人控制领域，并建立了其与 POMDP 的数学联系。

总结： ENAP 通过结合自适应聚类、扩展的自动机学习算法和残差控制，成功实现了从原始感知数据到分层符号结构的无监督涌现。它不仅提升了机器人在长程任务中的性能和样本效率，更重要的是赋予了机器人可解释的“思维”结构，解决了当前端到端大模型在长程推理和可解释性上的痛点。