🤖 AI

Learning Bilevel Policies over Symbolic World Models for Long-Horizon Planning

本文介绍了 BISON，这是一个将底层神经模仿学习与高层符号抽象相结合的系统，能够生成双层策略，高效解决涉及大量物体的长视界规划任务，并在可扩展性和效率方面优于现有的端到端方法。

原作者： Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人打扫一间杂乱的房间。如果你只是给机器人看一段某人打扫的视频，它可能学会如何捡起某只特定的袜子或折叠某件特定的衬衫。但如果你要求它打扫一个拥有 100 种不同物品的房间，或者物品在它工作时四处移动，这种简单的“模仿”方法往往会失败。它会感到不知所措。

本文介绍了一种名为BISON的机器人教学新方法。可以将 BISON 想象为一个“经理与工人”系统，它结合了两种不同教学风格的优点。

双团队方法

作者意识到，机器人需要两种不同类型的“大脑”协同工作：

工人（底层策略）： 这是肌肉记忆。它就像一位技艺高超的舞者，确切知道如何移动手臂和手指以拿起杯子而不将其掉落。机器人通过观看大量人们执行物理任务的视频（演示）来学习这一点。在论文中，这是一个神经网络，负责处理现实世界中混乱且连续的细节。
经理（高层策略）： 这是战略规划者。它不关心如何移动手指，而是关心接下来要做什么。它像棋手或项目经理一样，用符号和逻辑进行思考。它会说：“首先，拿起红色方块。然后，移动到桌子旁。接着，将其放置。”

问题所在： 通常，这两者沟通不畅。“工人”太笨拙，无法规划长序列；而“经理”太抽象，不知道如何实际移动机器人的手臂。

BISON 的解决方案： BISON 通过观察工人过去的成功来教导经理。它将机器人移动物品的杂乱视频转化为一个简单的、符号化的故事（像连环画一样），然后教导经理根据该故事编写脚本。

工作原理：“食谱”类比

想象你想教机器人烤蛋糕，但你只有人类烘焙师操作的视频。

观看视频（底层数据）： 你记录下烘焙师搅拌、倾倒和烘烤的过程。这是“底层”数据。
总结故事（抽象化）： BISON 查看视频并忽略细微细节（如搅拌器的确切速度）。相反，它创建一个摘要：“步骤 1：混合原料。步骤 2：倒入烤盘。步骤 3：烘烤。”这是“高层”故事。
学习规则（目标回归）： 系统审视目标（“我们需要一个蛋糕”）并逆向推导。它问：“为了得到蛋糕，我们需要烘烤。为了烘烤，我们需要倾倒。”它将这种逆向思维转化为一组简单的“如果 - 那么”规则。
- 规则： “如果我们有面糊且烤盘为空，那么倾倒。”
- 规则： “如果我们有烤盘在烤箱中，那么等待。”
泛化（魔法技巧）： 这是本文最大的主张。大多数机器人如果给你一份烤 1 个蛋糕的食谱，然后要求它们烤 100 个蛋糕，就会失败。BISON 的规则是用“变量”编写的（例如“如果我们有任何面糊……"）。这意味着经理可以处理 1 个、10 个甚至 10,000 个蛋糕，而无需重新训练。这就像拥有一份写着“加入面粉”的食谱，而不是“为此特定碗加入 2 杯面粉”。

为何优于竞争对手

本文将 BISON 与其他方法进行了测试，包括：

VLA（视觉 - 语言 - 动作）模型： 这些就像试图观察世界并采取行动的大型 AI 聊天机器人。论文发现，这些模型在处理长任务时表现糟糕，且容易混淆。
端到端神经网络： 这些试图一次性学习所有内容。它们就像一个试图死记硬背一本 100 页书中每一个步骤的学生。它们对短任务表现尚可，但当任务变长或物体数量增加时就会失败。
传统符号规划器： 这些非常合乎逻辑，但无法处理混乱且不可预测的现实世界（例如方块意外倒下）。

BISON 的胜利：

更长的任务： 它的规划能力远超其他方法。
更多物体： 当物体数量超过 6 个或 10 个时，其他方法会崩溃，而 BISON 能处理包含更多物体的环境。
速度： BISON 的“经理”部分效率极高，如果你忽略实际移动机器人手臂所需的时间，它可以在一分钟内解决涉及10,000 个物体的规划问题。这就像瞬间为 10,000 名宾客规划一场婚礼。

“开放世界”优势

论文还强调，BISON 在“开放世界”中运作。想象一个机器人处于一个房间，新物体可能凭空出现，或者物体可能瞬间移动。

旧方法往往会失效，因为它们是在特定的一组物体上训练的。
BISON使用其符号化的“如果 - 那么”规则。如果出现新物体，经理只需检查：“有关于这个物体的规则吗？”如果规则说“如果有一个红色方块，就拿起它”，机器人会立即拿起新的红色方块，即使它从未见过那个特定的方块。

总结

简而言之，BISON是一个教机器人既成为熟练工人又成为聪明经理的系统。它观察工人如何工作，将工作总结为简单的逻辑规则，然后利用这些规则为任何规模的任务提前规划。它比现有方法更快、更智能、更灵活，使机器人能够处理具有许多移动部件的复杂长期目标而不会迷失方向。

技术摘要：基于符号世界模型的双层策略学习以进行长程规划

问题陈述

本文解决了构建具身智能体（embodied AI agents）的挑战，使其能够在连续状态和动作空间中，面对不同数量的物体时，可靠地解决长程规划问题。虽然从演示中进行模仿学习已被证明对底层（LL）运动控制和操作有效，但在生成高效的长程规划方面存在困难。相反，高层（HL）符号规划器在长程推理方面行之有效，但往往难以泛化到具有不同感知模态、部分可观测性以及复杂底层动态的环境。

作者将问题表述为学习一个以目标为条件的策略 $\pi(all | s_{ll}, g_{hl})$ ，该策略选择底层动作（ $a_{ll}$ ）以实现高层目标（ $g_{hl}$ ）。学习输入包括：

LL 演示：与 HL 目标配对的 states 和 actions 轨迹。
抽象语言（ $D$ ）：定义谓词和动作模式的领域理论。
标记函数（ $L$ ）：将 LL 观测映射到 HL 符号状态的函数。

目标是学习一个策略，使其能够以零样本（zero-shot）方式泛化到未见过的状态和目标，处理任意数量的物体和开放世界条件。

方法论

作者提出了 BISON，这是一个通过结合神经模仿学习、符号抽象和归纳泛化来学习双层策略 $(\pi_{hl}, \pi_{ll})$ 的系统。

1. 双层策略架构

该系统将问题分解为两个不同的策略：

高层（HL）策略（ $\pi_{hl}$ ）：一个在抽象状态（ $s_{hl}$ ）和目标（ $g_{hl}$ ）上操作的符号策略，用于提出 HL 动作（ $a_{hl}$ ）。
底层（LL）策略（ $\pi_{ll}$ ）：一个神经网络策略（图神经网络），接收当前 LL 状态（ $s_{ll}$ ）、提议的 HL 动作（ $a_{hl}$ ）和目标（ $g_{hl}$ ），输出连续的 LL 动作（ $a_{ll}$ ）。

策略的组成为： $\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$ 。

2. 学习高层策略（ $\pi_{hl}$ ）

HL 策略通过三步过程从 LL 演示中学习（如图 2 所示）：

构建 HL 轨迹：将标记函数 $L$ 应用于 LL 演示，以提取抽象的 HL 轨迹（HL 状态和动作序列）。
目标回归：作者对这些轨迹应用目标回归（一种前像重写技术）。这计算了动作实现目标的最小条件。通过将目标沿动作轨迹向后回归，系统提取出基础的条件 - 动作规则。
归纳泛化：通过将特定物体替换为变量，将基础规则提升为一阶逻辑。这产生了一组紧凑的条件 $\mapsto$ 动作规则，其优先级值基于目标接近度。这些规则是可解释的，并且可以泛化到任意数量的物体。

生成的 HL 策略是一组一阶规则。执行过程涉及找到满足当前状态和未达成目标条件的、具有最低优先级值（即最高优先级）的适用规则。

3. 学习底层策略（ $\pi_{ll}$ ）

LL 策略实现为一个图神经网络（GNN），参数量少于 33,000 个。

输入编码：GNN 编码 LL 状态（智能体状态和物体状态）、HL 动作模式以及 HL 目标事实。
架构：它利用物体节点、动作节点和全局节点之间的消息传递来聚合信息。
训练：GNN 通过在从演示中导出的元组 $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ 数据集上通过模仿学习（行为克隆）进行训练，最小化预测动作与真实动作之间的均方误差（MSE）。

4. 理论保证

本文确立了非确定性向下细化属性（NDRP），确保 HL 问题的任何解决方案都可以细化为 LL 问题的解决方案。此外，定理 1 证明，在C 有界目标独立性（即目标组件可以按任意顺序独立实现，且策略规模有界）的条件下，学习到的 HL 策略可以泛化到具有任意数量物体和规划时域的问题。

主要贡献

BISON 系统：一种从与 HL 目标配对的 LL 演示中学习双层策略 $(\pi_{hl}, \pi_{ll})$ 的方法，利用领域理论和标记函数。
符号 HL 学习：应用目标回归和归纳泛化来学习紧凑、表达力强的 HL 策略。这些策略表示为一阶条件 - 动作规则，使其能够在开放世界和部分可观测环境中运行，并泛化到任意数量的物体。
高效的 LL 学习：通过一个紧凑的 GNN（少于 33k 参数）实现 LL 策略，并以 HL 动作为条件。
实证验证：在扩展的 MetaWorld 基准上进行了广泛的实验（21,600 个回合），证明了与视觉 - 语言 - 动作（VLA）模型、端到端方法和符号规划基线相比，BISON 在效率、泛化能力和长程规划能力方面具有优越性。

实验结果

作者在 8 个具有不同不确定性（外源性、内源性、状态不确定性）的环境中，将 BISON 与 8 个基线（包括 SmolVLA、PureNN、PddlNN 和各种重规划策略）进行了评估。

泛化能力：BISON 成功泛化到了比训练所见（3 个物体）更多物体（多达 10 个）和更长时域的环境，其表现优于端到端 GNN 基线，后者的性能在超过 6 个物体后显著下降。
鲁棒性：BISON 在大多数环境中实现了最高的平均成功率，特别是在重规划基线难以应对或失败的复杂场景中。
效率：与端到端方法和重规划方法相比，BISON 在训练和推理过程中均表现出更优越的时间和内存效率。
可扩展性：在忽略 LL 执行的情况下，BISON 的符号 HL 策略在一分钟内解决了涉及10,000 个物体的规划问题，显著优于最先进的 PDDL 规划器 LAMA，后者在处理几百个物体时就遇到了困难。
VLA 性能：预训练的 VLA 模型（SmolVLA）未能解决基准测试中的任何任务，突显了在没有特定架构调整的情况下，直接将它们应用于长程、多物体操作任务的困难。

意义与主张

本文声称，BISON 通过有效地弥合神经模仿学习与符号推理之间的差距，为长期存在的长程规划挑战提供了一种新颖的解决方案。

无搜索规划：与传统的在符号抽象上搜索 HL 计划然后再进行细化的双层规划系统不同，BISON 直接从演示中归纳泛化 HL 策略，消除了执行过程中对搜索的需求。
开放世界能力：将策略编码为一阶条件 - 动作规则，促进了开放世界环境中的规划，并处理了部分可观测性，解决了纯符号规划器的局限性。
效率与可扩展性：该方法产生的紧凑策略计算效率高，并且能够扩展到海量数量的物体，这是纯神经方法和纯符号方法通常缺乏的能力。

作者承认了局限性，指出该方法继承了对 HL 抽象质量（无论是学习得到的还是给定的）的依赖，并且不能保证 LL 策略的最优性。然而，他们断言该方法为具身智能体解决具有不同物体数量的复杂长程任务提供了一个稳健的框架。