💻 computer science

Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning

本文提出了一种神经符号分层强化学习框架，该框架集成了增量知识（InK）与信念世界树搜索，以实现可更新的符号规划和奖励塑造的神经学习，从而显著提高了在稀疏奖励、长时程导航任务中的样本效率。

原作者： Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人如何在巨大的、不断变化的迷宫中导航。在人工智能领域，这是一个经典的挑战，被称为强化学习（Reinforcement Learning, RL）。这就像训练一只狗：当它做得对时，你给它奖励（零食），它就会学会重复那个动作。但问题在于：如果迷宫非常巨大，而零食藏得非常远，这只狗可能会徘徊一百万年，才偶然发现那条路径。这就是“样本效率”（sample efficiency）问题——AI 需要多少次尝试才能学会？

为了解决这个问题，科学家经常使用“分层强化学习”（Hierarchical Reinforcement Learning, HRL）。与其让机器人试图一次性搞定每一个细微步骤，不如给它一个“老板”和一个“工人”。老板（高层规划器）决定大目标，比如“去厨房”；而工人（底层控制器）则负责研究如何实现目标的微小肌肉运动。通常情况下，老板是一个僵化的、预先编程好的地图，永远不会改变。但如果迷宫里有只有撞上去才会出现的隐形墙壁呢？一个僵化的老板会不断尝试撞向刚刚出现的墙壁，从而浪费时间。这篇论文探索了一种更聪明的方法：一种在移动过程中学习地图的机器人，根据工人发现的情况实时更新老板的地图。

这篇论文的核心思想：一个边走边学的机器人

作者 Subrat Prasad Panda 及其团队提出了一种名为 神经符号增量知识强化学习（Neurosymbolic HRL with Incremental Knowledge, InK） 的新系统。让我们来拆解这个名字：“神经符号”（Neurosymbolic）意味着他们混合了两种类型的“大脑”。“神经”部分是一个灵活的学习大脑（类似于处理物理运动的深度学习神经网络）；“符号”部分是一个逻辑性的、基于规则的大脑（类似于思考棋局的棋手），负责处理规划。

在传统系统中，逻辑大脑会在机器人开始移动之前构建一张完美的地图。这就像是在离开家之前，试图背下整个伦敦地铁图。如果某条线路关闭或新开了一个车站，你的地图就失效了，除非你重新开始。作者认为这是低效的。相反，他们的机器人使用的是 增量知识（InK）。它从一张白纸或一个粗略的猜测开始。随着“工人”机器人尝试移动并撞到墙壁时，它会告诉“老板”：“嘿，这里有一堵墙！”老板会立即更新其地图并重新计算最佳路径。这就像拥有一个能在你遇到交通拥堵的瞬间就更新路线的 GPS，而不是在等待新地图打印出来时原地踏步。

“信念世界”与树搜索

论文引入了一个巧妙的技巧来处理不确定性。想象你在一个黑暗的房间里，你知道某个地方恰好有一堵墙，但不知道具体在哪。你可以猜它在左边，或者右边，或者中间。机器人并不仅仅做一个猜测；它维持着一个“信念集”（belief set）——一个记录所有可能存在该墙壁的世界的心理清单。

为了在这些不确定性的迷雾中做出决策，作者开发了一种名为 信念世界树搜索（Belief World Tree Search, BWTS） 的算法。想象你的脑海中生长着一棵巨大的树。树干是你的当前位置。每当你需要选择一个方向时，树就会分叉。但转折在于：BWTS 不仅仅是猜测一条路径，它会同时模拟成千上万种可能的未来。它会问：“如果墙在这里，最好的移动是什么？如果墙在那里，最好的移动又是什么？”然后，它会选择在所有这些可能性中表现最平均（最优）的移动方式。

论文明确反对使用标准的“随机”猜测方法（例如一些旧算法只是通过掷骰子来决定行动）。作者发现，在迷宫中进行随机猜测往往会导致机器人在原地打转，浪费时间。相反，BWTS 使用“策略性展开”（strategic rollouts）——它利用智能的、预设的策略（例如“如果撞墙，总是向左扫过”）来模拟路径，从而在不迷路的情况下快速找到最佳路线。

研究结果：速度与智慧

团队在计算机模拟的迷宫中测试了他们的想法，范围从简单的网格到复杂的 3D 环境（其中包含一个拥有许多关节的虚拟“蚂蚁”机器人）。

巨大的速度提升： 与旧有的“先构建地图”的方法（在论文中称为 RGL）相比，新的 InK 方法在学习速度上快得惊人。在一个“四房间”（Four Rooms）迷宫中，旧方法需要大约 2,080 步 才能从头开始首次到达目标；而新的 InK 方法仅需 64.9 步。这大约减少了 30 到 100 倍 的尝试次数。
时间节省： 时间上的差异更为显著。旧方法需要超过 96 秒 才能摸索出第一条路径，而新方法仅用了 0.02 秒。
先验知识的力量： 当机器人被给予关于世界的提示（例如“那里有一堵墙，但我不知道在哪”）时，BWTS 算法表现出色。在这种情况下，它使用的样本量（尝试次数）比标准规划器少了一半，尽管它在进行复杂数学运算时耗费了更多的计算机时间。
复杂环境： 该系统甚至能在“蚂蚁迷宫 U 型室”（Ant-Maze U-Room）这种具有 29 个维度 运动的高维挑战中运行。旧方法需要大约 10,000 步 来构建地图，而新方法在约 1,507 步 内（使用 BWTS 规划器时甚至只需 1,134 步）就达到了目标。

他们没发现什么（以及他们拒绝了什么）

论文谨慎地说明了在这种特定设置下哪些方法并不奏效。他们测试了一种名为 BAMCP 的流行算法，该算法试图通过假设迷宫的每个部分都是独立的（例如假设厨房里的墙与卧室里的墙无关）来处理不确定性。作者发现，这种方法在他们的迷宫测试中表现糟糕。因为墙壁在结构上是相互关联的（如果这里有一堵墙，那么那里就不可能有墙），这种独立性假设导致了错误的决策并浪费了时间。在平均 28 到 40 步 处，BAMCP 表现不如新方法（新方法为 21 到 23 步），且运行速度更慢。

作者还指出，虽然他们的方法更快，但 BWTS 算法的计算量很大。如果你没有任何关于世界的先验知识，那么更简单的 “D*” 规划器（一种标准的增量规划器）实际上更快且足够好用。只有当你拥有可以利用的特定结构化提示时，才需要使用高级的 BWTS 树搜索。

总结

这篇论文表明，通过将灵活的学习大脑与能够实时更新地图的逻辑规划器相结合，机器人可以比以往更快地学习如何导航复杂的未知世界。他们不仅仅是在模拟一个机器人，他们还证明了在这些特定的迷宫场景中，新方法始终优于旧有的“先学完一切再行动”的方法，节省了大量的资源和时间。这是迈向让机器人能够探索新房子、学习家具位置并找到厨房，而无需为每个房间都准备一份手册的一大步。

技术摘要：基于增量知识的神经符号推理用于样本高效的分层强化学习

1. 问题陈述

深度强化学习（DRL）智能体在具有稀疏奖励和长程推理特征的环境中表现挣扎，通常面临样本复杂度过高的难题。虽然分层强化学习（HRL）通过跨抽象层级分解任务来缓解这一问题，但标准方法通常依赖于非增量知识（non-InK）范式。在这些方法中（如 SoRB 和 RGL），高层符号规划器要求在任何目标导向行为开始之前，必须先通过详尽的探索构建一个完整的、静态的抽象世界模型。这产生了一个根本性的低效问题：无论具体目标是什么，智能体都必须探索整个环境。

此外，在神经符号 HRL 中，高层符号规划器与低层神经控制器之间往往存在语义鸿沟。高层规划器假设某些动作是可行的，但由于动态约束、随机性或未建模的障碍物，低层神经策略（通常是独立训练或在不同环境中训练）可能会执行失败。现有的神经符号方法缺乏根据低层执行反馈来更新高层世界模型的机制。相反，机器人领域经典的增量知识（InK）方法（例如 Active SLAM, D*）虽然在执行过程中更新世界模型，但通常假设两层都是符号化的，未能解决依赖于策略的神经低层控制器的动力学问题。

最后，当存在结构化先验知识时（例如“在未知位置恰好存在一堵墙”），当前的规划算法（如 D* 或贝叶斯自适应 MDP 求解器 BAMCP）是次优的。D* 根据当前观测进行重规划，但忽略了可能的世界集合（信念集）以优化平均情况性能。BAMCP 假设状态-动作转换之间是独立的，这无法捕捉结构性约束，即一个障碍物的位置会限制其他可能性的情况。

2. 方法论

作者提出了具有增量知识的神经符号 HRL (Neurosymbolic HRL with InK)，该框架将符号规划与神经控制相结合，同时根据执行轨迹不断更新世界模型。

2.1 具有 InK 的神经符号 HRL

该框架采用两层层次结构：

高层（符号）： 维护一个可更新的抽象世界模型 ( $M$ )，将环境表示为一组符号状态和动作。它使用增量规划器（如 D*）进行规划以生成子目标。至关重要的是，该模型根据来自低层执行的反馈进行实时更新。
低层（神经）： 一个目标条件神经策略 ( $\pi_l$ ) 执行连续运动控制，以到达高层提供的子目标。它充当传感器；其成功与失败提供了更新高层模型所需的执行轨迹 ( $\rho$ )。
协同： 高层规划器引导低层智能体前往一个子目标。如果低层智能体失败（例如撞到意外的墙壁），监控器会检测到这一点，高层模型随之更新以反映新的约束。随后，规划器进行重规划。这消除了预先进行详尽探索的需求，使得从第一个回合开始就能进行目标导向的行为。

2.2 信念世界树搜索 (BWTS)

为了解决标准增量规划器（如 D*）未能利用关于一组可能世界 ( $W_0$ ) 的结构化先验知识的局限性，作者引入了信念世界树搜索 (Belief World Tree Search, BWTS)。

问题形式化： 智能体运行在一个真实的物理世界 $W_{true} \in W_0$ 中，其中 $W_0$ 是编码了结构化先验的可能世界有限集合（例如“存在一堵墙，位置未知”）。目标是找到一个策略 $\pi$ ，使在所有 $W_0$ 中的世界上的平均代价最小。
树结构： BWTS 构建一个包含两种类型的节点：
- 决策节点： 代表智能体的动作选择。
- 机会节点： 代表动作的结果（例如，路径是否被墙阻挡），将信念集 $W$ 分割为子集（存在墙的 $W^-$ 和不存在墙的 $W^+$ ）。
策略性展开 (Strategic Rollouts)： 与使用随机展开的标准蒙特卡洛树搜索 (M-CTS) 不同，BWTS 采用策略性展开。它在所有当前信念集中的世界中评估固定的、确定性的策略（例如“向左扫掠”、“向右扫掠”、“移动到目标点”）来估计节点值。这减少了方差并避免了随机展开中常见的循环问题。
选择与扩展： 算法使用类似于上置信界 (UCB) 的公式来平衡探索与利用。它优先扩展具有较大信念集的分支，因为这些分支需要更多的探索来消除不确定性。
收敛性： 从理论上讲，只要树被完全扩展，BWTS 就会随着迭代次数的增加而收敛到 InK 问题的最优策略。

3. 核心贡献

具有 InK 的神经符号 HRL： 提出了一种层次化框架，其中高层符号规划器维护一个由神经低层控制器引导的可更新世界模型。这种方法通过使用低层执行反馈来精炼高层抽象，弥合了语义鸿沟，实现了样本高效的学习，而无需预先进行详尽的探索。
信念世界树搜索 (BWTS)： 开发了一种规划算法，可在具有结构依赖性的世界集合上优化平均情况性能。BWTS 改进了 MCTS，使其能够处理具有结构先验的完全可观测但动力学未知的环境，克服了 BAMCP 的独立性假设以及 D* 缺乏对信念集利用的问题。
经验验证： 证明了 InK HRL 在各种导航任务（包括高维连续控制的 Ant-Maze）中，在样本效率方面显著优于非 InK 基准方法。

4. 实验结果

作者在 Point-Maze 环境（四房间、中型迷宫、困难迷宫）和高维 Ant-Maze U-Room 上评估了他们的方法。

InK 对比非-InK (RGL)：
- 样本效率： 在从零开始（无先验知识）到达目标的过程中，InK 所需的样本量比 RGL 少 30 到 100 倍。例如，在困难迷宫中，InK 在约 209 步内到达目标，而 RGL 需要约 17,456 步。
- 训练效率： 即使在 RGL 完成其广泛的训练阶段（100k+ 样本）后，InK（在仅构建了 75 个目标以建立知识库后）仍然更高效，每个目标的样本需求减少了 18%，且单目标耗时减少了 20 倍。
- 高维控制： 在 Ant-Maze（29 维）中，InK 在约 1,500 步内（使用 D*）或约 1,134 步内（使用 BWTS）到达目标，而非 InK 基准方法需要约 10,000 步来构建完整的抽象模型。
符号规划器对比 (D vs. BWTS vs. BAMCP)：*
- BWTS 对比 D：* 在具有结构化先验（例如单水平墙）的合成网格世界中，BWTS 通过利用信念集来避免代价高昂的回溯，实现了更低的预期代价（相比 D* 提升了 15.7%）。然而，在没有明显结构优势的复杂场景（例如混合墙类型）中，BWTS 的运行时开销相对于边际收益而言非常显著。
- BWTS 对比 BAMCP： BAMCP 表现较差（通常 >28 步，而 D* 约为 24 步），并且由于依赖随机展开以及无法建模结构依赖性（例如“如果 A 有墙，则 B 无墙”），表现不稳定。BWTS 的策略性展开和对结构约束的显式建模产生了更优越的性能。
- 先验知识： 当存在先验知识时（例如已知三种迷宫类型），InK-BWTS 的样本计数比 InK-D* 减半，尽管它在规划阶段产生了更高的计算运行时间。

5. 重要性与主张

论文声称，具有 InK 的神经符号 HRL 为在复杂的、稀疏奖励的环境中进行样本高效学习提供了一种实用的方法。通过将符号规划的结构化推理与神经控制器的适应性相结合，该框架允许智能体在知识不完全的情况下行动，并随着新信息的获取不断精炼其决策，这模仿了人类的推理过程。

作者强调：

样本效率： 与最先进的非 InK 方法相比，该方法在 Point Maze 环境中实现了超过 100,000 个环境步的增益。
不确定性下的最优性： BWTS 提供了一种在信念世界上进行平均最优规划的方法，填补了增量重规划器（忽略先验）和贝叶斯规划器（假设独立性）留下的空白。
通用性： 该框架适用于低维和高维连续控制问题，前提是存在一个预训练或可学习的目标条件低层策略。

该工作总结道，虽然 BWTS 引入了计算开销，但在存在结构化先验知识时，这种权衡是合理的；而 InK 框架本身即使在没有此类先验的情况下，与传统的 HRL 相比也提供了实质性的效率提升。未来的工作建议将其扩展到操作任务，并将结构化先验与概率先验统一到一个算法中。