🤖 machine learning

A Reward-Petri-Net Interpretation of Temporal Behavior Trees

本文提出将时间行为树（Temporal Behavior Trees）解释为奖励佩特里网（Reward-Petri-Nets），以自动生成用于强化学习的结构化奖励函数，从而实现对具有层级和时间约束的复杂长程机器人任务的高效学习，而标准方法在这些任务中往往会失效。

原作者： Till Schmeil, Günther Waxenegger-Wilfing, Sebastian Schirmer

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Till Schmeil, Günther Waxenegger-Wilfing, Sebastian Schirmer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何打扫乱七八糟的房子。在人工智能领域，这被称为强化学习 (Reinforcement Learning, RL)。机器人通过尝试、犯错并获得“奖励”（比如数字形式的击掌）来学习。

问题在于，正如作者所指出的，打扫整个房子是一个漫长且复杂的任务。如果你只有在整个房子都打扫干净时才给机器人一个击掌，它可能会在原地徘徊好几天却从未获得过任何奖励。它会迷失方向、放弃尝试，并且永远学不会。这就是“稀疏奖励 (sparse reward)”问题。

这篇论文提出了一种巧妙的新方法来给机器人提供反馈，使用了一个名为时序行为树 (Temporal Behavior Trees, TBTs) 并将其转化为 奖励 Petri 网 (Reward Petri Nets, RPNs) 的系统。以下是其工作原理的拆解：

1. 蓝图：时序行为树 (TBTs)

把行为树 (Behavior Tree) 想象成机器人的流程图或食谱。

标准食谱： “去厨房，然后打开冰箱，然后拿走牛奶。”
问题所在： 标准食谱对时间的处理并不好。如果机器人需要“最终”找到牛奶，或者“一直拿着”牛奶直到到达餐桌，该怎么办？
解决方案 (TBT)： 作者升级了这个食谱。他们在步骤中直接加入了“时间规则”（使用一种叫做线性时序逻辑的东西）。
- 例子： 不仅仅是“开门”，规则是“最终打开门，并且接着保持门开启状态”。
- 这使得机器人能够理解复杂的序列，例如：“做 A，然后做 B，但如果 B 失败了，尝试 C，并且确保在做 E 的同时做 D。”

2. 转换器：从树到网络 (Petri Nets)

流程图对人类来说很直观，但计算机需要另一种语言来即时计算奖励。作者创建了一个转换器，将 TBT “食谱”转化为 Petri 网。

类比： 想象一个标记 (token)（就像一颗弹珠）在由管道和开关组成的网络中移动。
运作方式：
- 网络中的位置 (Places) 是你食谱中的步骤（例如，“寻找钥匙”、“开门”）。
- 变迁 (Transitions) 是将弹珠从一个步骤移动到下一个步骤的动作。
- 标记 (Tokens) 代表进度。当机器人成功完成“寻找钥匙”时，一颗弹珠会移动到“开门”站台。
- 守卫 (Guards)： 这些是管道处的保安。它们会在允许弹珠移动之前，检查机器人是否真的在做正确的事情。如果机器人失败了，弹珠可能会卡住或重置。

3. 核心秘诀：奖励 Petri 网 (RPNs)

这是核心创新点。作者在弹珠网络中加入了奖励。

自动击掌： 程序员不再需要猜测在哪里给予奖励，系统会在弹珠穿过管道时自动发放“积分”。
智能分配： 系统可以决定如何分配奖励的“权重”。
- 场景： 如果任务是“找钥匙，然后开门，最后拿到宝藏”，系统可以为找到钥匙给一点小奖励，为开门给较大的奖励，并为拿到宝藏给最大的奖励。
- 这能引导机器人一步步前进，即使是在巨大的复杂迷宫中，它也不会感到迷茫。

4. “回溯”功能

描述中一个非常酷的特性是回溯 (backtracking)。

想象机器人尝试开门，但门锁住了。在标准系统中，它可能会对着门一直撞，直到永远。
在这个系统中，如果机器人失败了（“守卫”说“不！”），弹珠会被重置。系统本质上是在说：“好吧，那条路径失败了。让我们重置那个特定的步骤，然后尝试另一种方法。”这防止了机器人陷入失败的死循环。

5. 结果：有效吗？

作者在名为 MiniGrid（一个基于网格的迷宫游戏）的数字世界中测试了该方法。

挑战： 他们使用了难度不断增加的迷宫，机器人必须按特定顺序寻找钥匙、移动障碍物并解锁门。
结果：
- 原生 RL (旧方法)： 机器人失败了。由于得不到足够的反馈，它无法搞清楚漫长的步骤序列。
- TBT + RPN (新方法)： 机器人成功学会了。它完成复杂任务的速度更快，尝试次数也更少。
- 灵活性： 通过改变奖励的分布方式（例如，为后续步骤提供更多分数），他们可以控制机器人的学习过程，使其更加高效。

总结

可以将这篇论文看作是为机器人发明了一个带有转向指令和进度条的 GPS。

旧方法： “开车去那个城市。”（机器人会在原地转圈，感到困惑）。
新方法 (TBT + RPN)： “左转，然后行驶 2 英里，然后右转。每完成一次正确的转向，你都会得到一个点数；如果你错过了一个转向，我们会把你重置到上一个正确的路口。”

作者展示了通过将复杂的基于时间的规则转化为由移动标记组成的网络，他们可以自动生成完美的“计分卡”，从而教会机器人解决高难度的长期谜题。

技术摘要：一种基于奖励 Petri 网的解释性时间行为树

问题陈述

强化学习（RL）在具有稀疏奖励的长时程（long-horizon）环境中面临显著挑战。在这些设置中，由于奖励信号延迟且不频繁，智能体难以进行有效的信用分配（credit assignment）和探索。虽然规范语言（如线性时序逻辑或自动机）已被用于自动推导奖励函数，但它们往往缺乏用户对子任务相对重要性的控制。相反，对于具有层次结构和时间约束的复杂任务，手动进行奖励塑造（reward shaping）非常困难。本文解决的核心问题是：如何从形式化任务规范中生成密集且信息丰富的奖励函数，同时保留用户对于任务层级和子任务关键性的直觉。

方法论

作者提出了一种将**时间行为树（Temporal Behavior Trees, TBTs）解释为奖励 Petri 网（Reward Petri Nets, RPNs）**的框架，用以引导强化学习智能体。

1. 时间行为树 (TBTs)

TBTs 通过在叶节点中引入**线性时序逻辑（LTL）**公式来扩展传统的行为树（BTs）。

结构： TBTs 利用标准的 BT 算子：Sequence（顺序执行）、Fallback（尝试备选方案直到成功）以及 Parallel（并行执行多个分支，需要特定数量成功）。
叶节点： 叶节点不再是简单的动作，而是包含 LTL 公式（例如 $\Diamond a$ ，表示“最终实现 $a$ ”）。
语义： 该树定义了一个轨迹满足条件。如果执行历史满足由算子和叶公式定义的逻辑约束，则该轨迹满足 TBT。

2. 奖励 Petri 网 (RPNs) 的构建

论文形式化了从 TBT 规范到 RPN 的转换过程。RPN 是一个扩展了守卫（guards）、动作（actions）和奖励（rewards）的 Petri 网。

映射：
- 库所 (Places, $P$ )： 代表 TBT 节点（包括控制流节点和叶节点）。
- 变迁 (Transitions, $T$ )： 代表节点的满足或违反。
- 令牌 (Tokens)： 追踪智能体满足 TBT 的进度。
- 守卫 (Guards, $G$ )： 基于由 LTL 公式导出的自动机输出的布尔表达式。只有当守卫评估为真时（例如，某个叶节点的 LTL 公式被满足），变迁才会触发。
- 动作 (Actions, $Act$)： 管理底层自动机的生命周期（启动/停止），以处理回溯。如果一个叶节点失败（返回 false），则重置自动机，这允许智能体重试，对于非单调属性至关重要。
确定性： 该构建过程通过使用控制库所（例如 cT）来管理 Fallback 和 Parallel 节点中的令牌流，从而确保确定性行为，防止无限循环或歧义状态。

3. 奖励分配与分布

RPN 框架允许根据 TBT 结构自动进行奖励分配。

分布函数： 作者定义了递归函数（ $f_{nLeaf}, f_{nFback}, f_{nParM}, f_{nSeq}$ $f_{n L e a f}, f_{n F ba c k}, f_{n P a r M}, f_{n S e q}$ ）将总奖励 $r$ $r$ 分配到树中。
- 叶节点： 为满足情况分配正向奖励（ $R(t_\phi) = r$ ），并为失败情况分配较小的惩罚（ $R(t_{\neg\phi}) = -\alpha r$ ）。
- 控制节点：
  - Fallback：将全部奖励转发给子树；智能体因满足任何一个分支而获得奖励。
  - Sequence：分配奖励，使得后期的子任务可以根据方案被赋予更高或更低的权重（例如，使用单调递增奖励来优先考虑任务完成）。
  - Parallel：根据满足的分支数量来分配奖励。
嵌入 MDP： RPN 被嵌入到马尔可夫决策过程（MDP）中。在每一步，RPN 状态（标记）根据智能体的观测结果和 LTL 自动机的判定进行更新。总奖励是由所有触发变迁的奖励之和。

核心贡献

形式化转换： 论文提供了一种严谨的构建方法，将 TBT 规范转换为奖励 Petri 网，弥合了高层时序逻辑规范与底层强化学习奖励信号之间的鸿沟。
模块化奖励塑造： 通过利用 TBT 的层次结构，该方法允许用户直观地控制奖励分布（例如，在序列中优先考虑特定的子任务），而无需手动设计密集的奖励函数。
处理回溯： 将自动机与 RPN 集成，实现了“回溯”机制，使失败的叶节点能够被重置，从而允许智能体重试子任务，同时仍能获得适当的惩罚，这对于在非确定性环境中学习至关重要。
可扩展性： 该方法证明了基于 TBT 的奖励可以扩展到 vanilla RL 失效的日益复杂的环境中，为处理层次化和时序约束提供了一种结构化的方式。

实验结果

作者使用 MiniGrid 框架和 PPO 算法在四个难度递增的环境中评估了该方法：

Unlock：顺序拾取钥匙并解锁门。
UnlockPickup：在解锁后增加了目标物体获取任务。
BlockedUnlockPickup：引入了必须先移动才能解锁的障碍物。
ObstructedMaze-2Dlh & ObstructedMaze-1Q：复杂的迷宫，包含多个锁定的门、障碍物和长时程，已知是标准 PPO 难以处理的任务。

对比方法：

Vanilla Baseline：标准稀疏奖励。
TBT-Baseline：在观测空间中使用 TBT，仅在全任务完成时给予单位奖励。
TBT-Uniform：将单位奖励均匀分布在所有 TBT 节点上。
TBT-MONINC：将单位奖励分配给具有严格单调递增值的叶节点（优先考虑后期的子目标）。

研究发现：

学习成功率：Vanilla RL 在最难的环境（ObstructedMaze）中未能学习。所有基于 TBT 的方法都实现了学习。
样本效率：与 vanilla 基准相比，基于 TBT 的方法显著提高了样本效率。
奖励分布的影响：TBT-MONINC 变体在最复杂的环境中显示出略微优于其他方案的学习速度，这表明优先考虑后期的子目标比均匀分布更能有效地引导智能体完成任务。
鲁棒性：该方法在环境的程序化生成变化中表现出了鲁棒性。

意义与主张

论文声称，将 TBTs 解释为 RPNs 为生成长时程 RL 奖励提供了一种灵活且直观的机制。

表达能力： 由于其层次化算子，TBTs 具有比标准 LTL 或信号时序逻辑（STL）更强的表达能力。
控制力： 与完全自动化的自动机奖励推导不同，该方法通过 TBT 结构和奖励分布函数保留了用户对子任务权重的控制。
模块化： 该方法促进了模块化构建，允许从更简单的、可重用的 TBT 组件构建复杂的任务。
未来方向： 作者指出，该框架非常适合多智能体 RL（由于 Petri 网固有的并发处理能力），并计划探索通过 RPN 上的值迭代进行自动奖励塑造，以及将 TBTs 用作学习过程中的“屏蔽器（shields）”。

这项工作不仅将 TBTs 定位为一种规范工具，还将其定位为一种直接的、结构化的密集奖励信号生成器，旨在克服稀疏奖励环境中固有的探索和信用分配瓶颈。