🤖 AI

Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies

本文提出了一种神经符号框架，该框架通过将规范编译为可微的确定性有限自动机，将有限轨迹上的线性时序逻辑（LTLf）约束集成到基于 Transformer 的自回归强化学习策略中，从而在保持离线强化学习任务中具有竞争力的回报的同时，提高了约束满足率。

原作者： Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心愿景：教机器人如何在没有试错机会的情况下遵守规则

想象一下，你正在试图教一个机器人走迷宫。在现实世界中，如果机器人撞到了墙，它会学到“哎哟，下次别这么做”。但在**离线强化学习（Offline Reinforcement Learning）**中，机器人是不被允许接触真实世界的。它只能通过研究别人留下的、记录了过去尝试过程的巨型“相册”来进行学习。

问题在于？相册里的机器人可能会犯错。如果你只是告诉机器人“尽可能拿高分”，它可能会学会模仿那些错误，因为在过去的记录中，这些错误虽然危险，却带来了高分。

这篇论文介绍了一种教导机器人的新方法：神经符号注入（Neuro-Symbolic Injection）。你可以把它想象成给机器人一本用严密的逻辑语言（LTLf）编写的“规则手册”，并强制机器人在研究相册的同时，也必须研读这本规则手册。

核心问题：“奖励陷阱”

标准的 AI 模型（比如这篇论文中使用的 Transformer）就像是那些对拿“A”极其痴迷的天才学生。它们看着相册说：“好吧，我看到这张照片里，机器人踩到了炸弹，但随后它获得了巨大的奖励。我也要这样做！”

但在安全至上的场景中（如自动驾驶汽车或医疗机器人），踩到炸弹意味着“游戏结束”。你不能仅仅说：“没关系，我稍后会拿到奖励。”你需要确保机器人永远不会踩到炸弹，即使这意味着要走一条更长的路。

解决方案：“交通警”与“逻辑引擎”

作者构建了一个系统，就像一名交通警，站在学习中的学生机器人旁边进行监督。

规则手册 (LTLf)： 研究人员不再使用像“保持安全”这样模糊的指令，而是使用线性时序逻辑（Linear Temporal Logic）。这就像一份精确的法律合同。
- 糟糕的指令： “尽量不要撞到炸弹。”
- LTLf 指令： “你必须始终避开炸弹，并且你最终必须到达终点。”
- 这涵盖了整个旅程，而不仅仅是下一步。
交通警 (DFA)： 计算机将那份法律合同转化为一个确定性有限自动机（Deterministic Finite Automaton, DFA）。你可以把它想象成一个流程图或棋盘地图。
- 每当机器人在训练中迈出一步，交通警就会检查流程图。
- “你踩到炸弹了吗？没有？很好，移动到地图上的下一个方格。”
- “你踩到炸弹了吗？是的？停止。 你现在进入了‘失败’区域。”
“软性”引导 (可微损失/Differentiable Loss)： 这是神奇之处。通常，流程图是僵硬的：你要么安全，要么死亡。但机器人是通过对其大脑进行微小的调整（从数学角度来说）来学习的。你无法调整一个“死亡”状态。
- 作者让交通警变得可微（differentiable）。这意味着交通警不仅仅是说“失败”，它还会说：“你现在有 90% 的安全性，但你正在接近危险区。请稍微调整你的大脑，远离危险。”
- 这创造了一种逻辑损失（Logic Loss）。这就像一位老师，不仅根据最终考试给学生评分，还在他们完成作业的每一个步骤中进行细微的纠正，在他们犯下致命错误之前给予温柔的提醒。

他们如何测试： “ColourBomb” 游戏

他们在名为 ColourBomb 的网格世界游戏中进行了测试。

目标： 到达一个有颜色的出口。
危险： 红色的“炸弹”单元格，一旦踩中会立即结束游戏。
挑战： 机器人必须学会如何在绝不踩到炸弹的前提下到达终点。

他们对比了两类 AI 模型：

决策 Transformer (Decision Transformer, DT)： 根据历史记录决定下一步动作的模型。
轨迹 Transformer (Trajectory Transformer, TT)： 一次性预测整条路径的模型。

实验结果：从“混乱”到“冠军”

没有逻辑警（基准模型）时：
机器人的表现非常糟糕。它们不断踩到炸弹，因为它们仅仅是在根据给定的混乱数据来追求奖励最大化。它们几乎 100% 的时间都无法安全到达终点。

有了逻辑警（新方法）后：
通过加入“逻辑损失”（即交通警的温柔引导），结果发生了戏剧性的变化：

安全性： 机器人停止了撞向炸弹。在最佳设置下，它们实现了 100% 的安全性。
成功率： 它们成功到达了终点。
性能： 它们不仅变得安全，而且实际得分比那些不安全的机器人还要高，因为它们不会因为死亡和重启而浪费时间。

权衡：寻找“黄金分割点”

研究人员发现了一个“金发姑娘原则”（Goldilocks）区间（即不多不少，刚刚好的状态）。

如果逻辑警太弱（“引导”太少），机器人会忽视规则并踩到炸弹。
如果逻辑警太强，机器人会因为过于害怕规则而陷入僵局，原地不动（虽然安全，但无法到达终点）。
通过调节逻辑警的“强度”（一个被称为 $\alpha$ 的参数），他们找到了一个完美的平衡点，使机器人既能安全又能成功。

总结

这篇论文表明，即使你无法让机器人在现实世界中进行练习，你也可以教会 AI 遵循严格且复杂的安全规则（例如“始终避开 X，但最终要完成 Y”）。通过将这些规则转化为数学意义上的“流程图”，并利用它来温柔地纠正 AI 的学习过程，他们创造出了比仅靠奖励驱动的训练方式更安全、更可靠的机器人。

核心要点： 你不需要重写机器人的整个大脑或它所学习的数据。你只需要添加一个“逻辑层”，它作为一个持续且温柔的引导者，确保机器人在学习过程中从一开始就养成正确的习惯。

技术摘要：在自回归强化学习策略中神经符号化注入 LTLf 约束

问题陈述
在离线强化学习（Offline RL）中，智能体仅从预先收集的数据集中学习策略，而不进行在线交互。虽然最近的序列建模方法（如轨迹 Transformer (TT) 和决策 Transformer (DT)）已成功将强化学习建模为序列生成问题，但它们通常仅针对累积回报进行优化。这在安全至上的领域（如机器人技术、自主导航）中造成了关键性的空白，因为在这些领域中，策略必须遵循高层级的、具有时间延伸性的约束。标准的基于奖励的优化无法保证策略满足复杂的时序逻辑要求，例如“最终到达目标的同时始终避开危险”，尤其是在无法通过试错探索来纠正违规行为的离线设置中。

方法论
作者提出了一种神经符号化框架，将线性时序逻辑有限迹（LTL $_f$ ）约束直接注入到基于自回归 Transformer 的策略训练过程中。其核心方法论包含三个主要部分：

LTL $_f$ 到 DFA 的编译： 高层级时序规范被编译为确定性有限自动机（DFA）。这种转换允许将逻辑约束表示为能够处理标记（token）序列的状态转移系统。
可微逻辑损失： 为了将这些离散自动机集成到神经网络的连续优化中，作者采用了可微表示。
- 软满足信号： 不同于硬采样，该框架使用 Gumbel-Softmax 采样在训练期间生成可微的、近乎独热（near-one-hot）的标记向量。
- DeepDFA 集成： 这些软标记被输入到一个“DeepDFA”中，它是标准 DFA 的一种神经松弛形式。该模块计算概率满足信号，指示生成的轨迹满足 LTL $_f$ 公式可能性的大小。
- 正则化： 从满足概率的负对数似然导出逻辑损失函数（ $L_\phi$ ）。该损失通过加权和与标准监督序列建模损失（ $L_{\mathcal{D}}$ ）结合： $L = \alpha L_\phi + (1 - \alpha) L_{\mathcal{D}}$ ，其中 $\alpha$ 是一个权衡参数。
架构无关性： 该框架被设计为在自回归序列模型类别内具有模型无关性。它利用一个共享的“逻辑适配器”来处理从标记到符号的映射以及 DFA 展开（rollouts），使其无需修改底层结构即可适用于 TT 和 DT 架构。

主要贡献
论文概述了三个主要贡献：

统一的神经符号化框架： 一种将 LTL $_f$ 约束注入基于自动机的模块中以增强 Transformer 类离线强化学习策略的方法，且该方法具有架构无关性。
规范化评估栈： 一个一致的剧终（end-of-episode）评估流水线，使数据集序列化、标记-符号映射和逻辑评估保持一致，从而防止训练与时序逻辑评估之间的语义不匹配。
实证分析： 在导航领域进行的系统性评估，展示了在不同逻辑引导水平下任务性能（回报）与约束满足度之间的权衡。

实验结果
该框架在 ColourBomb 导航环境中进行了评估，测试了两种规范类型：不变安全性（ $G(\neg \text{bomb})$ ）和 安全到达（ $G(\neg \text{bomb}) \land F(\text{goal})$ ）。

决策 Transformer (DT)：
- Vanilla DTs（未进行逻辑正则化）完全失败，撞击了炸弹单元格且未能到达目标。
- 引入逻辑正则化并使用高权衡参数（ $\alpha = 0.8$ ）后，在安全性和安全到达规范上均实现了 100% 的满足率。
- 至关重要的是，这种高约束设置也提高了平均回报（从 -1.460 提升至 -0.780），因为它消除了灾难性的失败（撞击炸弹），这证明了在离线设置中，约束满足可以与性能对齐。
轨迹 Transformer (TT)：
- Vanilla TTs 表现出部分的安全性合规，但目标达成率较低。
- 逻辑正则化提高了满足率并降低了炸弹撞击率。对于不变安全性任务， $\alpha = 0.8$ 产生了最佳效果。对于更复杂的安全到达任务，较低的权重（ $\alpha = 0.1$ ）提供了最优平衡，使满足率和回报都优于基准模型。
- 作者指出，虽然观察到了改进，但 TT 中的改进程度较 DT 较为温和，这一差异留待未来研究。

意义与主张
论文声称，将符号背景知识直接集成到学习目标中（而非修改数据表示或依赖奖励塑造），是提高安全至上的离线强化学习策略可靠性的一个有前景的方向。

关于该方法重要性的关键主张包括：

直接约束注入： 不同于依赖环境模型的屏蔽（shielding）方法或难以设计的奖励塑造（reward shaping）方法，该方法将时序逻辑知识直接注入训练损失中。
通用性： 该框架支持任意 LTL $_f$ 公式，扩展到了“安全性片段”之外，涵盖了活性（liveness）和复杂的时序组合。
性能保持： 结果表明，强制执行严格的逻辑约束并不一定会降低任务性能；在测试场景中，它实际上通过防止 vanilla 模型经常遇到的灾难性后果，提高了回报。

作者保持了谦逊的语气，承认该方法目前仅限于离线设置，并且在 TT 中观察到的改进不如 DT 显著。他们将未来的工作确定为将评估扩展到更多的基准测试、模型架构，并与已有的安全强化学习框架进行广泛的端到端比较。