🤖 AI

Differentiable Learning of Lifted Action Schemas for Classical Planning

本文提出了一种新颖的神经网络架构，该架构能够稳健地学习提升的动作模式，并从完全观测的状态轨迹中推断未观测的动作参数，从而作为神经符号规划模型中的可微分组件。

原作者： Jonas Reiter, Jakob Elias Gebler, Hector Geffner

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jonas Reiter, Jakob Elias Gebler, Hector Geffner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩像推箱子（Sokoban）或汉诺塔（Tower of Hanoi）这样的游戏，但你有一个非常具体的限制：你能看到每一步移动前后的棋盘状态，并且知道做了什么动作（例如，“移动方块”），但你无法看到机器人内部关于具体移动了哪些方块的指令。

这就是论文《经典规划中提升动作模式的微分学习》（Differentiable Learning of Lifted Action Schemas for Classical Planning）试图解决的谜题。作者 Jonas Reiter、Jakob Elias Gebler 和 Hector Geffner 构建了一种名为DIAS（动作模式的微分归纳）的新型人工智能，旨在仅通过观察棋盘变化来推断游戏的隐藏规则。

以下是他们如何做到的简单分解，使用了日常类比。

1. 问题：“黑盒”厨师

想象一位大师级厨师正在烹饪一顿复杂的饭菜。你可以看到他们开始前的食材（状态 A）和之后盘子里的成品菜（状态 B）。你也知道厨师使用了“切”这个动作。

然而，你不知道厨师切了哪根具体的胡萝卜。是大的一根？小的一根？还是已经削好皮的那一根？

旧方法通常需要你明确告诉 AI 具体切了哪根胡萝卜。
DIAS必须推断出：“根据胡萝卜堆的变化，厨师一定切了那根大的。”

目标是学习适用于任何胡萝卜的通用规则（即“模式”），而不仅仅是视频中那根特定的胡萝卜。这就像学习食谱“切任何蔬菜”，而不仅仅是“切这根特定的胡萝卜”。

2. 解决方案：“侦探”神经网络

作者创建了一个像侦探一样的神经网络。它主要分为两个阶段：

阶段 1：“谁干的？”侦探（选择）

AI 查看游戏棋盘的“之前”和“之后”图片。它使用图神经网络（GNN）——你可以将其想象成一只超级聪明的眼睛，能看到物体之间的关系（例如，“方块 A 在方块 B 上面”）。

AI 为棋盘上的每个物体创建一个“指纹”（嵌入）。
然后它问：“这些指纹中哪一个匹配‘移动’动作的‘槽位’？”
它使用一种称为Sinkhorn的数学技巧（想象一种将卡片高效分类到堆中的方法）来将正确的物体分配给动作中的正确角色。这就像 AI 在说：“我有 90% 的把握机器人移动的是红色方块，而不是蓝色方块。”

阶段 2：“发生了什么？”侦探（效果）

一旦 AI 猜出涉及了哪些物体，它就会尝试学习游戏规则：

前提条件：移动前必须满足什么条件？（例如，“方块顶部必须是空的”）。
效果：移动导致了什么变化？（例如，“方块现在在桌子上”）。

AI 将这些规则以符号格式（如称为 PDDL 的计算机代码）写下来。然后，它使用这些猜测的规则模拟移动，看看是否能正确预测“之后”的图片。如果模拟结果与真实的“之后”图片匹配，AI 就会收到“做得好”的信号。如果不匹配，它就会调整猜测并再次尝试。

3. “魔法”成分：可微学习

通常，确定“哪个物体被移动了”是一个二元选择（要么是红色方块，要么是蓝色方块）。这对 AI 来说很难学习，因为你无法轻易地将答案“微调”到一半。

这篇论文的突破在于使这个过程变得可微。

类比：想象你正在调收音机寻找清晰的频道。你不是从频道 1 跳到频道 2，而是可以慢慢滑动旋钮。
DIAS 不仅仅猜测“红色方块”。它猜测"80% 红色方块，20% 蓝色方块”。这使得 AI 能够使用梯度下降（一种标准的机器学习技术）慢慢将其猜测滑向完美答案，而不是陷入错误猜测的循环中。

4. 他们的发现（结果）

团队在 13 个不同的经典规划领域（如方块世界、物流和汉诺塔）上测试了 DIAS。

完美分数：当他们向 AI 提供完整的参数列表（确切告知哪些方块移动了）时，它每次都完美地学会了规则。
困难模式：当他们隐藏参数（仅提供动作名称，如“移动”）时，它仍然在13 个领域中的 8 个里完美地学会了规则。在其他领域，结果也非常接近。
抗噪性：他们用“有噪声”的数据进行了测试（其中关于棋盘的一些事实被随机翻转，例如说一个方块是空的，而实际上它被覆盖了）。DIAS 对此处理得相当好，尽管过多的噪声最终还是会让它困惑。
比较：他们将他们的方法与传统的符号方法（L1）进行了比较。DIAS 在找到正确规则方面要好得多，特别是在旧方法未能找到所有必要条件的复杂领域中。

5. 为什么这很重要（不过度承诺）

该论文声称这是对更难问题的简化：直接从图像（如观看机器人手臂移动方块的录像）中学习规划规则。

当前的成就：他们完美地解决了“中间步骤”。他们证明了如果你能看到符号状态（事实列表）但看不到参数，你仍然可以使用神经网络学习规则。
未来的目标：作者希望最终能将这个"DIAS"模块插入到一个更大的系统中，该系统直接查看原始图像并学习规则，而不需要人类先将图像翻译成事实列表。

简而言之：这篇论文提出了一种新的 AI 侦探，它可以观察一场游戏，猜测哪些棋子移动了，并推导出游戏的通用规则，所有这一切都通过一种平滑的、基于数学的学习过程完成，避免了陷入死胡同。

技术摘要：经典规划中可微分的提升动作模式学习

问题定义

本文探讨了从观测轨迹中学习经典规划领域提升动作模式的挑战。具体而言，作者针对的设定是：状态被完全观测（表示为 grounded STRIPS 原子），但动作参数未被观测。输入由三元组 $\langle s, a, s' \rangle$ 组成，其中 $s$ 和 $s'$ 是 grounded 状态， $a$ 可以是完整的动作名称、STRIPS+ 动作（部分参数被观测）或仅动作名称。

核心难点在于同时推断的同构难题：

动作参数：识别状态中的哪些对象与动作的参数绑定。
提升模式：以提升的符号形式学习每个动作模式的预条件（preconditions）和效果（add/delete 列表）。

该问题被表述为从图像序列和动作标签中学习这一更现实任务的简化版，旨在以近乎完美的精度解决符号抽象步骤，以便将其集成到更大的神经符号系统中。

方法论：DIAS 架构

作者提出了DIAS（动作模式的可微分归纳），这是一种通过梯度下降学习动作模式的神经网络架构。该方法利用软性、可微分的操作分两个主要阶段运行，以实现端到端训练。

1. 基于图神经网络（GNN）的对象选择

图构建：状态 $s$ 及其到 $s'$ 的转换被编码为有向图 $G$ 。节点代表对象，边代表在状态中为真或在转换期间被添加/删除的谓词（原子）。
嵌入：关系图卷积网络（R-GCN）处理该图，为每个对象生成 $d$ 维嵌入向量（键 $K$ ）。
槽位分配：对于每个动作名称 $a$ ，模型维护可学习的查询向量 $Q_a$ ，对应固定数量的“槽位”（动作元数的上界）。
软匹配：通过对象键与动作查询之间的缩放点积注意力计算对应矩阵。随后应用矩形 Sinkhorn 算法生成软分配矩阵 $\tilde{S}_a$ ，以概率方式将对象映射到动作参数槽位。可学习的槽位权重 $w_a$ 决定每个槽位的激活概率，使模型能够推断动作的元数。

2. 学习预条件和效果

提升参数：模型为每个提升原子 $p(x_i, x_j)$ 维护可学习的概率张量，以确定其是正/负预条件、添加效果还是删除效果。
Grounding（实例化）：软分配 $\tilde{S}_a$ 将这些提升概率投影到 grounded 邻接矩阵空间，得出当前状态中特定原子作为预条件或效果的概率。
状态预测：
- 预条件检查：模型通过评估单个原子概率的合取来计算所有预条件满足的概率 $p_{pre}$ 。为避免随机初始化导致的梯度消失，采用几何平均调度策略，逐渐过渡到真实的乘积。
- 效果应用：通过将 grounded 的添加/删除概率应用于当前状态邻接矩阵 $A$ （并按 $p_{pre}$ 缩放），计算预测的后继状态 $\hat{A}'$ 。

3. 损失函数与优化

训练目标最小化复合损失：

主损失（ $L_{adj}$ ）：预测的后继状态 $\hat{A}'$ 与真实后继状态 $A'$ 之间的二元交叉熵。这驱动模型正确选择参数并预测状态变化。
辅助损失（ $L_{aux}$ ）：鼓励最小化效果和最大化预条件。这通过惩罚非激活的效果和非激活的预条件，防止模型学习平凡解（例如，假设所有原子都是效果或不存在预条件）。
梯度投影：为确保主要目标（状态预测）不受辅助目标损害，作者采用PCGrad（梯度手术）。如果辅助梯度与主梯度冲突，则将其投影到与主梯度正交的超平面上，确保 $L_{main}$ 的优化优先。

关键结果

作者在13 个标准 IPC 规划领域（如 Blocks、Logistics、Hanoi、Sokoban）上评估了 DIAS，使用了三种观测变体：完整 STRIPS 动作、STRIPS+ 动作和仅动作名称。

完美恢复：在13 个领域中的 8 个中，DIAS 在所有三种观测变体的全部 10 次训练运行中完美地学习了真实提升动作模式。
鲁棒性：
- 噪声：该模型对观测噪声（随机翻转的原子）表现出鲁棒性，大多数领域在每次转换最多 2 次翻转的情况下表现良好。在 8 次翻转时性能显著下降。
- 与符号方法的比较：与基于 SAT 的 L1 算法相比，DIAS 实现了更优或相当的性能，特别是在 L1 无法恢复涉及效果中未出现变量的预条件的领域。
- 失败分析：失败主要归因于：
  - 死胡同：如 Sokoban 等域，随机游走未能探索关键状态区域。
  - 状态空间结构：Hanoi 领域的谢尔宾斯基三角形结构限制了随机游走的覆盖范围。
  - 冗余动作：Satellite 领域，其中像 take_image 这样的动作通常导致无状态变化，混淆了效果的学习。
MLP 消融实验：用多层感知机（MLP）替代 STRIPS 效果的消融实验表明，虽然该架构可以学习状态依赖的动态，但无法生成适用于经典规划的符号模式，突显了提升 STRIPS 形式对于泛化的必要性。

意义与主张

本文主张，DIAS 代表了从原始观测（如图像）中学习规划领域的重要一步，通过高保真地解决中间符号抽象问题来实现这一目标。

可微分性：主要贡献是一个鲁棒的可微分组件，它能够在不需要显式动作参数的情况下学习提升动作模式，弥合了神经观测处理与符号规划之间的差距。
泛化性：与难以处理不同数量对象的基于槽位的动态模型（如 RIMs）不同，DIAS 学习到的提升表示能够泛化到任意数量的对象，这是 STRIPS 固有的属性，但从数据中学习却十分困难。
适度范围：作者明确将这项工作表述为从图像学习这一更广泛挑战的简化版。他们并不声称直接解决从图像到规划的问题，而是论证在符号抽象步骤实现“近乎完美”的性能是此类系统必要且具有挑战性的先决条件。
局限性：该方法假设纯 STRIPS 领域（无条件效果或数值特征），并依赖于动作参数与对象之间是单射绑定的假设。此外，该方法在随机游走采样无法充分覆盖状态空间的领域中表现不佳。