💬 NLP

PDDL-Mind: Large Language Models are Capable on Belief Reasoning with Reliable State Tracking

该论文提出了名为 PDDL-Mind 的神经符号框架，通过将叙事转化为显式的 PDDL 状态与动作来解耦环境状态演化与信念推理，从而解决了大语言模型在心理理论任务中因隐式状态跟踪不可靠而导致的失败，并在多个基准测试中显著提升了准确率。

原作者： Wang Bill Zhu, Qiutong Tony Yi, Robin Jia, Jesse Thomason

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Wang Bill Zhu, Qiutong Tony Yi, Robin Jia, Jesse Thomason

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲了一个关于人工智能（AI）如何理解“人心”（也就是心理学上的“心理理论”，Theory of Mind）的故事。

简单来说，现在的 AI 很聪明，能写诗、能写代码，但在理解“别人在想什么”这件事上，却经常表现得像个笨小孩。这篇论文发现，AI 变笨不是因为“不会思考”，而是因为“记性不好”或者“记错了事实”。

为了解决这个问题，作者们发明了一个叫 PDDL-MIND 的新方法。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这篇论文：

1. 核心问题：AI 是个“记性差”的侦探

想象一下，你让 AI 扮演一个侦探，去猜故事里的主角玛丽（Mary）心里在想什么。

故事是这样的：玛丽走进厨房，打开冰箱，看到里面有苹果，然后关上冰箱，又去客厅打开柜子。
AI 的任务：回答“玛丽现在认为苹果在哪里？”

以前的 AI 是怎么失败的？
以前的 AI 就像是一个一边听故事一边在脑子里瞎猜的听众。
当故事讲到“玛丽关上冰箱”时，AI 的“脑子”（大语言模型）可能因为记性不好，或者被复杂的句子绕晕了，它可能错误地认为玛丽根本没看到苹果，或者以为苹果还在冰箱里其实已经被拿走了。
一旦这个**基础事实（State）**记错了，后面无论它怎么运用高超的推理技巧（比如“如果玛丽没看到苹果，她就会去别处找”），得出的结论肯定是错的。

论文的观点：
AI 失败的主要原因不是它推理能力（高智商）不够，而是它状态追踪（记性/事实核对）太不可靠了。它太依赖“凭感觉”去记故事，而不是“按规则”去记。

2. 解决方案：给 AI 配一个“严谨的记账本”

作者们想：既然 AI 自己记不住，那我们就给它一个外部的、死板的、不会出错的记账本。

这个记账本就是 PDDL（一种专门用来描述世界状态和动作的编程语言，有点像给机器人写的操作手册）。

PDDL-MIND 是怎么工作的？
这就好比把 AI 的工作分成了两步，就像**“翻译官”和“会计”**的配合：

第一步：翻译（LLM 做）
把人类写的故事（比如“玛丽走进厨房”），翻译成那个严谨的“记账本”语言。
- 故事说：“玛丽走进厨房。”
- 记账本记：[动作：移动] 人物：玛丽 -> 地点：厨房。
第二步：核对与执行（系统做）
这是最关键的一步。系统会拿着这个“记账本”去检查：
- 检查：玛丽真的在厨房吗？（是的，之前记了）。
- 执行：既然她在厨房，打开冰箱这个动作是合法的吗？（是的）。
- 更新：打开冰箱后，玛丽“看见”了里面的苹果。记账本自动更新状态：[状态：玛丽看见了苹果]。
- 过滤错误：如果故事里说“玛丽在卧室打开了冰箱”，系统会立刻发现：“等等，卧室里没有冰箱，这个动作不合法！” 于是直接把这个错误动作扔掉，不记入账本。
第三步：推理（LLM 做）
最后，把这份经过严格核对、绝对准确的“记账本”（也就是世界状态序列）交给 AI，让它根据这些事实去回答“玛丽在想什么”。

比喻：

以前的 AI：像是在黑暗中走迷宫，手里拿着一张模糊的地图，走一步猜一步，很容易撞墙。
PDDL-MIND：像是给 AI 配了一个GPS 导航仪（PDDL 系统）。AI 只需要负责看路（推理），而导航仪负责确保它每一步都走在正确的路上（状态追踪）。只要路是对的，AI 就能轻松猜出终点。

3. 实验结果：效果惊人

作者们用这个新方法去测试了几个著名的“心理理论”考试（比如 MMToM-QA, MuMa-ToM）。

成绩提升：使用 PDDL-MIND 后，AI 的准确率提高了 5% 以上，直接超过了之前最厉害的方法。
效率更高：以前的方法可能需要 AI 反复读故事、反复猜，调用 AI 很多次（比如 27 次）才能得出一个答案。而 PDDL-MIND 只需要调用 3 次（一次翻译，一次核对，一次推理），既快又准。

4. 总结与启示

这篇论文告诉我们一个很重要的道理：

不要总怪 AI“笨”或“不会思考”。
很多时候，AI 只是缺乏一个可靠的“事实核查机制”。如果我们能把复杂的自然语言故事，先转化成严谨的、逻辑自洽的“状态记录”，再让 AI 去推理，它的表现就会像换了个人一样聪明。

一句话总结：
PDDL-MIND 就像是给 AI 戴上了一副**“逻辑眼镜”，让它不再被故事的表面文字迷惑，而是能清晰地看到故事中真正发生的事实**，从而准确地猜出别人心里的想法。这证明了，只要把“记事实”和“做推理”分开处理，AI 就能在理解人心这件事上，表现得非常接近人类。

1. 研究背景与问题 (Problem)

核心问题：
大型语言模型（LLM）在现有的“心智理论”（Theory-of-Mind, ToM）基准测试中表现远低于人类水平。ToM 任务要求模型根据叙事（如物理动作或对话）推断代理（Agent）的信念、知识或意图。

现有观点与争议：
关于 LLM 失败的根本原因，学界存在两种主要假设：

推理能力不足： 模型能够追踪事件，但在从状态推断信念时缺乏高级推理能力。
状态追踪不可靠： 模型无法在事件累积过程中维持准确的世界状态表示（即“状态追踪”失败）。

本文论点：
作者认为，LLM 在 ToM 任务中的失败主要源于不可靠的隐式状态追踪（Unreliable Implicit State Tracking），而非高级推理能力的缺失。现有的方法往往让 LLM 直接通过自然语言隐式地维护状态，这容易导致幻觉和逻辑不一致。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 PDDL-MIND，这是一个神经符号（Neuro-Symbolic）框架。其核心思想是将“环境状态的演化”与“信念推理”解耦，利用规划领域定义语言（PDDL）提供显式、逻辑一致的状态表示。

2.1 核心流程

PDDL-MIND 的工作流程分为三个主要阶段（如图 1 所示）：

预定义领域文件 (Predefined Domain File)：
- 基于 ToM 基准的结构，定义了一个包含 7 种通用动作类型（move, open, close, grab, drop, ask, tell）的 PDDL 领域文件。
- 定义了四种对象类型：agent（代理）, loc（地点）, obj（物体）, utterance（话语）。
- 定义了关键谓词，特别是 seen（代理是否看到物体）和 heard（代理是否听到话语），用于追踪感知状态。
状态与动作提取 (State and Action Extraction)：
- 初始化： 使用 LLM 将叙事中的环境描述解析为 PDDL 问题文件（Problem File），定义初始状态 $s_0$ （包含所有对象和初始位置/可见性）。
- 动作序列生成： LLM 将叙事事件转换为候选的 PDDL 动作序列 $(a_1, ..., a_t)$ 。
- 符号验证 (Symbolic Verification)： 这是最关键的一步。系统根据预定义的 PDDL 领域规则，检查每个候选动作的前置条件 (Preconditions)。
  - 如果当前状态满足前置条件，则执行该动作，应用其后置条件 (Effects) 生成下一个状态 $s_i$ 。
  - 如果前置条件不满足（例如，代理不在该地点，或容器未打开），则丢弃该动作。
- 通过此过程，生成一个经过验证的、逻辑一致的世界状态序列。
ToM 问答 (ToM Question Answering)：
- 将经过验证的状态序列和 ToM 问题一起输入给 LLM。
- LLM 基于这些显式的、逻辑正确的状态进行链式思维（Chain-of-Thought）推理，得出最终答案。

2.2 设计优势

解耦： 将容易出错的状态维护任务交给确定性的符号执行器，将推理任务留给 LLM。
显式化： 消除了自然语言中的歧义，将复杂的叙事转化为结构化的状态转移。
高效性： 每个示例仅需 3 次 LLM 调用（解析初始状态、提取动作序列、回答），远低于现有方法（如 AutoToM 平均需 27 次调用）。

3. 主要贡献 (Key Contributions)

提出了 PDDL-MIND 框架： 首个将 PDDL 引入 ToM 推理的神经符号框架，通过显式状态追踪解决了 LLM 在长序列事件中的状态维护难题。
重新定义了 ToM 失败的原因： 通过实验证明，当状态追踪被可靠地解耦后，LLM 的推理能力实际上非常强。这推翻了"LLM 缺乏 ToM 推理能力”的普遍假设，指出瓶颈在于状态追踪。
实现了 SOTA 性能与高效率： 在多个基准测试中取得了最佳成绩，同时显著降低了计算成本（LLM 调用次数）。
理论洞察： 指出 ToM 基准测试本质上可以抽象为“事件 - 状态”的序列演化，并证明了通过固定词汇表（PDDL 谓词）和更新规则，可以将 ToM 评估转化为算法恢复问题。

4. 实验结果 (Results)

作者在三个代表性的 ToM 基准测试上评估了 PDDL-MIND（使用 GPT-4o 作为基础模型）：

MMToM-QA: 600 个样本，关注长上下文动作序列的信念和目标推断。
MuMa-ToM: 900 个样本，关注多代理动作/对话序列中的信念和目标推断。
FanToM: 包含 10K 个问题，关注多代理对话中的信念推断。

关键数据对比：

方法	MMToM-QA	MuMa-ToM	FanToM	平均 LLM 调用次数
AutoToM (SOTA)	83.0%	81.4%	-	~27
PDDL-MIND (Ours)	88.3%	88.8%	80.0%	3
人类表现	82.5%	93.5%	91.7%	-

性能提升： PDDL-MIND 在 MMToM-QA 和 MuMa-ToM 上分别比之前的 SOTA 方法（AutoToM）提高了 5.3% 和 7.4% 的准确率。
状态追踪质量： 人工检查发现，90% 的验证动作序列是完全正确且与叙事一致的。
错误分析： 在 PDDL-MIND 的剩余错误中，约 33% 源于解析错误（LLM 未能正确将自然语言映射为 PDDL 动作），而 67% 是真正的推理失败。这表明，如果状态追踪完美，错误率可进一步降至约 8%，再次印证状态追踪是主要瓶颈。
成本效益： PDDL-MIND 仅需 3 次调用，而 AutoToM 平均需要 17-35 次，效率提升显著。

5. 意义与启示 (Significance)

重新评估 LLM 的 ToM 能力： 论文有力地证明了 LLM 具备强大的信念推理能力，只要提供可靠、显式的状态表示。这改变了以往认为 LLM 缺乏“心智理论”能力的悲观看法。
基准测试设计的反思： 现有的 ToM 基准测试往往依赖于隐式的状态追踪，这可能导致对模型推理能力的误判。未来的基准测试应包含可验证的状态追踪作为评估前提，或者设计更复杂的、无法仅靠符号状态追踪解决的测试（例如需要长尾世界知识的情况）。
神经符号结合的新范式： 展示了如何将 LLM 的语义理解能力与符号系统的逻辑严谨性相结合。LLM 负责“翻译”（自然语言到符号），符号系统负责“执行”（状态更新），LLM 再负责“推理”（基于符号状态回答问题）。
对未来的指导： 对于需要高可靠性状态追踪的应用（如机器人规划、复杂对话系统），不应单纯依赖 LLM 的隐式记忆，而应引入外部验证机制或符号中间层。

局限性：

目前仅处理文本输入，未涉及多模态（视觉、空间感知）场景。
依赖预定义的 PDDL 领域文件，对于无法映射到固定动作类型的复杂场景（如需要大量长尾常识的隐含动作）可能表现不佳。

总结：
PDDL-MIND 通过引入符号验证机制，成功解耦了状态追踪与推理，不仅大幅提升了 LLM 在 ToM 任务上的表现，还揭示了当前 LLM 评估中的核心瓶颈所在，为构建更可靠、更高效的心智理论推理系统提供了新的方向。