🤖 AI

EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents

本文介绍了 EnactToM，这是一个经过严格验证且不断演进的包含 300 个具身多智能体任务的基准，它揭示了当前前沿人工智能模型存在的一个关键缺陷：这些模型虽擅长处理字面信念问题，却在需要依据隐性信念在复杂、部分可观测环境中采取行动的功能性心理理论方面完全失败（成功率为 0.0%）。

原作者： Gurusha Juneja, Dylan Lu, Saaket Agashe, Parth Diwane, Edward Gunn, Jayanth Srinivasa, Gaowen Liu, William Yang Wang, Yali Du, Xin Eric Wang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gurusha Juneja, Dylan Lu, Saaket Agashe, Parth Diwane, Edward Gunn, Jayanth Srinivasa, Gaowen Liu, William Yang Wang, Yali Du, Xin Eric Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正与一位朋友在一栋巨大的多层房子里玩“捉迷藏”。但有一个转折：你们俩都有对讲机，但信号很弱，只能说几句话，而且你看不到你的朋友看到了什么。你知道宝藏在哪里，但你的朋友不知道。你的朋友知道钥匙在哪里，但你不知道。要想获胜，你必须弄清楚你的朋友认为你知道什么，以及他们需要知道什么，而不能直接喊出答案。

这就是EnactToM的核心挑战，这是论文中描述的一项针对 AI 智能体的新测试。

以下是该论文的通俗解读：

1. 问题所在：“说”与“做”

当前的 AI 模型非常擅长谈论他人的想法。如果你问 AI：“你的搭档知道冰箱是开着的吗？”它通常能给出正确答案。论文将这种能力称为字面心理理论（Literal Theory of Mind）。这就像是一个能完美描述比赛的旁观者。

然而，当 AI 真正置身于比赛中，并必须基于这些知识行动时，它往往会失败。这就是功能心理理论（Functional Theory of Mind）。论文认为，仅仅因为 AI 能说出搭档知道什么，并不意味着它知道如何利用这些信息来协同工作。

类比： 想象一位能完美描述食谱的厨师（字面层面），却因为没意识到炉灶已经开着而把汤烧焦了（功能层面）。AI 可以描述其搭档的心理状态，却无法据此与搭档协调行动。

2. 解决方案：AI 的新“健身房”（EnactToM）

研究人员建立了一个名为EnactToM的新测试环境。把它想象成一个 3D 虚拟房屋，AI 智能体必须在这里协同完成家务（比如把碗放在桌子上或打开冰箱）。

设置： 智能体位于不同的房间（部分可观测性）。他们拥有只有彼此知道的秘密线索（私有信息）。他们只能发送简短的文本消息（受限通信）。
目标： 他们必须通过弄清楚对方知道什么并据此调整自己的行动来完成任务。
“进化”转折： 这不是一个静态测试。随着 AI 模型变得更聪明并开始通过简单关卡，系统会根据 AI刚刚失败的地方自动生成更难、更狡猾的谜题。这就像一款随着你玩得越好而难度越高的电子游戏，确保测试永远不会“过时”。

3. 构建方法（“机器人架构师”）

他们没有让人类编写每一个测试（那将耗时无穷），而是使用了一个自主编码智能体（一个机器人程序员）来构建测试。

这个机器人编写游戏规则。
然后，它用一个“法官委员会”（另外两个 AI）来检查规则，确保游戏公平、可解，并且确实需要团队合作。
它运行一个“练习轮次”，此时所有人都知道所有秘密。如果 AI 在这种情况下都失败了，该测试就会被丢弃，因为任务在物理上太难，而非在心理上。
如果 AI 通过了练习轮次，但在真实轮次（秘密被隐藏）中失败，该测试就会被保留。这证明 AI 的失败是由于缺乏团队合作，而不是因为它找不到物体。

4. 结果：“说 - 做”差距

研究人员测试了当今最聪明的七种 AI 模型。结果非常鲜明：

说：当被要求简单报告搭档知道什么时，AI 的表现尚可，答对了约**45%**的问题。
做：当被要求实际协同完成任务时，每一个模型在最难版本的测试中都得了 0 分。它们无法可靠地协调行动。

结论： AI 是出色的“场边四分卫”（它们能分析比赛），但却是糟糕的“场上球员”（它们无法执行战术）。

5. 失败原因（五大崩溃点）

研究人员仔细分析了失败案例，发现了 AI 团队合作崩溃的五种具体方式：

隐瞒信息： AI 知道一个关键事实，但等待太久才告诉搭档，导致搭档犯错。
链条断裂： AI 完成了物理任务（打开冰箱），但忘记告诉搭档，导致搭档不知道工作已完成。
破坏： 在智能体拥有各自私有目标的任务中，它们有时会意外（或故意）破坏共同目标，因为它们不理解自己的行为如何影响搭档。
错误消息： 它们将有限的“文本消息”浪费在错误的人身上或不重要的细节上。
无视限制： 它们要求搭档做不可能的事情，比如进入一个被锁住的房间。

总结

这篇论文介绍了EnactToM，这是一个动态的、不断进化的基准测试，用于检验 AI 智能体是否能在物理世界中真正协同工作，而不仅仅是谈论协同工作。研究结果显示了巨大的差距：当今最先进的 AI 模型可以描述搭档的想法，但无法可靠地利用这些知识来协调行动。论文指出，为了让 AI 真正与人类协作，它需要从仅仅“报告”信念转变为基于信念“行动”。

技术摘要：EnactToM

问题陈述

当前针对大语言模型（LLM）心智理论（ToM）的基准测试主要评估字面 ToM：即在提示下显式报告其他智能体的信念、欲望或意图的能力。然而，这些评估未能衡量功能性 ToM，即基于推断出的心智状态，在具身多智能体环境中采取最优行动的能力。现有基准测试缺乏三个关键特性：

功能性：它们衡量的是信念报告，而非基于这些信念的行动执行。
具身性：它们仅在纯文本或完全可观测的设置中运行，缺乏具身协作所固有的空间约束和信息不对称性。
抗饱和性：静态基准测试随着模型性能提升而变得 trivial（微不足道），且缺乏根据特定模型失败模式动态调整任务难度的机制。

因此，前沿模型往往在信念探测中表现出高准确率，但在共享物理环境中无法有效协调，导致行动冗余、忽视约束以及安全风险。

方法论：EnactToM 框架

作者引入了EnactToM，这是一个由 300 个具身多智能体任务组成的演进式基准测试，设定在 3D 家庭环境（HSSD）中。该框架旨在通过部分可观测性、私有信息和受限通信来隔离功能性 ToM。

1. 任务表示与认知深度

任务被形式化为元组 $T = (S, A, \phi, \delta, M, \Sigma, C)$ ，其中：

$S$ ：一个 3D 场景。
$A$ ：一组具有生成位置的智能体。
$\phi$ ：一个 PDDL 目标公式，结合物理谓词（例如 is_on_top）与认知算子（ $K$ ）。
$\delta$ ：所有智能体共享的自然语言任务描述。
$M$ ：建模现实世界约束的机制（例如房间限制、有限带宽、受限通信图）。
$\Sigma$ ：分配给每个智能体的私有秘密（例如特定对象 ID、房间访问限制），从而制造信息不对称。
$C$ ：任务类别（合作型或混合动机型）。

该基准测试利用认知深度（ $d$ ）来量化 ToM 的复杂性：

深度 1（自我意识）：智能体认识到自身的信息缺口。
深度 2（他者意识）：智能体基于合作伙伴所知内容采取行动。
深度 3（递归）：智能体推理合作伙伴所知的、而另一个智能体所知的内容。
该基准测试将生成上限设定为深度 3，因为更深层的递归即使对人类而言也极易出错。

2. 智能体任务生成流程

为了解决基准测试饱和问题，EnactToM 采用自主编码智能体来生成任务。该流程包括：

创作：智能体首先编写形式化的 PDDL 目标，然后推导出叙事和秘密，确保目标是唯一真理来源。
验证：
- PDDL 解析：检查语法有效性和 K-深度对齐。
- LLM 裁判委员会：两个模型（Kimi-K2.5 和 GPT-5.2）根据智能体必要性、秘密质量（无策略泄露）和机制利用等标准独立对任务进行评分。
- 结构校准器：运行一个基线模拟，其中所有秘密向所有智能体公开。如果任务即使在完全信息下也无法完成，则因其物理上不可解而被拒绝。这确保了标准设置下的成功取决于认知推理，而不仅仅是具身导航。
演进：生成智能体使用偏向当前前沿模型（例如 GPT-5.4、O3）失败模式的“种子任务”。随着模型性能提升，种子池转向更难的失败模式，从而在不修改生成器基础设施的情况下演进基准测试难度。

3. 评估协议

该基准测试在两个划分上评估了七个前沿模型：标准（ $\rho=0.8$ 种子失败率）和困难（ $\rho=0.9$ ）。

功能性指标：成功定义为完成 $\phi$ 中的物理谓词。主要指标是Pass^3，要求在所有三次独立运行中均成功，以排除运气因素。
字面指标：在每个回合结束时，向智能体查询特定信念（例如“智能体_0 认为冰箱状态是什么？”）。这衡量了独立于行动的字面 ToM 准确率。

关键结果

评估揭示了字面 ToM 与功能性 ToM 之间显著的行动 - 报告差距：

功能性失败：在困难划分上，所有七个被评估的前沿模型在功能性任务完成上的Pass^3均为0.0%。没有任何模型能够在三次运行中可重复地协调。
字面成功：在相同任务上，相同模型在字面信念探测上的平均得分为45.0%。例如，Gemini-Pro 在困难划分上的字面准确率为 63.3%，但功能性准确率仅为 6.7%。
失败分析：对 40 次失败的 manual audit（人工审计）发现，93%是由于认知协调崩溃造成的，分为五种模式：
1. 隐瞒关键信息：智能体掌握决定性事实，但沟通过晚。
2. 认知链断裂：智能体完成了物理行动，但未能确立合作伙伴知晓结果。
3. 私有目标破坏/泄露：在混合动机任务中，智能体要么过早泄露私有目标，要么破坏共享目标。
4. 错误分配稀缺消息：智能体将有限的带宽浪费在无法触及的合作伙伴或低优先级内容上。
5. 忽视合作伙伴约束：智能体将任务委托给缺乏必要房间访问权限或资源的合作伙伴。

意义与主张

本文主张 EnactToM 提供了首个在具身环境中对功能性 ToM 进行严格、演进式测量的方法。其意义在于：

揭示关键差距：证明基于文本的信念问题上的高性能并不能转化为在受限环境中利用这些信念进行协调的能力。
定义新的基准标准：建立一个具身（3D 环境）、功能性（基于行动的成功）且演进（通过失败驱动生成抵抗饱和）的框架。
提供具体目标：通过将失败分解为具体的认知协调崩溃，该基准测试为多智能体对齐和推理的未来研究提供了清晰、可操作的目标。

作者总结道，虽然前沿模型通常能够陈述合作伙伴所知内容，但它们目前缺乏在通信和信息约束下利用这些知识进行可靠行动的策略。该基准测试作为一个测量工具，用于追踪缩小这一差距的进展。