🤖 AI

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

本文介绍了 OmniToM，这是一个新基准，它通过要求对行动者的信念结构进行显式的、多维度的建模，而非仅仅依赖最终问答表现，来评估大语言模型的心理理论能力，从而揭示出当前模型在将叙事事实转化为准确心理状态表征所需的特定推理方面存在困难。

原作者： Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一场魔术表演。魔术师让一个球从盒子里消失，然后出现在篮子里。针对人工智能（大型语言模型）的标准测试通常只会问：“球在哪里？”如果人工智能回答“在篮子里”，它就会获得一颗金星。

但问题在于：人工智能可能只是猜对了答案，而实际上并没有理解这个故事。它可能不知道谁看到了球的移动，谁没有看到，或者每个人认为正在发生什么。这就像一个背下了答案钥匙却不懂数学的学生。

OmniToM 是一项新的“考试”，旨在防止人工智能通过猜测作弊。它不再仅仅询问最终答案，而是迫使人工智能通过构建每个角色思想的详细“心智地图”来展示其推理过程。

以下是该论文如何利用简单的类比进行分解：

1. 问题：思维的“黑箱”

目前的测试就像只根据学生的最终作文成绩来评分。如果作文写得好，你并不知道学生是否真正理解了角色的情感，还是仅仅使用了华丽的辞藻来显得聪明。

论文主张：现有的测试（称为“端点问答”）只检查最终答案。它们无法看出人工智能是否真的在追踪谁知道什么、谁在撒谎，或者谁弄错了。

2. 解决方案：“心智地图”（OmniToM）

研究人员建立了一个名为 OmniToM 的新基准。他们不再问“球在哪里？”，而是要求人工智能绘制出每个人大脑的地图。

这就像电影的导演剧本。导演不仅仅关心剧情；他们关心每个演员在每一刻相信什么。

任务：人工智能必须阅读故事，并列出“信念命题”。这些是微小、简单的句子，例如：“鲍勃认为球在盒子里”或“爱丽丝知道球在篮子里”。

3. 两阶段考试

OmniToM 分两个截然不同的阶段测试人工智能，就像一场两部分的面试：

第一阶段：侦探（信念提取）

工作：人工智能阅读故事，必须找出每个角色持有的每一个想法。
挑战：仅仅说“鲍勃很伤心”是不够的。人工智能必须根据鲍勃看到、听到或记得的内容，弄清楚为什么鲍勃很伤心。
结果：论文发现，人工智能在寻找事实（例如“球在篮子里”）方面表现尚可，但在将这些事实归因于正确的人脑方面却存在困难。它们经常忘记鲍勃没有看到球移动，因此他不应该知道球在篮子里。

第二阶段：图书管理员（信念标注）

工作：一旦人工智能列出了这些想法，它就必须用 7 维的“条形码”给它们打上标签。
类比：想象一位图书管理员在整理书籍。他们不仅仅是把书放在架子上；他们还会给书打上标签，包括：
- 层级：这是一个简单的想法（“我饿了”）还是一个复杂的想法（“我认为你觉得我饿了”）？
- 真实性：这个想法实际上是真的，还是角色弄错了？
- 获取途径：角色是亲眼看到了这件事，还是仅仅猜测的？
- 来源：他们是听别人说的、回忆起来的，还是想象出来的？
结果：人工智能在简单标签（如“这是真的吗？”）方面表现惊人地好，但在“获取途径”标签上却表现糟糕。它们难以记住谁有权访问哪些信息。

4. 重大发现：“信息瓶颈”

该论文最重要的发现是，当前的人工智能模型存在一个特定的“盲点”。

隐喻：想象一群人在房间里。一个人离开了，另一个人移动了一个秘密物体。人工智能可以完美地描述房间。但当被问及“离开的那个人认为房间里有什么？”时，人工智能就会感到困惑。
主张：人工智能的失败并非因为它无法阅读故事，而是因为它无法追踪谁知道什么。它难以区分“实际发生的事情”与“特定角色认为正在发生的事情”。

5. 构建方法

为了进行这项测试，研究人员选取了 895 个现有故事，并让人类（以及智能人工智能助手）标注了超过 22,000 个具体想法。

过程：他们使用了一个“校准”系统。人类检查一小批数据，教人工智能如何正确标注，然后人工智能协助标注其余部分，人类再进行双重检查。这确保了“黄金标准”答案的准确性。

总结

OmniToM 是一种测试人工智能的新方法，它阻止了人工智能仅仅猜测正确答案。它迫使人工智能构建每个人思想、信念和知识的详细地图。论文表明，虽然人工智能在阅读方面正在进步，但它仍然难以理解“谁知道什么”这一复杂的社会游戏，而这正是人类社交智能的核心。

关于局限性的说明：论文明确指出，这项测试仅适用于基于文本的故事。它并不声称人工智能能够理解现实世界的社会情境、面对面互动中的情绪，或复杂的现实生活场景。它严格来说是一种用于衡量人工智能在书面叙事中追踪信念能力的工具。

技术摘要：OmniToM

问题陈述

当前评估大语言模型（LLMs）心智理论（ToM）的基准测试主要依赖终端问答（QA）。在这种范式中，模型被呈现一个叙事，并仅根据其是否产生社会推理查询的正确最终答案（例如，“鲍勃会去哪里看？”）进行评分。作者认为，这种方法掩盖了底层的认知过程：模型可能通过利用捷径策略或基准测试的伪影来给出正确答案，而实际上并未构建必要的多主体心理状态表征。

具体而言，终端问答无法揭示模型是否能够追踪：

每个主体认为什么是真的，与客观现实有何不同。
信息是如何分布的（谁拥有何种访问权限）。
信念的递归性质（例如，“鲍勃相信爱丽丝认为……"）。
明确陈述与隐含推断之间的区别。

因此，现有的基准测试无法诊断模型失败的原因——是遗漏了相关主体、错误地更新了信念、误判了信息访问权限，还是错误标记了心理状态的来源。

方法论

OmniToM 基准测试构建

OmniToM 通过将评估从终端答案转向显式信念结构建模来填补这一空白。该基准测试将 ToM 推理操作化为一个两阶段过程：

阶段 1：信念提取
- 任务： 给定一个故事 $S$ ，模型必须提取一组结构化的信念命题 $B$ 。
- 结构： 每个命题是一个元组 $(a_i, b_i, o_i)$ ，其中 $a_i$ 是主体（或用于叙述事实的“世界”）， $b_i$ 是最小信念内容， $o_i$ 是递归阶数（世界事实为 0，一阶信念为 1，高阶信念为 2 及以上）。
- 目标： 恢复与故事社会动态相关的所有特定主体的信念集合，包括世界事实、关于世界的一阶信念，以及关于其他主体心理状态的高阶信念。
阶段 2：信念标注
- 任务： 给定提取的命题，模型为每个命题分配一个七维架构标签。
- 架构： 基于ATOMS（心智空间能力），该架构将每个命题分解为：
  - 阶数： 递归深度（0–3）。
  - 真值状态： 与叙事现实的一致性（真、假、未知）。
  - 知识访问： 信息分布（私有、共享、公开）。
  - 表征： 显式与隐式（陈述与推断）。
  - 内容类型： 主题（位置、认知、欲望、情绪等）。
  - 心理来源： 获取方式（叙述、感知、记忆、证词、推断、想象）。
  - 语境： 框架条件（欺骗性、时间性、反事实、中性）。

基准测试构建

源数据： 源自ToMBench，保留了七个高容量类别（如错误信念任务、失礼识别、暗示任务）中的 895 个故事。
标注流程： 由于对 22,343 个信念命题进行人工标注成本高昂，作者采用了一个经人类校准、LLM 辅助的流程。
- 一个校准子集（21 个故事）由领域专家手动标注。
- 语义裁判： 基于 GPT-5 与人类语义对齐决策的高度一致性（72.03%），它被选为阶段 1 评估的语义裁判。
- 标注模型： Claude-Sonnet-4.5 在实现最强的校准性能后（阶段 1 F1 为 72.88%，阶段 2 准确率为 93.62%），被选为主要标注模型。
规模： 最终基准测试包含 895 个故事和 22,343 个已标注的信念命题，总计 156,401 个架构标签。

评估协议

阶段 1（提取）： 通过F1 分数衡量，使用语义对齐指标（MatchCount）而非严格的字符串匹配。这考虑了改写和复合信念。
阶段 2（标注）： 通过七维架构标签的精确匹配准确率进行衡量。
基线： 在零样本条件下，使用 TELeR 3 级提示，评估了多种开源和闭源模型（如 Llama-3.3、Mistral-Large、GPT-5、Gemini-2.5 Flash）。

关键结果

评估揭示了所有模型中一致存在的特定主体信息追踪瓶颈：

提取性能（阶段 1）：
- 表现最好的模型实现了 57.69% 的宏观 F1 分数。
- 当从 0 阶（世界事实）过渡到 1 阶和 2 阶及以上（主体信念）时，性能显著下降。模型难以将故事事实映射到特定的主体视角。
标注性能（阶段 2）：
- 总体标注准确率达到 85.95%。
- 然而，错误并非均匀分布。知识访问（56.13–74.59%）和表征（54.33–87.58%）的准确率最低。
- 1 阶信念是最难正确标注的（总体准确率为 71.2%），特别是关于谁拥有信息访问权限，以及信念是明确的还是推断的。
瓶颈识别：
- 主要的失败模式并非缺乏通用的语言理解能力，而是无法追踪信息条件：确定每个主体知道哪些事实、该知识是如何获得的（感知与推断），以及它如何随时间演变。
- 模型经常无法区分世界中的真实情况与主体认为是真实的情况，尤其是当该信念过时或错误时。

意义与主张

本文主张，OmniToM 提供了从 LLMs 心智理论的基于结果的评估向基于过程的评估的必要转变。

诊断能力： 通过使心理状态表征可检查，OmniToM 允许研究人员 pinpoint 具体的推理失败（例如，“模型未能更新信念，因为它误判了信息访问权限”），而不仅仅是观察到一个错误的答案。
局限性暴露： 该基准测试暴露了终端问答可能掩盖的局限性：稳健的 ToM 推理需要追踪产生心理状态的信息条件，而当前的 LLMs 在这方面存在困难。
范围： 作者谦逊地将 OmniToM 框架为针对受控、基于文本场景的评估工具。他们明确指出，该基准测试并不认证现实世界中的社会智能、人际可靠性或高风险环境（如临床或法律领域）中的安全性。
未来工作： 作者建议未来的方向包括扩展到更丰富的叙事、更大规模的人工审核提取集，以及处理超过 3 阶的信念嵌套，同时承认目前在多模态推理和长程追踪方面的局限性。

总之，OmniToM 表明，虽然 LLMs 通常能够恢复叙事事实，但它们目前缺乏稳健的机制，无法将这些事实转化为准确、特定于主体且随时间演变的心理状态表征。