💬 NLP

LLMs and their Limited Theory of Mind: Evaluating Mental State Annotations in Situated Dialogue

本文介绍了一个利用大语言模型对团队对话中的共享心理模型进行标注并检测差异的两阶段框架，研究表明，尽管大语言模型在简单任务中表现良好，但在需要空间推理或韵律消歧的情景中会发生系统性失败。

原作者： Katharine Kowalyshyn, Matthias Scheutz

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Katharine Kowalyshyn, Matthias Scheutz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和朋友玩一场高风险的“盲人寻宝”游戏。你是搜索者（Searcher），睁着眼睛在真实的建筑中行走。你的朋友是导演（Director），坐在另一个房间里，手里拿着一张略有偏差的地图。他看不见你，只能通过电话和你交流。

为了成功，你们两人需要建立一个共享心理模型（Shared Mental Model, SMM）。这就像是一个无形的、精神上的白板，你们在上面记录下彼此所知的信息：“我在走廊里”、“那个盒子是蓝色的”、“你在寻找绿色的盒子”。如果你们的精神白板不一致，你就会迷失方向，团队也会失败。

这篇论文提出了一个简单但深刻的问题：一个超级聪明的 AI（大语言模型或 LLM）能否仅仅通过聆听你们的电话对话，就扮演好裁判的角色，并准确地追踪你们精神白板上的内容？

实验设计：“盲视” vs. “全知视角”

研究人员利用一些玩这款游戏的真人录音设置了一个巧妙的测试。他们创建了三组“裁判”来分析相同的对话：

天真的普通人（The Naive Humans）： 普通人，他们只听到了音频。他们必须仅根据说出的词句来推测搜索者看到了什么。
AI 模型（The AI Models）： 三种不同的 AI（o3-mini、Claude 和 Gemma），它们同样只听到了音频。
“上帝视角”（The "God's Eye" View / 真值/Ground Truth）： 一个观看游戏视频的人类团队。他们确切地知道搜索者在每一秒钟站在哪里，以及正在看哪里。这是“正确答案解析”。

两步走的过程

研究人员在两个不同的角色中使用 AI，就像是作家和编辑的关系：

第一步：作家（迹象生成/Trace Generation）： AI 聆听对话，并尝试写下一个“心理模型迹象”。它必须推测：搜索者现在相信什么？他们的目标是什么？他们承诺要做什么？
第二步：编辑（差异检测/Discrepancy Detection）： 另一个 AI（充当评判者）将“作家”的猜测与“上帝视角”视频答案进行对比。它会统计错误次数。

错误类型：AI 在哪里迷失了方向

研究发现，虽然 AI 听起来很聪明，但在处理人类交流中混乱的现实情况时却显得力不从心。以下是主要的错误类型，并附带了类比说明：

“幻觉”导演（不支持的信念/Unsupported Beliefs）：
- 发生了什么： AI 凭空捏造了并不存在的实事。
- 类比： 假设导演说：“我觉得房间里有一只猫。”AI 听到后，在精神白板上写道：“搜索者相信那里有一只猫。” 但视频显示那里根本没有猫。AI 因为这些话听起来合理，就编造了一个信念。
- 结果： AI（尤其是 Claude）经常这样做，用虚构的细节填满白板。
“缺失”的细节（遗漏/Omissions）：
- 发生了什么： AI 漏掉了实际上已经被说出的内容。
- 类比： 搜索者说：“我正在左转。”AI 的白板却保持空白，忘记更新位置信息。
- 结果： AI（尤其是 o3-mini）往往过于沉默，漏掉了重要的更新。
“空间”混乱（Spatial Confusion）：
- 发生了什么： AI 对空间位置产生了混淆。
- 类比： 如果导演说：“盒子在你的左边，”AI 可能会写下：“盒子在右边。”它很难在脑海中将语言转化为 3D 地图。
“结巴”陷阱（The "Stutter" Trap）：
- 发生了什么： 人类说话时会说“嗯”、“啊”并磕磕绊绊。AI 经常把这些结巴当作新的信息。
- 类比： 如果导演结巴着说：“那儿有个……呃……门。”AI 可能会想：“啊哈！这个‘呃’意味着他们改变了关于门的看法！”从而不必要地更新了白板。

结论：聪明但缺乏根基

论文得出结论，目前的 AI 就像是非常擅长读剧本但完全无法在真实房间里即兴发挥的演员。

它们可以模仿思考的“语言”： 它们可以使用“我相信”或“我的目标是”之类的词汇。
它们无法实现思考的“落地”（Grounding）： 它们无法将这些词汇与物理现实（视频）联系起来，也无法处理人类说话时那种混乱、结巴的特性。

有趣的是，“天真的普通人”（同样没有看到视频）犯下的错误与 AI 相似。这证明了如果不看视频，这项任务本身就非常困难。然而，AI 在避免“幻觉”（凭空捏造）方面表现得比人类更差。

核心要点

这项研究并不是说 AI 不能在团队中使用。它是在说，如果你希望一个 AI 仅仅通过听取对话来理解团队的共享心理状态，它目前缺乏一种“常识”，即无法分辨什么是真实的，什么是仅仅基于猜测的。 它需要“视频”（现实世界的语境）来真正理解正在发生的事情，而不是仅仅根据听到的词句进行猜测。

技术摘要：大语言模型（LLMs）及其有限的心智理论（Theory of Mind）

问题陈述

高效的人类团队表现依赖于共享心理模型（Shared Mental Model, SMM），即团队成员之间对于任务、目标和潜在信念状态的一致理解。虽然人类能够隐式地理解情境对话中的潜台词（假设、意图和知识），但目前尚不清楚大语言模型（LLMs）是否能够仅基于对话交互来准确推断并标注这些内部信念状态。当前对 LLMs 心智理论（ToM）的评估通常依赖于静态、去情境化的任务（例如多项选择题），这些任务无法捕捉到进行情境化协作所需的动态、实时推理能力。本文旨在解决评估 LLMs 在交互式、具身化团队语境中追踪信念状态能力的差距，并检测推断出的心理模型与地面真值（ground truth）之间的差异。

研究方法

作者提出了一个新颖的两步框架，用于评估 LLMs 作为心理模型轨迹生成器以及作为自动化差异检测器的能力。

1. 数据集与设置

语料库： 本研究利用了**协作远程搜索任务（Cooperative Remote Search Task, CReST）**语料库，该语料库包含“搜索者”（物理存在于环境中）与“指导者”（远程，查看不完整地图）之间的情境化任务交互。
地面真值： 选择了六段对话及其相关的视频录制（搜索者的头戴摄像头和指导者的屏幕）来建立地面真值心理模型轨迹。
轨迹生成器： 三个独立的 LLMs（OpenAI o3-mini、Anthropic Claude Sonnet 4、Google Gemma 8.5B）和两组人类标注员被要求为这六段对话生成心理模型轨迹。
- 朴素条件（Naive Condition）： LLMs 和一组人类仅接收音频转录文本（无视频）。
- 地面真值条件（Ground Truth Condition）： 第二组人类接收转录文本及视频证据，以建立地面真值轨迹。
标注模式： 轨迹以 JSON 对象的形式生成，通过更新每一句对话的信念、目标和承诺状态，并使用特定的动词词汇表以确保可比性。

2. 差异分析框架

一个独立的“LLM 裁判”将仅基于音频的轨迹（来自 LLMs 和朴素人类）与基于视频的地面真值轨迹进行比较。该框架定义了四种特定的差异类型：

信念矛盾（Belief Contradictions）： 轨迹中代理人持有的命题与地面真值中互斥的命题。
错误信念（False Beliefs）： 轨迹中的命题与地面真值不符（即使不是直接的否定）。
无依据信念（Unsupported Beliefs）： 轨迹中的命题在地面真值中缺乏证据基础（幻觉）。
遗漏（Omissions）： 地面真值中存在但在轨迹中缺失的信念/目标更新。

计算了一个加权差异得分（ $S_{m,d}$ ），并将其归一化至 [0, 1]，以量化与地面真值的对齐程度，同时考虑了对话长度和错误严重程度。

核心贡献

首创研究： 据作者所知，这是首个使用真实世界、基于任务的对话信念状态轨迹作为透镜来评估 LLMs 心智理论的研究。
新颖框架： 引入了一个可复现的两步评估流水线，用于评估 SMM 的连贯性，并区分了感知信息缺失与推理错误。
数据集发布： 创建了一个包含人类和 LLM 心理模型轨迹以及源自视频的地面真值轨迹的数据集，为未来关于情境化心智理论的研究提供支持。
差异分类法： 定义并操作化了四种不同的错误类型（矛盾、错误信念、无依据信念、遗漏）及其严重程度排序。

结果

对六段对话（1,142 句话语）的评估揭示了模型与人类之间显著的性能差距：

模型表现：
- Claude Sonnet 4 表现出最高的整体差异计数（在对话 3 中超过 700 个）和最低的归一化得分。它频繁生成无依据信念和信念矛盾，表明其存在倾向于推测性推理和过度概括的问题。
- o3-mini 和 Gemma 8.5B 产生的差异显著较少。然而，它们表现出不同的特征：o3-mini 的遗漏率较高，而 Gemma 的遗漏率接近于零，但信念矛盾率较高。
- 错误信念在所有模型中都非常稀疏，这表明错误通常源于缺乏根据的推演，而非自信的误判。
人类 vs. LLM：
- 朴素人类标注员在限制无依据信念（幻觉）方面优于 LLMs，但在信念矛盾和遗漏方面的发生率与 LLMs 相当甚至更高。
- 统计分析（双因素方差分析，Two-way ANOVA）证实了模型存在显著的主效应（ $p < 2e-16$ ），其中 Claude 与 Gemma 和 o3-mini 均有显著差异。
错误模式： 定性分析表明，LLMs 在需要空间推理或**转录级语流不畅（disfluencies）**消歧的场景中会系统性出错。错误集中在环境落地（grounding）至关重要但仅凭文本本身无法获取信息的轮次中。

意义与主张

本文主张，虽然 LLMs 可以模拟有限且可衡量的类心智理论行为（维持内部一致的信念结构），但它们缺乏具身的场景推理能力。

有限的心智理论： LLMs 似乎是通过语言规律性而非整合的空间、时间及认识论理解来推断心理状态。它们生成的轨迹在处理简单的自然语言任务时具有连贯性，但在需要空间约束或环境落地时则会失效。
代理任务验证： 本研究提出将情境化对话轨迹生成作为探测 AI 系统心智理论能力的有效代理任务，从而超越静态基准测试。
启示： 研究结果强调，当前的 LLMs 更多是由语言模式而非人类心智理论背后的动态实时推理所驱动。这种局限性对于涉及人类-AI 协作的应用至关重要，因为在这些应用中，准确的共享心理模型是实现协作的基础。

作者保持了谦逊的态度，承认了包括 LLM 输出的非确定性、CReST 子集的特定规模，以及缺乏 LLMs 接触视频（多模态输入）条件的局限性，并将这些视为未来的研究方向。