💬 NLP

Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs

该研究通过测试 41 个开源语言模型在错误信念任务中的表现，发现部分模型展现出对知识状态的敏感性且大模型表现更佳，并进一步利用模型行为验证了人类在特定语言线索下产生错误信念归因偏差的机制可能源于语言分布统计，从而证明了利用大规模开源模型检验人类认知理论的价值。

原作者： Sean Trott, Samuel Taylor, Cameron Jones, James A. Michaelov, Pamela D. Rivière

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sean Trott, Samuel Taylor, Cameron Jones, James A. Michaelov, Pamela D. Rivière

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一场**“大规模的心理侦探实验”**，研究者试图搞清楚：人工智能（AI）到底能不能像人类一样，去理解别人脑子里在想什么？

为了让你轻松理解，我们可以把这篇研究想象成**“给 41 个不同型号的 AI 学生上‘读心术’课”**。

1. 为什么要做这个实验？（背景）

以前，科学家测试 AI 的“读心术”（心理学上叫“心理理论”），通常只拿一两个最顶尖的、但不公开内部构造的“黑盒”AI 来测试。

比喻：这就像只拿两个“秘密特工”来测试人类是否具备某种能力，然后就说“所有特工都这样”。但这有个大问题：如果这两个特工是作弊的（比如背过答案），或者它们太特殊了，那结论就不靠谱。
新做法：这次，研究者找了41 个不同家族、不同大小的**“开源”AI 模型**（就像 41 个公开了课本和笔记的学生）。他们想看看，这些 AI 到底是不是真的“懂”人心，还是只是碰巧猜对了。

2. 他们是怎么测试的？（任务）

他们用了经典的**“错误信念任务”**（False Belief Task）。

故事是这样的：
- 小明把巧克力藏在盒子里，然后去玩了。
- 小红趁小明不在，把巧克力移到了篮子里。
- 现在小明回来了，他以为巧克力在哪里？
人类的反应：正常人会说“盒子”，因为小明不知道巧克力被移走了（这是“错误信念”）。
AI 的测试：研究者给 AI 看这个故事，看它会不会像人一样，知道小明“以为”巧克力还在盒子里，而不是在篮子里。

3. 发现了什么？（核心结果）

A. 只有三分之一的 AI“及格”了

在 41 个 AI 里，只有34%（大约 14 个）表现出了对“别人不知道某事”的敏感度。

比喻：就像给 41 个学生考“读心术”，只有 14 个学生能猜对小明的心思。剩下的学生要么完全不懂，要么就是瞎猜。

B. 越大的 AI，越像人（但也还没完全像）

发现：参数量（可以理解为“大脑神经元”的数量）越大的 AI，表现越好。
比喻：就像年纪大、读书多的学生，比小学生更擅长理解复杂的心理活动。
但是：即使是表现最好的 AI，准确率也只有74.5%，而人类是82.7%。
结论：AI 虽然能猜对一部分，但还没法完全解释人类为什么能这么准确地理解别人的想法。人类似乎还有某种 AI 没有的“超能力”。

C. 一个有趣的“语言陷阱”

研究者发现了一个人类和 AI 都掉进去的共同陷阱：

陷阱：当句子用"约翰认为（John thinks）”这种词时，人类和 AI 都更容易猜错（倾向于认为巧克力在错误的地方）。
比喻：这就像是一个语言上的“暗示”。当我们说“他认为”时，大脑（无论是人的还是 AI 的）会潜意识地觉得“既然你特意强调‘认为’，那可能事实不是这样”。
关键点：在这个特定的“语言陷阱”上，人类的表现竟然和 AI 的分布完全重合！这意味着，这种错误可能纯粹是因为语言统计规律（大家说话的习惯）造成的，而不是因为人类有某种神秘的“灵魂”。

4. 这篇论文告诉我们什么？（总结）

AI 确实有点“读心术”：它们通过阅读海量的人类语言，确实学会了一些关于“别人在想什么”的规律。这支持了“语言学习能帮助我们理解他人”的理论。
但 AI 还不够完美：它们还没法完全模拟人类那种敏锐的直觉。人类在理解他人心理时，可能不仅仅靠“读过的书”，还需要真实的生活体验或社交互动。
开源的重要性：这次研究之所以成功，是因为用了 41 个公开的模型。如果只测一两个“黑盒”模型，我们可能早就误以为 AI 已经完美了，或者完全没希望了。
未来的方向：既然 AI 在“语言暗示”上和人很像，但在“真实情境推理”上不如人，未来的研究应该去探索：除了看书（语言统计），人类还需要什么才能学会真正的“读心术”？ 是眼神交流？是情感体验？还是别的什么？

一句话总结：
这篇论文告诉我们，AI 通过“死记硬背”人类语言，已经学会了一些“读心术”的皮毛，甚至在某些语言习惯上和人类一样会犯错；但要想真正像人类一样理解复杂的内心世界，AI 还差那么一点点“灵魂”或“生活体验”。

这是一份关于论文《Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs》（语言统计与错误信念推理：来自 41 个开放权重语言模型的证据）的详细技术总结。

1. 研究背景与问题 (Problem)

核心议题：语言模型（LMs）在仅基于语言分布统计（distributional statistics）训练的情况下，是否具备人类水平的“心理状态推理”（Mental State Reasoning）能力，特别是“错误信念推理”（False Belief Reasoning，即“心智理论”ToM 的核心部分）。
现有局限：
- 样本偏差：以往研究多依赖少量闭源模型（如早期的 text-davinci-002），导致结果难以复现，且无法检测数据污染。
- 属性未知：闭源模型的参数规模、训练数据量、指令微调（Instruction-tuning）细节等关键属性不公开，阻碍了对模型性能与架构/训练数据之间因果关系的推断。
- 理论验证不足：难以确定人类在错误信念任务中的表现是源于语言暴露，还是其他认知机制（如社会互动、具身认知等）。
研究目标：通过大规模测试开放权重（Open-weight）语言模型，复现并扩展先前的研究，以严谨地检验语言统计能否解释人类的错误信念推理行为，并探索模型属性与性能的相关性。

2. 方法论 (Methodology)

实验材料：
- 沿用 Trott et al. (2023) 设计的错误信念（FB）任务文本。
- 任务结构：涉及物体从“起点”（Start）移动到“终点”（End）。关键变量包括：
  - 知识状态（Knowledge State）：角色是否目睹了移动（真信念 vs. 错误信念）。
  - 知识线索（Knowledge Cue）：提示方式。显式（Explicit，如"John thinks..."）vs. 隐式（Implicit，如"John looks for..."）。
  - 其他控制变量：首次提及位置、最近提及位置。
- 共 12 个场景，16 个变体，总计 192 个语料。
模型样本：
- 测试了 41 个 来自 5 个模型家族（Gemma, Llama 3, OLMo-2, Pythia, Qwen 2.5）的开放权重模型。
- 涵盖不同参数量级（从几百万到几十亿参数）、不同训练阶段（Base 基座模型 vs. Instruct 指令微调模型）。
评估流程：
- LM 评估：使用 HuggingFace transformers 库在本地运行。计算模型对“起点”和“终点”位置 Token 的对数概率（Log Probabilities），并计算对数几率（Log Odds）。正 Log Odds 表示倾向于起点（错误信念下的正确推理），负值表示倾向于终点。
- 人类数据：使用 Trott et al. (2023) 的公开人类数据（613 名参与者）作为基准。
- 统计分析：
  - 构建线性混合效应模型（LMM）检验模型对知识状态的敏感性。
  - 计算心理测量预测力（Psychometric Predictive Power, PPP）：即 LM 的行为在多大程度上能预测人类的行为（通过 $R^2$ 和 $\Delta AIC$ 衡量）。
  - 回归分析：探究参数量、训练 Token 数、指令微调状态对模型性能的影响。

3. 主要发现与结果 (Key Results)

RQ1: 开放权重模型是否对知识状态敏感？

结果：在 41 个模型中，34%（14 个）表现出对知识状态的显著敏感性（即能区分真信念和错误信念）。
表现：表现最好的模型（如 OLMo 2 13B 的指令微调版）准确率达到 74.5%，但人类基准约为 82.7%。
结论：部分模型具备初步的心智推理能力，但尚未达到人类水平。

RQ2: 模型能否完全“解释掉”（Explain Away）人类效应？

结果：不能。即使加入模型的 Log Odds 作为预测变量，知识状态（Knowledge State）的操纵仍然对人类反应有显著的额外解释力。
意义：这意味着仅靠语言分布统计不足以完全解释人类在错误信念任务中的表现，暗示人类认知中存在超越语言统计的机制。

RQ3 & RQ4: 哪些模型属性预测性能？

关键发现：参数量（Parameter Count）是预测模型敏感性和心理测量预测力（PPP）的最显著因素。
- 参数量每增加一个数量级，准确率预期提升约 8%。
- 更大的模型不仅表现更好，且其行为与人类行为的关联性（ $R^2$ ）更强。
指令微调：虽然指令微调模型在某些情况下表现更好，但在统计回归中，参数量是主要驱动力。

RQ5: 非事实性动词（Non-factive Verbs）的偏见效应

新假设：研究提出并验证了一个关于“非事实性动词”（如 "thinks"）导致错误信念归因偏见的假设。
发现：
- LM 和人类均表现出偏见：当使用 "John thinks..."（显式/非事实性）而非 "John looks for..."（隐式）时，两者都更倾向于选择错误的起点位置（即归因于错误信念）。
- 效应量对比：
  - 知识状态效应：人类效应远大于 LM 分布（LM 无法完全解释）。
  - 知识线索效应：人类的效应量完全落在 LM 效应量的分布范围内（中位数附近）。
推论：语言统计足以解释人类对非事实性动词的敏感性（可能源于词汇层面的反预设 "anti-presupposition"），但不足以解释人类对复杂情境模型构建（知识状态）的敏感性。

4. 主要贡献 (Key Contributions)

大规模开放权重基准：突破了以往仅依赖少量闭源模型的局限，利用 41 个开放权重模型提供了更具代表性和可复现性的基准。
区分语言统计的边界：通过对比“知识状态”和“知识线索”两种效应，精细地划定了语言统计在解释人类认知时的边界——它能解释词汇层面的联想偏见，但难以解释需要构建情境模型的高级推理。
模型属性与行为的关联：确立了参数量是预测 LM 心智推理能力的关键指标，为理解模型能力涌现提供了量化证据。
方法论创新：展示了如何利用 LM 群体作为“模型生物”来生成和验证关于人类认知的新假设（如非事实性动词的偏见），而不仅仅是将 LM 作为被测试对象。

5. 意义与启示 (Significance)

对认知科学的启示：
- 支持了“语言暴露是心智推理能力发展的部分基础”这一假说，但否定了其是唯一基础。人类在样本效率（Sample Efficiency）上远超 LM，暗示了除语言外的其他认知机制（如社会互动、具身经验）的重要性。
- 揭示了人类认知中不同层面的机制：词汇统计关联（LM 可模拟）vs. 情境模型构建（LM 难以完全模拟）。
对 AI 研究的启示：
- 强调在评估 LMs 认知能力时，必须使用开放权重模型以进行严谨的归因分析。
- 指出单纯扩大模型规模（Scaling Law）虽然能提升性能，但可能仍无法完全跨越人类认知能力的某些门槛。
- 提倡将 LM 视为生成假设的工具，利用其分布统计特性来反推人类语言处理中的统计规律。

总结：该论文通过严谨的大规模实证研究，证明了语言统计模型在错误信念任务上表现出了一定程度的敏感性，且这种敏感性与模型规模正相关。然而，LM 无法完全复现人类的高级推理能力，特别是在构建复杂情境模型方面。研究同时发现，人类对特定语言线索（如非事实性动词）的敏感性完全可由语言统计解释，这为理解人类认知的构成提供了新的视角。