💬 NLP

Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

该研究通过识别语言模型中的模态差异向量，不仅揭示了模型具备比先前报道更可靠的模态分类能力且其出现具有规律性，还发现这些向量能有效模拟人类对事件可能性的细粒度判断，从而为理解人类模态分类机制提供了新视角。

原作者： Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

发布于 2026-02-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）做一次“心理体检”，看看它们脑子里到底有没有一本"现实与幻想的说明书"。

简单来说，研究人员发现：虽然大模型有时候会胡言乱语，但它们内部其实藏着一套非常清晰的“雷达系统”，能精准地分辨出什么是真实发生的、什么是不太可能发生的、什么是完全违反物理定律的，以及什么是连想都想象不出来的胡扯。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这篇论文的核心发现：

1. 核心问题：模型是“瞎猜”还是“真懂”？

以前大家觉得，大模型判断一句话靠不靠谱，主要是看它“觉得这句话出现的概率大不大”。

比喻：就像你在街上听到有人说话，如果他说“太阳从东边升起”，你觉得这话很顺耳（概率高）；如果他说“太阳从西边升起”，你觉得这话很怪（概率低）。
新发现：但这篇论文发现，模型不仅仅是靠“语感”或“概率”在猜。它们的大脑深处（隐藏层）其实画出了一张地图。这张地图上有专门的“坐标轴”，能直接指出这句话是“真事”还是“幻想”。这比单纯看概率要精准得多。

2. 四种“现实等级”

研究人员把句子分成了四个等级，就像给现实世界加了四个滤镜：

** probable **(很可能)：像“用冰块冰镇饮料”。这是日常，模型很熟悉。
**improbable **(不太可能)：像“用雪冰镇饮料”。虽然少见，但在逻辑上是通的。
**impossible **(不可能)：像“用火冰镇饮料”。这违反了物理定律（火是热的），但在逻辑上你能想象出这个画面。
inconceivable (无法想象)：像“用昨天冰镇饮料”。这不仅是错的，而是语义崩塌。你根本没法在脑海里构建这个画面，因为“昨天”不是东西，没法用来冰镇。

3. 发现一：模型脑子里有“差异向量” (Modal Difference Vectors)

这是论文最酷的技术发现。

比喻：想象模型的大脑是一个巨大的3D 空间。
- 当模型读到“用冰块”时，它在这个空间里指向一个点。
- 当模型读到“用火”时，它指向另一个点。
- 研究人员发现，这两个点之间有一条看不见的直线（向量）。只要沿着这条线看，模型就能瞬间分清“可能”和“不可能”。
- 这就好比模型手里拿着一把特制的尺子，专门用来测量“现实度”。以前大家以为模型只会算概率（像算分），现在发现它其实有这种“尺子”（几何结构）。

4. 发现二：学习是有顺序的 (像孩子长大一样)

模型是怎么学会分辨这些的？研究发现，它们的学习顺序和人类小孩非常像：

第一阶段（刚起步/小模型）：先学会分辨“胡扯”和“正常”。比如，先能看出“用昨天冰镇饮料”是 nonsense（无法想象），但还分不清“用火”和“用雪”哪个更离谱。
第二阶段（变大/变深）：开始能分清“违反物理定律”（用火）和“只是少见”（用雪）。
比喻：这就像教小孩认世界。小孩先知道“人不能飞”（不可能），后来才知道“人跳得比房子高”虽然很难，但不是绝对不可能。模型也是先学会抓大错，再学会抓细节。

5. 发现三：模型像人类一样“纠结”

最有趣的是，研究人员把模型的这种“尺子”拿去和真人的判断做对比。

比喻：当给真人看一些模棱两可的句子（比如“用某种奇怪的东西冰镇饮料”）时，真人会犹豫，有人觉得可能，有人觉得不可能。
结果：模型的“尺子”测出来的结果，竟然和真人的犹豫程度高度一致！
- 如果模型觉得这句话在“现实”和“幻想”的边界线上摇摆，真人也会觉得难判断。
- 这说明模型不仅仅是死记硬背，它捕捉到了人类对“可能性”那种微妙的直觉。

6. 发现四：为什么有些东西“无法想象”？

最后，研究人员发现，模型区分“不可能”（如火冰镇）和“无法想象”（如昨天冰镇）的关键，在于想象力。

比喻：
- 不可能：你虽然知道火不能冰镇，但你能想象出那个荒谬的画面（一团火在杯子里）。
- 无法想象：你根本无法在脑海里构建这个画面，因为“昨天”不是实体。
研究发现，模型内部有一种特殊的机制，专门负责这种“能不能在脑海里画出来”的判断。这暗示了，想象力可能是区分“荒谬”和“胡扯”的关键钥匙。

总结

这篇论文告诉我们：
大语言模型不仅仅是会“接龙”说话的鹦鹉。它们在训练过程中，自发地构建了一套关于“现实世界规则”的内部地图。这套地图不仅能帮模型分清真假，还能模拟人类对“可能”与“不可能”的直觉判断。

一句话概括：
大模型不仅学会了说话，还悄悄学会了分辨什么是真事、什么是幻想、什么是纯粹的胡扯，而且它们脑子里的这套“分辨系统”，竟然和人类的大脑运作方式惊人地相似。

这是一篇发表于 ICLR 2026 的会议论文，题为《这是纯粹的幻想吗？语言模型表征反映了人类对事件可能性的判断》（IS THIS JUST FANTASY? LANGUAGE MODEL REPRESENTATIONS REFLECT HUMAN JUDGMENTS OF EVENT PLAUSIBILITY）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

语言模型（LMs）被广泛用于从回答问题到创作奇幻故事的各种任务。为了可靠地执行这些任务，LM 必须能够区分句子的模态类别（Modal Categories），即判断句子描述的是现实可能、不可能、完全荒谬还是仅仅是幻想。

核心矛盾：尽管互联网数据包含大量非现实内容（如奇幻小说、无意义句子），LM 需要区分“现实”、“假设”和“不可想象”。
现有局限：近期研究（如 Kauf et al., 2023; Michaelov et al., 2025）质疑 LMs 区分模态类别的能力，认为 LMs 对表面特征的敏感性使得基于概率（Probability）的估计无法准确反映句子的模态类别。
研究问题：
1. LMs 内部是否存在超越输出概率的模态类别线性表征？
2. 这些表征如何随训练步数、网络层深度和模型规模而发展？
3. LMs 的表征是否反映了人类细粒度的分类行为？
4. 这些表征对应哪些可解释的特征？

2. 方法论 (Methodology)

作者采用机械可解释性（Mechanistic Interpretability）技术，特别是对比激活加法（Contrastive Activation Addition, CAA），来提取和分析 LMs 内部的线性表征。

模态类别定义：
- **Probable **(可能)：现实世界中常见且可能的事件。
- **Improbable **(不太可能)：可能但不常见的事件。
- **Impossible **(不可能)：违反自然法则（物理、生物等）的事件。
- **Inconceivable **(不可想象)：由于语义或概念错误（如选择限制违反）导致在任何可能世界中都无法评估的事件。
**模态差异向量 **(Modal Difference Vectors)：
- 利用 CAA 技术，通过计算不同模态类别句子对（Minimal Pairs）在隐藏层状态中的差异（ $v = r_+ - r_-$ ），构建线性向量。
- 这些向量代表了区分特定模态类别（如“可能”vs“不可能”）的方向。
- 通过交叉验证确定最佳层，并在 Hu et al. (2025b) 数据集上训练向量，然后在其他数据集（Goulding et al., 2024 等）上进行泛化测试。
实验设计：
- Study 1：验证模态差异向量是否能比句子概率更准确地分类模态类别。
- Study 2：分析模态差异向量随模型规模（参数量）、层深和训练步数的演化规律。
- Study 3：将句子投影到模态差异向量构成的特征空间，使用逻辑回归建模人类的分类行为（而非专家标签）。
- Study 4：将向量投影与人类对可解释特征（如事件可能性、图像性、语法性等）的评分进行相关性分析。
模型与数据：
- 测试了多种模型（GPT-2, Llama-3.2, OLMo-2, Gemma-2），规模从 1B 到 13B+。
- 使用了多个包含专家标注和人类行为数据的基准数据集。

3. 主要结果 (Key Results)

A. 线性表征的存在性与优越性 (Study 1)

发现：LMs 内部确实存在区分模态类别的线性表征（模态差异向量）。
性能：在 2B 参数以上的模型中，模态差异向量在分类任务上的表现显著优于基于句子概率（Log-probability）的基线方法，也优于主成分分析（PCA）和随机向量。
泛化：这些向量在未见过的数据集（包括对抗性样本）上表现出良好的泛化能力。

B. 表征的演化规律 (Study 2)

规模效应：模态区分能力与模型规模强相关。小于 2B 参数的模型表现较差，无法可靠区分所有类别；2B 以上模型则能有效区分。
发展顺序：模态差异向量的出现遵循特定的顺序，反映了从粗粒度到细粒度的学习过程：
1. 最早：区分“不可想象”（Inconceivable）与其他类别（利用选择限制违反的信号）。
2. 其次：区分“可能”（Probable）与“不可能”（Impossible）。
3. 再次：区分“可能”与“不太可能”（Improbable）。
4. 最后：区分“不太可能”与“不可能”。
这一发现与人类儿童模态判断的发展规律（先区分荒谬，再区分不可能）高度一致。

C. 对人类行为的建模 (Study 3)

发现：将句子投影到模态差异向量构成的特征空间中，能够很好地预测人类参与者的分类分布。
对比：基于模态差异向量的逻辑回归模型在预测人类反应分布（包括概率、均方误差和熵）方面，表现优于基于概率或 PCA 的基线模型。
意义：这表明 LMs 的表征捕捉到了人类模态判断中的细微差别（graded intuitions），而不仅仅是专家定义的硬标签。

D. 可解释性分析 (Study 4)

Probable-Improbable 向量：与人类对主观事件可能性（Subjective Event Likelihood）的评分高度相关。
Impossible-Inconceivable 向量：与图像性（Imageability，即句子是否容易在脑海中形成图像）、物理对象的存在以及地点/环境特征高度相关。
关键洞察：区分“不可能”与“不可想象”的关键因素似乎是想象力（Imagination）。人类难以想象的事件往往被归类为“不可想象”，而仅仅是违反物理法则但可想象的事件则是“不可能”。

4. 核心贡献 (Key Contributions)

证明了线性表征的存在：推翻了“模态类别仅隐含在概率中”的观点，证明了 LMs 内部存在明确的、线性的模态差异向量。
揭示了发展轨迹：阐明了模态表征在训练、层深和规模维度上的演化顺序，发现其顺序与人类认知发展相似。
连接了机器与人类认知：首次展示了 LMs 的内部表征可以直接用于建模人类细粒度的模态分类行为，且优于传统概率方法。
提出了新假设：通过相关性分析，提出了“想象力”是区分“不可能”与“不可想象”事件的关键认知机制，为理解人类模态直觉提供了新视角。

5. 意义与影响 (Significance)

对 LM 能力的重新评估：研究表明 LMs 比之前认为的更能区分现实与幻想，它们不仅学习统计规律，还编码了关于世界可能性的因果原则（World Models）。
应用价值：这种区分能力对于将 LMs 应用于高风险领域（如医疗、法律）至关重要，因为它们需要区分事实与虚构。
认知科学启示：该研究提供了一种通过“探针”LM 来理解人类模态直觉的新方法。LM 的表征结构可能反映了人类处理可能性的底层认知机制，特别是关于“想象力”在模态判断中的作用。
方法论贡献：展示了利用机械可解释性技术（如 CAA）来解构和量化 LMs 内部抽象概念（如模态）的有效性。

总结：
这篇论文通过机械可解释性技术，有力地证明了大型语言模型内部存在区分现实、假设和荒谬的线性表征。这些表征不仅比传统的概率估计更可靠，而且其发展顺序和特征结构与人类的模态判断直觉惊人地一致。研究特别指出，LM 和人类都利用“想象力”作为区分“不可能”与“不可想象”的关键机制，这为理解 AI 的“世界模型”和人类认知提供了新的桥梁。