💬 NLP

Belief-reality separation lives in routing over a shared value slot in language models

本文指出，语言模型通过两种截然不同的机制将信念与现实分离：一个存储归属信息的共享价值槽（shared value slot），以及一个决定是从角色的信念还是客观现实中读取信息的查询-位置路由（query-position router），这种能力在多种架构中于 3B 到 7B 参数量之间涌现。

原作者： Oliver Steele, Jiangtao Wen, Yuxing Han

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Oliver Steele, Jiangtao Wen, Yuxing Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个超级智能的语言模型就像一座繁忙的大型图书馆，故事正在其中实时地被书写和阅读。长期以来，我们一直好奇这座图书馆是如何将一个角色的“信念”与“现实”区分开来的。如果故事说：“安娜认为杯子是蓝色的，但实际上它是红色的，”那么当被问及安娜认为是什么颜色时，模型需要回答“蓝色”；而当被问及实际情况时，它需要回答“红色”。

这篇论文揭开了帷幕，展示了模型的“大脑”究竟是如何实现这一点的。事实证明，模型并没有使用两个不同的存储室来存放“真相”或“谎言”，而是使用了一个巧妙的两部分系统：一个通用文件槽和一个智能开关。

通用文件槽

首先，模型记忆中有一个特定的位置，被称为“数值槽（value slot）”。你可以把它想象成桌子上的一张通用的便利贴。这张纸条并不关心是谁在看它，也不关心他们相信什么；它只是承载着“蓝色”这个信息。

研究表明，这个槽位通过两种不同的方式填充：

直接写入： 如果文本明确说“安娜相信杯子是蓝色的”，模型就会直接将“蓝色”写在这张便利贴上。
侦探式回溯： 如果文本说“安娜看到本把杯子涂成了蓝色”，模型就必须进行一些侦探式的推理。它需要回溯故事，看看安娜实际看到了什么，确定颜色是蓝色，然后将“蓝色”写在同一张便利贴上。

关键在于，便利贴本身没有任何标签说明“这是安娜的信念”或“这是事实”。它只是一个中性的容器，用来存放颜色。如果你更换了这张纸条上的颜色，它对“信念问题”和“现实问题”的答案改变程度是完全一样的。这张纸条只代表“是什么”，而不代表“是谁”或“何时”。

智能开关（路由器）

既然纸条是中性的，那么模型是如何知道该读取哪个版本的呢？这就是第二个机制发挥作用的地方：在提出问题的一瞬间，一个位于右侧的**路由器（router）**起到了作用。

想象一下，有一名交通警察站在图书馆的出门口。当有人问“安娜认为是什么？”时，警察会将开关拨向“信念”车道。当有人问“实际上是什么？”时，警察会将开关拨向“现实”车道。

论文证明，这两条车道是完全独立的。“信念”开关和“现实”开关就像两把不同的钥匙，可以打开不同的门。它们互不混淆。如果你尝试用“信念”钥匙去开“现实”之门，它几乎不起作用。这种分离专门发生在提问的那一刻，而不是在存放颜色的存储室里。

这种超能力何时出现？

研究人员测试了不同规模的模型，以观察这种能力何时产生。

小型模型（30亿参数）： 这些模型会感到困惑。它们通常只是重复最后听到的颜色（一种被称为“近因效应”的技巧），而不是追踪谁看到了什么。
中型模型（70亿参数）： 突然之间，这种能力便跃然而出。在30亿到70亿参数之间，模型学会了清晰地分离信念与现实。当达到70亿参数时，无论故事以何种顺序讲述，它们都能近乎完美地解决这些谜题。

这不是什么

这篇论文非常谨慎地排除了一些常见的猜测：

它不是“真相”对“谎言”的标签： 模型并没有在颜色上盖上特殊的“信念”印章。无论是在表达信念还是表达事实，颜色“蓝色”的存储方式都是一样的。区别完全在于模型如何选择去“读取”它。
它不仅仅是复制： 测试过程经过精心设计，使得仅仅通过复制最后提到的单词是无法完成任务的。模型实际上必须追踪谁看到了什么。
它不仅仅是一个巨大的“信念大脑”： 研究表明，存储数值的部分与决定使用哪种视角的决策部分是不同的。

核心结论

简而言之，模型并没有一个“信念机器”和一个“现实机器”。它拥有一个用于存放数值的共享文件柜，以及一个根据问题决定打开哪个抽屉的智能开关。这种系统适用于不同类型的模型（如 Qwen、Mistral 和 OLMo），并且一旦模型规模足够大（约70亿参数），这种能力就会显著显现。

研究人员是通过交换模型内部代码的微小部分（例如交换便利贴或开关）并观察答案的变化来发现这一点的。他们确信这就是模型的工作方式，因为他们在三种不同的模型架构上进行了测试，并发现了相同的模式。虽然他们怀疑这种“槽位与开关”系统可能也适用于其他复杂的场景（如时空旅行故事或“假设”情景），但这篇特定的论文完全专注于“信念与现实”的分离。

技术摘要：语言模型中的信念-现实分离

问题陈述

能力强大的语言模型（LM）展现出区分角色信念与客观现实的能力（例如，在给定“安娜认为杯子是蓝色的；而实际上它是红色的”这一前提时，当被问及安娜认为是什么颜色时回答“蓝色”，而当被问及事实是什么颜色时回答“红色”）。然而，这种分离在模型计算中的具体机制位置尚不明确。前人的工作已经证实模型可以追踪实体状态并执行心理理论（ToM）任务，但目前尚不清楚信念与现实之间的分离是编码在值表示（value representation）本身中，还是编码在选择读取哪个框架（frame）的机制中。此外，心理理论的行为基准测试往往容易受到“捷径”（如近因偏差、复制）的影响，从而在没有真正推理的情况下虚高性能。本文旨在定位负责信念-现实分离的具体计算机制，并确定它们是否与存储属性值的机制是相互独立的。

方法论

作者采用**分布式对齐搜索（Distributed Alignment Search, DAS）**来识别模型残差流中能够因果控制特定读出的低秩连续子空间。该方法依赖于三个核心组件：

去混淆刺激（De-confounded Stimuli）： 为了消除心理理论基准测试中常见的捷径（Ullman 2023; Shapira et al. 2024），作者设计了具有随机子句顺序和不同值集的极简对等模板。
- 选择性可见性（Selective Visibility）： 测试模型是否根据角色看到了什么来归属信念（例如，卡罗尔看到安娜将杯子涂成蓝色，但没看到本将其涂成红色）。
- 断言式 vs. 推导式（Asserted vs. Derived）： 对比文本中明确陈述的信念（“安娜相信……”）与从可见性中推断出的信念（“安娜看到……”）。
- 信念 vs. 现实（Belief vs. Reality）： 提供一个包含冲突信念值与现实值的单一上下文，以测试框架选择。
- 控制组（Controls）： 包括“防复制”设计，即返回最后提到的颜色或单个提到的值会导致错误答案。
干预协议： 研究使用交换干预（interchange interventions）。在特定的标记位置识别出内部状态的一个低秩切片（subspace）。该切片从“捐赠者”上下文（例如，红色的杯子）被复制到“接收者”上下文（例如，蓝色的杯子）中，时间点位于查询时刻。如果模型的输出切换到了捐赠者的值，则说明该子空间在因果上控制了该读出。
模型范围： 分析主要针对开源权重模型，包括 Qwen2.5 (3B, 7B, 14B, 32B), Mistral-7B 和 OLMo-2-7B。通过五个模型家族评估行为缩放情况，确立了 7B 为该机制能够稳健观察到的最小规模。

核心贡献

论文指出，信念-现实的分离并非单体式的表示，而是由位于计算过程中不同位置的两个可分离机制构成的分工协作：

通用值槽（A Generic Value Slot）： 一个持有属性值（例如“蓝色”）但**与框架无关（frame-agnostic）**的低秩子空间。它本身并不具备将该值标记为“信念”或“现实”的特性。
特定框架路由器（A Frame-Specific Router）： 一个位于**查询位置（query position）**的独立低秩子空间，用于选择从值槽中读取哪一个框架（信念或现实）。

关键结果

1. 能力随规模的涌现

基于描述的可见性进行信念归属的能力在 3B 到 7B 参数之间发生剧烈涌现。

3B 模型无法完成任务，通常依赖近因效应（重复最后提到的颜色）。
7B 模型（Qwen, Mistral, OLMo）能以高准确度和顺序无关性解决该任务。
这确立了 7B 作为机械论分析的基质。

2. 进入单一值槽的两条路径

论文证明了断言式信念（明确陈述）和推导式信念（从可见性推断）填充的是同一个低秩子空间。

交叉转移（Cross-Transfer）： 一个训练用于控制断言式信念的子空间可以高效地引导推导式信念（在基础模型上效率为 0.74–0.97）。
不对称性： 指令微调强化了一种不对称性，即涉及可见性门控回溯（visibility-gated lookback）的推导路径在引导共享槽方面变得更加主导，尽管槽本身仍是共享的。
可见性依赖性： 推导式信念在因果上依赖于描述的可见性（交换可见的角色会使信念发生 99% 的翻转），而断言式信念对可见性子句是不变的。这证实了两个不同的输入路径汇聚到了同一个表示之上。

3. 值槽与框架无关

对值槽的干预表明它不携带信念-现实标签。

跨框架转移： 一个训练用于控制“信念”读出的子空间，能以同等强度移动“现实”读出（转移率为 89–95%）。
结论： 该槽位存储的是值（例如“蓝色”），无论该值是作为一种信念还是一个事实。分离并不存在于此处。

4. 路由器选择框架

信念与现实之间的分离是通过查询位置的一个路由器实现的。

解离（Dissociation）： 信念路由器和现实路由器是两个截然不同的、近乎正交的子空间。将信念路由器交换到现实查询中（或反之）会导致无法产生正确的输出（跨向泄漏 $\le$ 0.16）。
机制： 路由器选择读取哪一个框架的值，而不会注入捐赠者的特定值。
分布内有效性： 投影消融实验确认这些路由器在模型的自然前向传播过程中确实被使用，而不仅仅是有效的交换目标。

意义与主张

本文声称解决了语言模型中信念-现实分离的“位置”问题：

分离是路由而非编码： 角色所相信的内容与事实之间的区别，并非编码在值表示本身中，而是实现为一个路由机制，用于从共享的值槽中选择一个框架。
机械论泛化： 这种“槽位与路由器”架构在三种不同的模型家族（Qwen, Mistral, OLMo）及规模（7B, 14B）中均成立。
反驳单体信念表示： 研究结果反驳了信念是一个单一、自洽状态的观点。相反，信念是价值绑定（槽位）与框架选择（路由器）的复合体。
非现实语境的基础： 作者指出，这种特定的“槽位与路由器”格式似乎也存在于其他非现实语境（反事实、虚构、时间性）中，这一主张在另一篇配套论文（Steele 2026）中得到了扩展。

论文对于二阶信念和指令微调效应的讨论保持了克制，指出这些属于初步或单一基质的发现，并明确避免做出关于这些内部状态“信念地位（doxastic status）”的哲学主张，而是专注于研究其对读出的因果结构。