💻 computer science

Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

该论文通过在多个语言模型中定位并干预早期层的选择性 MLP 神经元，证实了这些稀疏的神经单元构成了实体事实性知识的因果访问点，能够支持从别名到多语言形式的鲁棒实体检索与记忆恢复。

原作者： Itay Yona, Dan Barzilay, Michael Karasik, Mor Geva

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Itay Yona, Dan Barzilay, Michael Karasik, Mor Geva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大型语言模型（LLM）做了一次“大脑核磁共振”，试图找到它们记忆具体事实（比如“奥巴马是谁”或“巴黎在哪里”）时，大脑里具体是哪几个“神经元”在起作用。

为了让你更容易理解，我们可以把语言模型想象成一个巨大的、由数百万个乐高积木（神经元）搭建而成的超级图书馆。

1. 核心发现：寻找“祖母细胞” (The Grandmother Cell)

在神经科学里，有一个著名的假说叫“祖母细胞”：意思是说，当你看到你的祖母时，你大脑里可能只有一个特定的神经元在疯狂放电，告诉你“这是奶奶”。

这篇论文的研究人员问：语言模型里也有这种“超级神经元”吗？ 也就是说，当模型提到“奥巴马”时，是不是也有那么一两个特定的积木，专门负责唤醒关于奥巴马的所有记忆？

答案是：有的，而且它们藏得很深（或者说很浅）。

2. 他们是怎么做的？（侦探游戏）

研究人员在 7 种不同的语言模型里，对 200 个热门人物、地点和事物（比如奥巴马、巴黎、FBI）进行了“捉迷藏”游戏：

第一步：定位（Localization）
他们给模型看各种关于同一个实体的句子（比如“奥巴马的出生地”、“奥巴马的配偶”、“奥巴马的政党”）。他们发现，无论怎么问，在模型处理“奥巴马”这个名字的最早期阶段（也就是模型的前几层，相当于大脑刚接收到信号的时候），总有一个特定的神经元会特别兴奋。
- 比喻： 就像你刚听到“妈妈”这个词，大脑里某个特定的开关“咔哒”一声就亮了，不管后面是问“妈妈喜欢吃什么”还是“妈妈多大岁数”。
第二步：破坏（Ablation - 让它“失忆”）
他们把这个特定的神经元“关掉”（或者让它反向工作）。
- 结果： 模型突然“失忆”了！它依然能流利地说话，但一提到“奥巴马”，它就完全想不起关于他的任何事实了。就像你拔掉了一个特定的开关，整个关于奥巴马的档案室瞬间断电。
- 关键点： 这种失忆是针对特定对象的。关掉“奥巴马”的神经元，不会让模型忘记“特朗普”是谁。
第三步：激活（Injection - 强行“唤醒”）
反过来，他们在一个本来不知道答案的句子里，强行把这个“奥巴马神经元”的信号插进去。
- 结果： 模型突然就能回答关于奥巴马的问题了！哪怕它原本没学过这个答案。
- 比喻： 就像你不需要把整个图书馆的书都搬出来，只要把那个特定的“索引卡”插进机器里，机器就能立刻调出所有关于奥巴马的信息。

3. 有趣的发现：这些神经元很“聪明”

研究人员还发现，这些“实体神经元”非常抗造：

不怕拼写错误： 就算你写错成"Obaama"，那个神经元依然会亮。
不怕缩写： 提到"FBI"和“联邦调查局”，激活的是同一个神经元。
不怕外语： 用中文、希伯来语或阿拉伯语提到“巴黎”，激活的也是同一个神经元。

比喻： 这说明模型里存的不是死板的“文字字符串”，而是一个抽象的“身份概念”。就像你不管用中文、英文还是手语叫“妈妈”，你大脑里那个识别“妈妈”的开关都会亮。

4. 局限性：不是所有东西都有“专属开关”

虽然这个现象很神奇，但并不是万能的：

热门才有： 只有像奥巴马、巴黎这种非常流行、大家经常讨论的实体，才容易找到这种“专属开关”。冷门的小众事物，可能没有这么清晰的单一神经元。
模型不同，效果不同： 在 Qwen2.5-7B 这个模型里，这种现象最明显。在其他模型里，虽然也能找到类似的神经元，但效果没那么“干脆利落”。

5. 总结：这意味着什么？

这篇论文告诉我们，语言模型并不是像我们以前以为的那样，把知识像撒胡椒面一样均匀地分布在所有参数里。相反，对于很多常见的事实，模型内部存在一种**“稀疏的、可操作的访问点”**。

以前： 我们以为模型记知识是靠“慢慢积累”，层层递进。
现在： 我们发现，对于很多实体，模型在最早期就建立了一个**“身份锚点”**。只要激活这个锚点，相关的知识就会像被打开的闸门一样涌出来。

这对我们有什么用？
这就好比我们终于找到了控制模型记忆的“总开关”或“快捷方式”。未来，如果我们想修改模型对某个人的看法，或者修复它的错误记忆，可能不需要重新训练整个庞大的模型，只需要精准地调整这几个关键的“神经元”就够了。这为让 AI 更可控、更安全提供了新的思路。

这篇论文《Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models》（硅基中的朋友与祖母：定位语言模型中的实体细胞）深入研究了大型语言模型（LLM）内部是如何存储和检索特定实体（如人名、地名）的事实性知识的。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

尽管语言模型能够回答大量以实体为中心的事实性问题，但其内部机制尚不明确。核心问题在于：

事实检索的锚点在哪里？ 模型是在前向传播的深层逐渐构建实体的语义表示，还是通过某种局部的、稀疏的访问点直接检索紧凑的实体表示？
是否存在“祖母细胞”？ 借鉴神经科学中的“祖母细胞”假说（即单个神经元可以代表复杂概念），研究者试图在 LLM 的 MLP（前馈神经网络）层中定位是否存在实体选择性神经元（Entity Cells），即能够稳定检测特定实体并写入该实体一致表示的神经元。

2. 方法论 (Methodology)

作者提出了一套基于**定位（Localization）和因果干预（Causal Intervention）**的流水线，用于识别和验证实体细胞。

A. 实体细胞的定位 (Localization)

提示模板： 针对每个实体（如"Donald Trump"），使用一系列模板化提示（例如"Donald Trump 的起源”、"Donald Trump 的角色”等），覆盖不同的属性查询。
激活提取： 在实体 Span 的最后一个 Token 位置，提取所有 Transformer 层中 MLP 神经元的下投影激活值（down-projection activation）。
稳定性评分： 计算神经元在不同提示下的激活稳定性。
- 首先对激活值进行标准化（减去均值，除以标准差）。
- 定义稳定性分数 $S_{\ell j} = \frac{(E[z])^2}{Std[z] + \epsilon}$ 。该分数奖励高平均激活且低相对变异的神经元。
候选选择： 对每个实体，选择稳定性最高的神经元作为该实体的“候选实体细胞”。

B. 因果干预验证 (Causal Interventions)

为了验证定位到的神经元是否具有因果作用（而不仅仅是相关性），作者进行了两种干预：

负向消融 (Negative Ablation)： 将选定神经元的激活值乘以一个负系数（ $\alpha < 0$ $α < 0$ ），翻转其信号。
- 目的： 观察是否会导致模型对该特定实体的事实检索能力丧失（即产生“实体特异性失忆”），同时不影响其他实体或模型的流畅性。
受控注入 (Controlled Injection)： 在占位符 Token（如"X"）处，将选定神经元的激活值强制设置为该实体在正常情况下的激活值（或基于均值实体初始化后的偏移）。
- 目的： 观察仅激活单个神经元是否足以让模型恢复对该实体的事实性回答。
- 对照组： 包括“均值实体初始化”（Mean-entity）和“错误细胞注入”（Wrong-cell，注入其他实体的神经元）。

C. 评估指标

Pass@k： 在注入干预后，正确答案的第一个 Token 是否出现在 Top-k 预测分布中。
相对知识分数 (Relative Knowledge Score)： 基于对数概率的归一化分数，用于衡量消融实验中的知识保留程度。
鲁棒性测试： 测试同一神经元在别名、缩写、拼写错误和多语言变体下的稳定性。

3. 实验设置 (Experimental Setup)

模型： 在 7 个不同家族的模型上进行了测试，包括 Qwen 系列（Qwen2.5-7B Base/Instruct, Qwen3-8B）、OLMo-7B、Llama-3.1-8B、Mistral-7B 和 OpenLLaMA-7B。
数据集： 使用 PopQA 数据集的 curated 子集（PopQA-200），包含 200 个流行实体（国家、城市、名人等）。
主要焦点： 结果分析主要集中在 Qwen2.5-7B Base 模型上，因为该模型表现出最强且最一致的因果证据。

4. 关键发现与结果 (Key Results)

发现 1：早期层集中 (Early-Layer Concentration)

在 Qwen2.5-7B 中，99% 的实体其最稳定的候选神经元集中在前 5 层（Layer 0-5）。
这表明实体身份表示的构建发生在模型的前向传播早期，符合“早期规范化”的特征，而非在深层逐渐累积。

发现 2：因果必要性 (Causal Necessity)

实体特异性失忆： 对定位到的神经元进行负向消融，会导致模型对该特定实体的事实检索能力显著下降（例如，关于 Obama 的问答准确率从 1.0 降至 0.123），而控制实体（如 Trump）的表现保持在基线水平。
在 200 个实体中，有 131 个实体通过了这种“可信度过滤”，证明这些神经元是实体特异性检索的功能性必要条件。

发现 3：因果充分性 (Causal Sufficiency)

单神经元充分性： 在已知答案的测试子集上，仅激活单个定位到的神经元（在占位符处注入），就能使模型恢复对该实体的正确回答（Pass@5 达到 63.3%），显著优于均值实体初始化和错误细胞注入（均接近 0%）。
对于大多数实体，Top-1（单个神经元）的注入效果与 Top-k（多个神经元）相差无几，表明单个神经元足以触发实体检索。

发现 4：表面形式鲁棒性 (Surface-Form Robustness)

同一实体的不同表面形式（如拼写变体"Barack Obama" vs "Obaama"、缩写"FBI"、多语言"Paris"的不同语言写法）都能激活同一个顶层神经元。
这表明这些神经元访问的是规范化的实体身份表示（Canonical Identity Representation），而非特定的 Token 字符串。

5. 跨模型泛化 (Generalization)

Qwen 家族内部： Qwen2.5-7B-Instruct（经过指令微调）几乎完全保留了 Base 模型的实体细胞映射；Qwen3-8B 也表现出类似的早期层集中模式，但因果证据稍弱。
跨模型家族： 在 OLMo、Llama、Mistral 等其他模型中，虽然也能定位到候选神经元，但因果验证（消融和注入的效果）较弱且不一致。这表明“实体细胞”现象是可复现的，但高度依赖于具体的模型架构和训练数据分布。

6. 主要贡献与意义 (Contributions & Significance)

验证了语言模型中的“祖母细胞”假说： 证明了在特定模型（如 Qwen2.5）中，稀疏的、位于早期层的 MLP 神经元可以作为实体事实检索的稳定锚点。
提供了因果证据： 通过消融和注入实验，确立了这些神经元在实体知识检索中的必要性和充分性，超越了以往仅基于相关性的研究。
揭示了实体表示的机制： 发现实体表示在早期层即已规范化，且对表面形式（拼写、语言）具有鲁棒性，支持了“紧凑实体检索”而非“渐进式丰富”的观点。
为模型编辑和可解释性提供新路径： 识别出的“实体细胞”是稀疏的、可操作的访问点。这为未来的模型编辑（Model Editing）、事实修正以及理解模型内部知识存储机制提供了具体的、可干预的接口。

总结

该论文通过精细的神经元级定位和因果干预实验，有力地证明了在部分现代语言模型中，特定实体的事实知识并非分散在整个网络中，而是由早期层中稀疏的、稳定的“实体细胞”所锚定。这些细胞能够抵抗表面形式的变化，并能通过简单的激活操作来开关模型对特定实体的知识访问。这一发现为理解 LLM 的“记忆”机制提供了新的视角，并为未来的模型可控性研究奠定了坚实基础。