💬 NLP

Neuron Populations Exhibit Divergent Selectivity with Scale

原作者： Amil Dravid, Yasaman Bahri, Alexei A. Efros, Yossi Gandelsman

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Amil Dravid, Yasaman Bahri, Alexei A. Efros, Yossi Gandelsman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的图书库（数据），你想组建一支图书管理员团队（神经网络）来整理它们。随着你雇佣越来越多的图书管理员（扩大模型规模），你可能会预期团队只会变得越来越庞大，每个人都做一点点各种各样的工作。

但这篇文章发现了一个令人惊讶的事实：随着团队的成长，他们不仅仅是变大了，而且是以一种非常特定、可预测的方式变得专业化了。

以下是研究人员发现的过程，使用了简单的类比。

1. “罗塞塔石碑”式管理员

研究人员从一个特定的想法开始：不同的团队在经过独立训练后，是否最终会雇佣相同的人来从事相同的特定工作？

他们发现，事实确实如此。他们称这些特殊的管理员为**“罗塞塔神经元”（Rosetta Neurons）**。

类比： 想象你雇佣了两个不同的 100 人团队来整理图书馆。尽管他们是不同的人，但你可能会发现，在两支队伍中，42 号员工总是负责处理“古罗马”相关的书籍，而 88 号员工总是处理“烹饪”类的书籍。
发现： 这些“罗塞塔神经元”在不同模型之间是通用的。它们是无论你如何训练模型都会反复出现的通用单元。

2. “次线性”增长：人变多了，但专家变少了

研究人员问道：当图书馆变得巨大时，这些特殊“罗塞塔”管理员的数量会发生什么变化？

预期： 你可能认为如果图书馆规模翻倍，专家的数量也会翻倍。
现实： 专家的数量确实在增加，但其增长速度慢于总团队规模的增长。
类比： 想象一个只有 100 人的小镇。也许有 10 个人是“专家”（比如专门的面包师、专门的医生）。现在，想象一个拥有 1,000,000 人的大城市。你会拥有绝对数量更多的面包师和医生，但他们会在总人口中所占的比例要小得多。这个城市太大了，以至于大多数人都在做一些杂乱、混合的工作，而专家只是人群中一个缩小的比例。

论文称之为**“次线性幂律”（sublinear power law）**。简单来说：随着模型变大，共享的通用神经元数量在增加，但它们在整个“饼”中所占的份额却越来越小。

3. “神经元极化”效应

这是最有趣的部分。论文描述了一种团队的分裂，就像形成了一个等级制度。

罗塞塔神经元（精英层）： 随着模型变大，这些通用神经元变得高度专业化。它们不再做“一点点所有事”，而是开始专注于一个单一、清晰的概念。
- 类比： 一个小镇的图书管理员可能会办理借书、上架书籍并回答问题。但一个在大图书馆里的“罗塞塔”管理员会变成纯粹的“古罗马”专家。他们只谈论罗马，并且做得非常完美。他们变得具有“单语义性”（monosemantic，即只有一个含义）。
非罗塞塔神经元（普通层）： 其余的神经元（那些在不同模型间不匹配的神经元）则变得更加混乱。它们开始将许多不同的事物混合在一起。
- 类比： 大城市里的普通员工可能会在脑海中同时处理“烹饪”、“太空旅行”和“园艺”。他们是“多语义性”（polysemantic，即有许多含义）的。

结果： 规模化产生了一种极化。你得到了一小群超清晰、高度专业化的神经元，以及一大群嘈杂、混合在一起的背景神经元。

4. 为什么会发生这种情况？（“预算”类比）

作者建立了一个数学模型来解释原因。

概念： 想象大脑有一个有限的“能量预算”来让事物变得清晰。
逻辑： 有成千上万种事物需要学习（特征）。最重要的事情（比如“如何说话”或“一只狗长什么样”）价值最高。
权衡： 随着模型变大，它拥有了更多的能量。它利用这些额外的能量，让最重要的事情变得极其清晰（将其隔离到单个神经元中）。
后果： 因为“重要”的事情是有限的，模型会把额外的能量花在让这少数几样东西变得极其清晰上。那些不太重要的、罕见的事物（比如“某种晦涩的代码”或“一个奇怪的历史事实”）会被推向背景，在那里它们会与其它事物混合在一起，因为没有足够的“清晰度预算”来隔离它们。

5. 专业化的“超能力”

论文最后通过一个酷炫的测试来证明这些专业化神经元的实际用途。

测试： 他们发现了一个对 JavaScript 代码 痴迷的“罗塞塔神经元”。
魔力： 他们利用这个单一的神经元从一堆混合数据中进行过滤。该神经元就像一个完美的磁铁，只吸取 JavaScript 代码，而忽略其他一切。
结果： 当他们使用这个神经元筛选出的数据来训练一个新模型时，新模型学习 JavaScript 的效果，几乎可以媲美最初使用“完美”数据集进行训练的效果。
启示： 这些通用神经元不仅仅是一个好奇的现象；它们是能够找到特定、难以发现的模式的高效过滤器。

总结

随着 AI 模型变大：

存在通用神经元： 有些神经元在不同模型之间是相同的。
增长缓慢： 随着模型规模扩大，它们在总团队中所占的比例会逐渐减小。
变得挑剔： 它们变得极其专注于一个特定主题（如“数学”或“代码”）。
其余部分变得混乱： 其他神经元会变成许多主题的混沌混合体。
非常有用： 这些专注的神经元可以作为完美的过滤器，用来寻找特定类型的数据。

论文表明，AI 的内部结构并非随机，而是遵循一种可预测的规律，即规模迫使“专家”与“通才”之间产生分离。

技术摘要：神经元群体表现出随规模变化的差异化选择性

问题陈述

虽然神经缩放定律（neural scaling laws）已经确立了模型规模与宏观可观测变量（如损失值）之间可预测的关系，但模型内部表示在神经元层面的组织方式仍不为人所知。深度学习和神经科学中的一个核心问题是：神经元如何编码结构——即表示是定位于单个单元，还是分布在群体之中，以及这些结构如何随模型规模的变化而演进。具体而言，目前尚不清楚跨模型的循环神经元群体（recurring neuron populations）在规模、选择性（单语义性 vs. 多语义性）以及专业化方面是否遵循系统性的规律。

研究方法

作者通过研究 Rosetta 神经元（Rosetta Neurons）来探讨这些问题。Rosetta 神经元是由 Dravid 等人 (2023) 定义的一类神经元，其特征在于其激活模式会在独立训练的模型中重复出现。本研究采用了以下方法：

识别 Rosetta 神经元：
- 作者分析了 Transformer 架构的语言模型（Pythia, GPT-2, OPT, Qwen2.5；参数量 80M–30B）和视觉模型（OpenCLIP, DINOv2, Pixio, Diffusion 模型；参数量 80M–5B）。
- 他们在不同模型间对齐了 Token 级的激活值（文本使用共享的字节边界，图像使用重采样的空间网格）。
- 他们计算了跨模型的神经元两两之间的皮尔逊相关系数（Pearson correlations），并识别出互为最近邻（mutual nearest-neighbor）的对（ $k=1$ ）作为 Rosetta 神经元。这种方法过滤掉了不对称或带有噪声的匹配。
缩放分析：
- 作者绘制了发现的 Rosetta 神经元数量相对于模型总神经元数量的变化曲线，以推导缩放定律。
- 他们将这些趋势与零假设基准（包括未经训练的随机网络和输入置换后的数据集）进行对比，以确保这种缩放是学习到的表示（learned representations）的属性，而非架构伪影。
解析建模：
- 作者基于叠加理论（superposition, Elhage et al., 2022）提出了一个容量分配模型。
- 该模型假设存在一个幂律特征重要性谱（ $w_r \propto r^{-\beta}$ ），其中特征在有限的神经元坐标空间内进行竞争。
- 模型认为，高重要性的特征会被分配到“干净”的隔离状态（单语义性）以降低损失，而较低重要性的特征则保持在叠加状态（多语义性）。
- 该模型推导出，可检测到的、隔离的特征数量（Rosettta 神经元）应遵循亚线性幂律（sublinear power law）进行缩放（ $N^{1/\beta}$ ），并预测了神经元极化效应（Neuron Polarization Effect）。
属性评估：
- 选择性（Selectivity）： 通过语言模型的词表空间投影峰度（kurtosis）以及视觉模型的 VLM 作为评判员（VLM-as-a-judge）评估来进行衡量。
- 专业化（Specialization）： 通过对 Rosetta 神经元的高激活上下文（例如代码、数学、通用散文）进行分类，分析其在不同模型规模下的表现。
- 效用（Utility）： 一个案例研究展示了如何利用单个 Rosetta 神经元进行持续预训练，从而恢复特定领域（JavaScript）。

关键结果

1. 亚线性幂律缩放

在语言模型和视觉模型中，Rosetta 神经元的群体规模随模型规模的增加而可预测地增长，但遵循亚线性幂律（ $|R| \propto N^\alpha$ ，其中 $\alpha \approx 0.5\text{--}0.7$ ）。

含义： 虽然从绝对数量上看，更大的模型包含更多的共享单元，但这些单元在总神经元群体中所占的比例在不断缩小。
验证： 这种趋势在未经训练的随机网络和输入置换的基准测试中并不存在，证实了其源于学习到的表示。

2. 神经元极化效应

研究观察到神经元属性随规模增加而发生分化：

Rosetta 神经元： 变得越来越具有选择性和单语义性。在语言模型中，它们的词表空间投影显示出不断增加的超额峰度；在视觉模型中，VLM 评判员识别出它们对连贯视觉特征做出反应的频率更高。
非 Rosetta 神经元： 保持较低的选择性，并变得日益多语义化，形成了一个充满混合特征的拥挤背景。
理论一致性： 这符合解析模型的预测，即“Rosetta 前沿”不断向外移动，从而更清晰地隔离高重要性特征，而低重要性特征的尾部则保持叠加状态。

3. 领域专业化

Rosetta 神经元随规模增加而向专业化领域偏移。

在语言模型中，相对于其在训练语料库中的出现频率，Rosetta 神经元的触发在专业化文本类别（如代码、数学）上变得越来越集中。
这种偏移在非 Rosetta 神经元中并未观察到，后者在不同规模下保持稳定的文档类型偏好。

4. 数据过滤中的功能效用

研究利用一个对 JavaScript 具有选择性的 Rosetta 神经元（在 Pythia-6.9B 模型中识别出）来过滤多语言代码语料库。

恢复能力： 该过滤器在恢复真实 JavaScript 子集方面达到了 0.98 的 F1 分数，几乎达到了神谕（oracle）水平。
下游性能： 在该过滤数据上进行持续预训练后，困惑度（perplexity）降至 3.02，几乎接近神谕基准（3.01），并显著优于随机过滤（3.59）或非 Rosetta 神经元过滤（3.23）的结果。

重要性与主张

本文声称建立了一种针对可解释、共享神经元结构的缩放定律。其主要贡献包括：

将规模与内部结构联系起来： 本研究证明了模型规模系统性地改变了共享神经元群体的普遍性、选择性和专业化程度，从而将缩放定律从宏观损失指标扩展到了微观层面。
极化机制： 研究提供了关于“神经元极化效应”的经验与理论证据，即缩放驱动了高度选择性的共享单元群体与多语义背景之间的分离。
实用可解释性： 研究表明，Rosetta 神经元不仅是理论上的好奇物，更是功能性单元，可以用于执行特定任务（如数据过滤和领域专业化），且无需辅助训练或目标概念。
泛化性： 这些发现适用于异构架构（Transformer、Diffusion Transformers）和多种模态（语言、视觉），表明了神经网络在容量限制下组织表示的一种基本原则。

作者总结道，Rosetta 神经元是研究共享内部结构的有效观测对象，它在宏观缩放行为与学习到的表示的微观组织之间架起了一座桥梁。