🤖 AI

RACE: Scalable Statistical Estimation of Functional Consistency in LLM Neurons

本文介绍了 RACE，这是一个计算高效的前向传递统计框架，用于评估 Transformer 神经元的全域功能一致性，证明了其相比于现有的基于梯度的方法具有更优越的可扩展性和特异性。

原作者： Runyu Wang, Bo Liu, Xiaxin Zhang, Yu Han, Jiawei Cao, Xiaoye Zhang, Zhe Zhang, Yifan Yang, Peng Ping

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Runyu Wang, Bo Liu, Xiaxin Zhang, Yu Han, Jiawei Cao, Xiaoye Zhang, Zhe Zhang, Yifan Yang, Peng Ping

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能庞大的数字大脑内部，存在着一层隐藏的活动层，研究人员才刚刚开始对其进行绘制。这些被称为大型语言模型的系统，并不像人类那样以句子或段落进行思考。相反，它们通过数十亿个被称为神经元的微小、互连的开关来处理信息。当你要求计算机写一首诗、解一道数学题或调试一行代码时，特定的神经元组就会被点亮以执行任务。多年来，科学家们一直难以理解哪些神经元负责哪些任务。其难度在于规模之大；这些模型的复杂程度，使得观察它们的工作过程往往感觉就像试图通过观察一个路灯来理解一座城市。以往寻找正确开关的方法要么过于缓慢而无法投入实际应用，要么过于专注于单个瞬间，从而错过了系统随时间变化的整体行为图景。

一组研究人员现在引入了一种新的方式来倾听这些数字大脑，他们称之为 RACE 方法。该方法并非试图对整个系统进行逆向工程，也非计算每一个连接的影响力，而是将模型的内部活动视为一种统计模式。研究人员意识到，服务于特定目的（如编写 Python 代码或解决代数问题）的神经元并不会随机放电。相反，每当执行该特定类型的任务时，它们都会以一种一致且稳定的方式对模型的内部状态做出贡献。通过追踪这些跨越数千个示例的一致性贡献，团队可以识别出哪些神经元是针对给定工作的真正专家。这不仅仅是寻找一个闪烁一次后便遗忘的神经元，而是寻找那些每当模型被要求做某事时都能可靠出现的神经元。

这项发现的核心在于科学家衡量重要性的方式发生了转变。旧的技术通常依赖复杂的计算，需要计算机沿着自身的逻辑向后运行，这个过程极其缓慢且计算成本高昂。新的 RACE 方法只需进行一次前向传递，观察模型信息如何自然地从头到尾流动。它观察每个神经元对模型内部记忆流所做的微小更新。如果一个神经元能持续推动模型的思维朝着特定任务的正确方向发展，它就会获得高分。如果其行为不稳定，或者仅在少数几次偶然情况下提供帮助，则会被忽略。这使得研究人员能够构建一份可靠的模型能力图谱，而无需停止并计算每一种可能的结果。

为了测试这张图谱是否准确，研究人员在几种不同的不同规模的大型语言模型上进行了一系列受控实验，涵盖了从 40 亿参数的小型模型到 320 亿参数的巨型模型。他们专注于三个不同的领域：编写计算机代码、解决数学问题以及控制特定的行为（例如使用特定的句子结构风格）。在每种情况下，他们都使用 RACE 方法来识别负责该任务的顶层神经元。随后，他们进行了一项精细的操作：在模型工作时暂时屏蔽掉这些特定的神经元。

结果令人震惊。当研究人员屏蔽掉由 RACE 识别出的负责编码任务的神经元时，模型的正确代码编写能力显著下降，但其回答一般性问题或解决数学问题的能力基本保持不变。在数学领域也是如此；屏蔽掉数学神经元削弱了模型的推理能力，却并未影响其通用的语言能力。这证实了该方法成功隔离了负责这些技能的特定组件。相比之下，当他们使用旧的、精确度较低的方法来选择要屏蔽的神经元时，造成的损害往往是广泛性的，会损害模型的整体性能，而非仅仅针对某一项技能。

其中一个最重要的发现是这些模型内部两种主要神经元之间的区别。研究人员发现，负责数学推理和编程的神经元具有高度专业化特征，且极少在任务间共享。然而，涉及“注意力”（即模型决定关注哪些词的部分）的神经元则要通用得多。这些注意力神经元似乎是可重复使用的工具，帮助模型完成几乎所有的任务，从写诗到解方程。这种区别解释了为什么模型的某些部分比其他部分更容易进行剪枝或修改：专门化部分就像车间里的专用工具，而注意力部分则像是握住这些工具的手。

研究人员还发现，他们的方法效率极高。以往的技术需要计算机进行相当于运行模型 144 次的计算量才能为神经元评分，而新方法所需的计算量甚至不到一次完整的运行。这种速度使得分析和审计比以往任何时候都更大的模型成为可能。这也意味着，在未来，开发人员可以利用这种技术来微调模型，在无需从头开始重新训练整个系统的情况下，移除不想要的某种行为或增强特定的技能。

研究还观察了当模型被要求执行与其受训内容略有不同的任务时，这些专门化神经元的表现。当研究人员在全新的、未见过的数学问题上测试模型时，被 RACE 识别出的神经元在被屏蔽后依然会导致性能大幅下降。这表明该方法找到的是技能的基础机制，而不仅仅是针对特定问题集的记忆模式。模型使其知识泛化能力依赖于这些相同的稳定神经元。

或许最微妙的发现涉及模型使用特定风格的能力，例如编写使用特定列表结构的 Python 代码。研究人员训练系统去识别这种特定风格，然后屏蔽了相应的神经元。结果显示，模型仍然可以编写代码，但几乎完全停止了使用那种特定风格，尽管它仍能以其他方式编写正确的代码。这种精度的水平表明，该方法可以隔离非常细微的行为，从而提供一种以手术级精度引导模型输出的方式。

研究人员承认，他们的方法并非解决所有问题的完美方案。他们发现，该方法对于那些以直接、加性方式处理信息的模型部分效果最好，但在映射注意力机制中发生的更复杂、更重叠的交互作用方面效果较差。他们还指出，该方法依赖于线性模式，这意味着它可能会错过一些神经元之间更复杂的非线性协作方式。然而，对于他们测试的大多数任务，该方法都提供了一种清晰、可靠且快速的方式来理解模型正在做什么。

这项工作代表了“机械解释性”领域的一个重要进步，该领域旨在打开人工智能的“黑箱”。通过提供一种识别和隔离这些庞大系统中特定功能组件的方法，研究人员为我们提供了一套新的工具，用以理解、调试和改进这项日益塑造我们世界的技术。精准定位模型中哪些部分负责特定技能的能力，意味着我们可以超越猜测，开始就如何构建这些系统以及如何使用它们做出明智的决策。前进的道路不再是试图一次理解整座城市，而是能够走上一条特定的街道，并确切知道那里正在发生什么。

技术摘要：RACE —— 用于大语言模型神经元功能一致性的可扩展统计估计

1. 问题定义

本文解决了机械解释性（mechanistic interpretability）中的一个关键空白：难以发现跨整个领域的稳定、群体级神经元行为。虽然现有的方法（如因果追踪、基于梯度的归因以及稀疏自编码器）在提供实例级解释方面表现出色，但在应用于现实世界任务（如模型审计、特定领域剪枝和行为转向）时，面临两个主要局限：

计算效率低下： 基于梯度的方法和干预流水线依赖于迭代计算和反向传播，这为大规模、全领域的分析带来了极高的开销。
统计过度简化： 将神经元贡献简单地聚合为任务级的平均值，往往会掩盖样本间的差异。这会导致选出的神经元虽然在少数离群值上激活强烈，但在更广泛的群体中却保持沉默或表现不一致，从而无法捕捉真正的功能一致性。

作者假设，承担一致的、领域特定功能的神经元，其在残差流上留下的贡献分布在统计上会不同于非领域特定神经元。目标是识别那些在目标领域内既具有大模量又具有稳定方向的贡献的神经元。

2. 方法论：RACE 框架

作者提出了 RACE（残差对齐一致性估计，Residual Alignment for Consistency Estimation），这是一个前向传播统计框架，用于评估 Transformer 神经元的功能一致性，无需进行梯度计算。该框架分为两个主要阶段：

2.1 残差方向对齐 (RDA)

RDA 通过将神经元输出投影到模块的局部更新方向上，提供逐观测值的证据，避免了原始激活代理和梯度开销。

分解： 对于给定的观测值，将给定模块（注意力或 MLP）的残差流更新 ( $\Delta r$ ) 分解为单个神经元的秩-1 贡献。
对齐得分： 计算模块更新的方向 ( $\hat{d}$ )。每个神经元的贡献被评分为一个有符号的、受激活调制的在该轴上的投影 ( $e^{(t)}_j = \xi_j$ )。
显著性： 该得分捕捉了神经元是强化还是反对该模块针对特定 token 的具体计算。与全局 Logit 投影不同，RDA 使用的是模块局部轴，确保评估符合特定深度和功能角色的层级要求。

2.2 贝叶斯聚合

RACE 将收集到的逐观测值证据 $\{e^{(t)}_j\}$ 视为来自底层分布的有噪声实现。它采用 正态-逆伽马 (Normal-Inverse-Gamma, NIG) 共轭模型来推断每个神经元潜在参数 $(\mu_j, \sigma^2_j)$ 的后验分布。

后验推断： 模型根据证据的经验均值和平方和来更新后验均值 ( $\mu_{n,j}$ ) 和方差。
不确定性量化： 框架显式地对不确定性建模。观测次数较少、方差较高或符号波动的证据所对应的神经元会获得较高的后验不确定性。
保守对齐模量 (Conservative Alignment Magnitude, CAM)： 最终评分指标是正后验均值的一个单侧下置信界：
$CAM_j(\gamma) = I[\mu_{n,j} > 0] \max(0, \mu_{n,j} - t_{1-\gamma, 2\alpha_n}\sigma_{\mu,j})$
这确保了只有那些具有强、稳且具有统计显著性的正向对齐的神经元才会被选中。

2.3 参考集过滤 (RSF)

为了将领域特定神经元与支持广泛通用能力的神经元区分开来，RACE 引入了一个过滤步骤。它首先对目标领域内的神经元进行排名，然后移除那些在通用参考语料库（如 WikiText-2）上也排名靠前的神经元。这隔离了那些行为仅针对目标领域的神经元。

3. 核心贡献

可扩展的统计框架： RACE 提供了一种仅需前向传播的方法，其计算开销比基于梯度的方法（如 GxAct, AttnLRP）低 三个数量级，使得大规模领域的神经元审计变得可行。
鲁棒的一致性估计： 通过利用贝叶斯聚合，RACE 能够区分一致的功能角色与偶发性的、由离群值驱动的激活，解决了群体级分析中的“噪声”问题。
模块局部对齐： 本文论证并实现了使用局部残差更新轴而非全局 Logit 轴，防止了对齐模量与网络深度的混淆，并避免了由后期层覆盖早期贡献而导致的误导性排名。
因果性的实证验证： 通过针对性的抑制实验，作者证明了 RACE 选出的神经元在特定领域内具有因果载荷作用。

4. 实验结果

作者在从 4B 到 32B 参数规模的模型（Qwen3, OLMo, Llama）上评估了 RACE，涵盖代码生成（MBPP+, HumanEval+）、数学推理（MATH-500, AMC）以及细粒度行为控制。

干预特异性： 当抑制排名靠前的神经元时，RACE（尤其是结合 RSF 后）导致目标领域性能显著下降，同时保持了非目标基准测试的性能。
- 代码领域： RACE 在 MLP 模块上的干预特异性指数 (ISI) 达到 2.91，优于基于梯度的基准方法（如 AttnLRP 为 1.15）。
- 数学领域： 在 32B 参数的 OLMo 模型上，RACE 实现了 1.73 的 ISI，显著高于通常得分为 0.00 的基准方法。
分布破坏： Token 级分析显示，抑制 RACE 选中的 MLP 神经元会导致目标领域困惑度剧增（例如 MATH-500 上增加 129%），而对通用语言建模（WikiText-2）几乎没有影响。
细粒度转向： RACE 成功定位了负责特定 Python 理解模式（PyComp-1K）的神经元，在减少约 70% 的使用率的同时，并未造成通用编程能力的灾难性遗忘。
效率： RDA 产生的 FLOPs 仅为标准前向传播的 0.63 倍，而基于梯度的方法约为 144 倍。

5. 意义与主张

本文声称 RACE 提供了一种实用、可扩展且统计鲁棒的方法，用于在群体层面审计大语言模型。其意义在于：

弥合差距： 它将解释性从实例级解释转向了实现模型剪枝和转向所需的群体级特征描述。
高效性： 它使分析大规模模型在不同领域成为可能，而不受基于梯度方法的计算限制。
可靠性： 贝esian 公式确保了选出的神经元不仅是高激活的离群值，而且代表了模型架构中稳定的功能角色。

作者也谦逊地指出了局限性，承认该框架依赖于线性残差投影，可能会错过复杂的非线性协同作用。此外，他们观察到 RACE 目前在识别 MLP 模块 中的功能一致性神经元方面比在 Attention 模块 中更为有效，这表明注意力机制可能以不同的方式编码信息，未来的工作可能需要定制化的统计策略。