💬 NLP

Constructing Interpretable Features from Compositional Neuron Groups

本文提出使用半非负矩阵分解（SNMF）将多层感知机（MLP）的激活值分解为由共激活神经元组成的稀疏且可解释的特征，证明该方法在因果引导方面优于稀疏自编码器和监督基线，同时揭示了大语言模型中概念表征的层次结构。

原作者： Or Shafran, Atticus Geiger, Mor Geva

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Or Shafran, Atticus Geiger, Mor Geva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）就像一支庞大而复杂的管弦乐队。长期以来，试图理解这支乐队如何运作的科学家们一直专注于个别乐手（神经元）。他们曾认为：“如果我能够弄清楚一位小提琴手在做什么，我就能理解整首乐曲。”

然而，这篇论文指出，这种方法是 flawed 的。事实上，乐手们经常成组演奏以创造特定的声音。同一位小提琴手在一首歌中可能演奏出悲伤的音符，在另一首歌中则演奏出欢快的音符。“意义”并不在于小提琴手本身，而在于同时演奏的乐手组合。

以下是该论文的故事，分解为简单的概念：

1. 问题：“字典”太过混乱

此前，研究人员试图使用一种称为**稀疏自编码器（SAE）**的工具来寻找这些音乐组合。你可以将 SAE 想象为一位雄心勃勃的图书管理员，试图整理一座混乱的图书馆。它试图从头发明新的“书架”（特征）来分类书籍（数据）。

问题在于？这位图书管理员有时会创造出人类无法理解的书架，或者书架上的书籍实际上并不属于那里。当研究人员尝试利用这些书架来控制乐队（使其演奏特定的歌曲）时，图书管理员的系统常常失败。这就像试图使用一张未观察海洋而凭空绘制的地图来驾驶船只。

2. 解决方案：“组合式”方法

作者提出了一种名为SNMF（半非负矩阵分解）的新方法。

SNMF 不再发明新的书架，而是观察乐队的乐谱（模型的内部数学），并问道：“此刻哪些乐手正在一起演奏？”

类比：想象乐队正在演奏一首关于“雨”的歌曲。SNMF 不会发明一个新的“雨”按钮。相反，它会注意到长笛、大提琴和定音鼓同时在大声演奏。它将它们归为一组，并说：“这个特定的三重奏就是‘雨’特征。”
关键区别：由于 SNMF 直接从实际演奏的乐手中构建其分组，它确切地知道哪些音符（输入）触发了该分组。这就像拥有一条直接通往指挥的线路，说道：“当你看到这三种乐器时，你就知道正在下雨。”

3. 结果：更好的控制与更清晰的意义

研究人员在几个著名的 AI 模型（如 Llama 3.1 和 Gemma 2）上测试了这种新方法。他们将其与旧的“图书管理员”方法（SAE）以及一种非常严格的监督方法（人类明确告诉计算机要寻找什么）进行了比较。

“转向”测试：他们尝试“转向”AI，使其谈论特定主题（如“警察”或“历史”）。SNMF 在这方面表现更好。它能比旧方法更有效地将 AI 的输出转向所需主题，同时仍保持句子语法正确且流畅。
“检测”测试：他们检查 AI 是否能识别何时正在讨论某个主题。SNMF 在识别这些概念方面的表现与现有最佳方法一样出色。

4. 重大发现：“乐高”结构

这篇论文最引人入胜的部分是他们发现的这些分组是如何构建的。

他们发现，AI 通过堆叠更简单的概念来构建复杂思想，就像乐高积木一样。

类比：想象你有一组代表“天”的神经元。然后，你有一组略有不同的神经元代表“工作日”。“工作日”组只是“天”组加上几个额外的神经元，这些神经元表示：“不，不是周六或周日。”
层次结构：通过递归（重复）应用他们的方法，他们看到了一个树状结构。
- 底层：代表“周一”、“周二”等的特定神经元。
- 中层：代表“工作日”的组（组合周一到周五）。
- 顶层：代表“一周七天”的组（组合工作日和周末）。

这表明 AI 并非仅仅拥有随机的神经元；它拥有一个层次化架构。它重用相同的核心“构建块”（神经元）来创建更复杂的概念。例如，“天”的核心神经元被重用于“周一”、“周二”和“周末”，只需添加少量额外的神经元即可区分它们。

总结

该论文声称，通过观察协同工作的神经元组（而非个体）并使用一种尊重模型实际计算方式的数学工具，我们可以：

找到人类易于理解的概念。
比以往更有效地控制 AI 的输出。
看到 AI 通过组合更简单、可重用的部分来构建复杂思想，就像用砖块建造房屋一样。

作者得出结论，这种方法是一种简单有效的方式来“解剖”AI 模型如何思考，揭示它们是以一种我们可以现在看见并利用的逻辑、层次化方式组织的。

技术摘要：从组合神经元群构建可解释特征

问题陈述
机械可解释性中的一个核心挑战，是在大型语言模型（LLMs）中识别出能够因果解释模型输出的适当分析单元。虽然早期研究聚焦于单个神经元，但证据表明神经元往往编码多个概念（多语义性），这促使研究转向分析激活空间中的方向。当前的无监督方法依赖于在残差流激活上训练的稀疏自编码器（SAEs），以从头学习特征方向。然而，SAEs 面临显著局限：它们在因果评估（引导）中往往表现不佳；由于学习到的特征未明确关联模型的内部计算，缺乏内在可解释性；且其特征未受限于模型的表示空间。因此，亟需一种方法，能够在保持与模型机制直接因果联系的同时，以无监督方式发现可解释特征。

方法论
作者提出直接使用**半非负矩阵分解（SNMF）**来分解多层感知机（MLP）的激活。与学习新方向的 SAEs 不同，该方法将特征表示为 MLP 内现有共激活神经元的稀疏线性组合。

公式化：给定 MLP 激活矩阵 $A \in \mathbb{R}^{d_a \times n}$ （其中 $d_a$ 为内部维度， $n$ 为 token 数量），该方法将 $A$ 分解为两个矩阵：
- $Z \in \mathbb{R}^{d_a \times k}$ ： $k$ 个 MLP 特征的矩阵，其中每一列定义了一组神经元的稀疏线性组合。
- $Y \in \mathbb{R}^{k \times n}_{\geq 0}$ ：将输入映射到特征的非负系数矩阵。
  分解遵循 $A \approx ZY$ 。
可解释性机制：
- 稀疏性： $Z$ 的列通过硬性的“赢家通吃”算子被约束为稀疏，确保每个特征仅激活一小部分神经元。
- 因果基础：非负矩阵 $Y$ 显式编码了哪些 token 促成了特征的生成，允许基于高激活上下文直接分配文本概念标签。
- 映射至残差流：激活空间中的每个特征向量 $z_i$ 通过 MLP 输出权重（ $W_V$ ）映射到残差流，定义残差流特征 $f_i = W_V z_i$ 。这确保了特征植根于模型的实际计算路径。
优化：该方法使用乘法更新（Ding 等人，2010）来最小化 $A$ 与 $ZY $之间的弗罗贝尼乌斯范数，并在$ Z$ 上强制实施稀疏性。

主要贡献

用于 MLP 分解的 SNMF：本文引入了一种无监督方法，将 MLP 激活分解为由共激活神经元群定义的可解释特征，而非从头学习任意方向。
因果引导的优越性：作者证明，在因果引导任务中，SNMF 衍生的特征优于最先进的 SAEs（GemmaScope、Llamascope）和强大的有监督基线（均值差法），而在概念检测方面表现相当。
揭示层次化组合：通过递归 SNMF，作者表明 MLP 特征具有组合性。细粒度概念（例如特定的星期几）是通过结合共享的“核心”神经元与专属神经元形成的。这揭示了一种层次结构，其中更广泛的概念（例如“工作日”）由更具体的子概念组成，有效地反转了 SAEs 中常观察到的“特征分裂”现象。
神经元复用：分析证实，语义相关的特征共享一组核心神经元，而专属神经元则控制特定子概念的促进或抑制。

结果
实验在 Llama 3.1-8B、Gemma 2-2B 和 GPT-2 Small 上进行。

概念检测：SNMF 特征对大多数特征（>75%）实现了正向检测分数，表明它们对概念相关输入激活，并对中性输入保持非激活状态。其性能与在 MLP 输出上训练的 SAEs 相当或更优。
概念引导：在因果引导评估（衡量在保持流畅性的同时引导模型生成朝向特定概念的能力）中，SNMF 在所有层级上 consistently 优于 SAEs。它也经常达到或超过有监督的均值差法基线的性能。
层次分析：递归应用 SNMF 成功将细粒度特征（例如“周一”、“周二”）合并为更高层级的概念（例如“工作日”、“周末”）。因果干预证实，放大“核心”神经元会促进所有相关 token，而放大“专属”神经元则会促进特定 token 并抑制其他 token。

意义与主张
本文主张 SNMF 提供了一种简单有效的工具，用于识别 LLM 中的可解释特征。通过直接分解 MLP 激活，该方法将特征与负责其形成的特定模型组件联系起来。结果表明，MLP 通过由可解释神经元集组成的加法更新来运作。这项工作将 SNMF 定位为 SAEs 的可行替代方案，无需监督即可提供更好的因果性能和内在可解释性。此外，神经元层次化组合的发现为理解 LLM 如何从可复用的神经构建块中构建复杂概念提供了新视角，将神经元的功能角色从单一概念编码扩展开来。

作者承认了局限性，包括目前关注特征数量 $k < 500$ 以及依赖 LLM 作为评估裁判，尽管他们报告与人类判断高度一致。他们建议未来的工作可以探索扩展到更大的 $k$ 值，并利用投影梯度下降进行优化。

1. 问题：“字典”太过混乱

2. 解决方案：“组合式”方法

3. 结果：更好的控制与更清晰的意义

4. 重大发现：“乐高”结构

总结

技术摘要：从组合神经元群构建可解释特征

类似论文