🤖 machine learning

Kronecker Factorization Improves Efficiency and Interpretability of Sparse Autoencoders

该论文介绍了 KronSAE，这是一种将潜空间分解为多个头，并采用可微的类与（AND-like）交互机制来强化组合共激活性的稀疏自编码器架构，从而在不牺牲性能的前提下，提高了可解释性、捕捉了特征相关性并降低了计算成本。

原作者： Vadim Kurochkin, Yaroslav Aksenov, Daniil Laptev, Daniil Gavrilov, Nikita Balagansky

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Vadim Kurochkin, Yaroslav Aksenov, Daniil Laptev, Daniil Gavrilov, Nikita Balagansky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大型语言模型是庞大且复杂的系统，它们通过将文本转化为数字流来处理人类语言。这些被称为“激活值”的数字在模型的内部层中流动，承载着词语的含义和句子的逻辑。对于试图理解这些机器如何思考的研究人员来说，这些隐藏的流向是一个黑盒。为了打开它，科学家们使用了一种叫做“稀疏自编码器”（sparse autoencoder）的工具。可以将这个工具想象成一个翻译器，它将密集、混乱的数字流分解成一份长长的、简单的、清晰的概念列表。理想情况下，这份列表中的每一项都代表一个单一且明确的概念——比如“数学”、“法律合同”或“蓝色”——当模型遇到特定概念时，该概念会被激活。这个过程被称为“分解”，它让研究人员能够看到机器内部运作的每一个齿轮。

然而，标准的翻译器存在局限性。它们将每个概念视为列表中一个独立的、扁平的项目，忽略了人类语言具有深层结构的这一事实。词语和概念经常以可预测的模式共同出现；例如，“地理”的概念经常与“地图”或“方向”共同出现。当模型学习这些模式时，标准工具难以捕捉这种关系，往往被迫让系统隐式地学习这种联系，或者更糟的是，将不同的概念合并成一个单一且令人困惑的特征。这使得生成的概念列表更难解释，且计算效率更低。

T-Tech 的一个研究团队提出了一种构建这些翻译器的新方法，称为 KronSAE，它从一开始就尊重语言的自然结构。该设计不再将每个概念视为一个独立的、扁平的坐标，而是将内部字典组织成组。在每个组内，系统通过结合两个较简单的、预先存在的组件来构建复杂的特征。这有点像厨师通过将一种基础食材与一种特定的香料相结合来创造一道特定的菜肴；只有当基础食材和香料同时存在时，这道菜才会存在。在这种新架构中，一个特征仅在两个底层的“父级”信号同时激活时才会激活。这创建了一个内置规则，鼓励系统学习那些由更简单部分组合而成的特征，从而镜像了语言的实际运作方式。

研究人员在两个流行的语言模型 Qwen2.5 和 Gemma-2 上测试了这种方法，使用的是一个包含大量教育网页的数据集。他们发现，这种结构化方法不仅模仿了人类语言，实际上还使模型的内部表示更加清晰。在将新系统与标准方法进行比较时，他们发现新设计产生的特征更加具体，且不太容易相互混淆。在标准方法中，单个特征往往试图承担过多功能，吸收了多个相关概念的含义，从而变得模糊。新系统通过强制特征由特定的组合构建，减少了这种“吸收”现象。由此产生的特征更加锐利，描述的是更窄、更精确的概念，这使得它们更容易被研究人员理解和标注。

除了清晰度之外，新设计还提供了显著的效率提升。由于系统通过结合较简单的特征来构建复杂的特征，因此它不需要从头开始计算每一个可能性。研究人员发现，在保持重建原始数据准确性水平相同的情况下，他们可以将运行编码器所需的计算量减少百分之四十以上。这意味着该系统可以使用更少的资源学习相同数量的信息。在他们的实验中，即使存在如此大规模的计算成本缩减，性能的下降也低于百分之一，对于如此巨大的速度和效率提升而言，这是一个微不足道的权衡。

该研究还探讨了该系统学习概念之间隐藏关系的能力。在一次使用已知特征间关系的合成数据进行的受控实验中，新系统比标准方法更成功地恢复了这些模式。它学会了在其内部结构中将相关的概念分组，而标准方法则将它们分散。在观察现实世界数据时，研究人员观察到，在文本中自然出现的特征确实被映射到了新系统中的同一个内部组内。这表明该架构成功捕捉了语言的统计规律，以反映思想如何连接的方式组织了模型的知识。

研究人员还检查了特征本身的性质。他们发现，系统中的简单“父级”组件通常是广泛且抽象的，能够代表多种不同的想法。然而，当这些父级组件结合在一起时，生成的特征就变得高度具体。例如，一个与“方向”相关的宽泛组件可能会与另一个与“医学术语”相关的组件结合，从而创建一个专门关于“医疗指令”的特征。这种层次化结构允许系统利用其基本组件来构建大量的特定概念，而无需为每一个单独的想法都需要一个独特的、独立的神经元。这种组合式方法不仅使特征更具可解释性，还为存储和检索知识提供了一种更高效的方式。

最终，这项工作表明，我们设计这些解释性工具的方式与它们处理的数据同样重要。通过引入一种模仿语言组合方式的简单结构偏置，研究人员创造了一个既高效又透明的系统。研究结果表明，我们不需要依赖模型在训练过程中偶然发现这些关系；我们可以将它们构建到架构本身之中。这种方法为理解人工智能提供了一条新路径，在为机器思维提供更清晰窗口的同时，也让系统运行得更快、更便宜。这种新方法的代码现已开放供他人使用和构建，邀请大家进一步探索结构化学习如何改进我们对复杂系统的理解。

技术摘要：KronSAE

问题陈述

稀疏自编码器（SAEs）是用于将密集语言模型激活分解为稀疏、可解释特征的标准工具。然而，标准的 SAE 架构通常将潜在字典视为一组独立的扁平坐标。这种“扁平潜在空间”的默认设计未能显式地编码自然语言中存在的更高层级结构关系，例如层级性、组合性和系统性共激活。因此，这些关系必须在训练过程中隐式产生，或通过事后分析来恢复。此外，标准编码器需要向 $F$ 个独立的潜在变量进行密集投影，导致每个 token 的计算成本为 $O(Fd)$ ，当字典规模较大时，这一成本变得非常昂贵。

方法论：KronSAE

作者提出了 KronSAE，这是一种对编码器侧进行的修改，旨在为潜在空间引入层级化、组合性的先验。KronSAE 不再直接投影到 $F$ 个独立的特征，而是将潜在空间分解为 $h$ 个独立的“头”（heads）。

架构

分解（Factorization）： 对于每个头 $k$ ，输入激活 $x \in \mathbb{R}^d$ 被投影为两个低维的“前潜在变量”（pre-latents）：
- 一个基向量 $p^k \in \mathbb{R}^m$ ，通过 $u^k = P^k x$ 获得。
- 一个扩展向量 $q^k \in \mathbb{R}^n$ ，通过 $v^k = Q^k x$ 获得。
- 这里， $m, n \ll d$ ，总字典大小为 $F = h \times m \times n$ 。
组合交互（mAND）： 该头的后潜在特征是通过使用一种称为 mAND 的可微交互核，对基向量和扩展向量进行成对组合而形成的：
$z^k_{i,j} = \text{mAND}(u^k_i, v^k_j) = \begin{cases} \sqrt{u^k_i v^k_j} & \text{若 } u^k_i > 0 \text{ 且 } v^k_j > 0 \\ 0 & \text{否则} \end{cases}$
该操作近似于逻辑“与”（AND）运算，确保只有当两个父级前潜在变量都激活时，后潜在变量才处于激活状态。生成的矩阵 $z^k \in \mathbb{R}^{m \times n}$ 被展平以形成后潜在向量。
稀疏性（Sparsity）： 所有头的展平向量被拼接在一起，并应用标准的 TopK 选择，以生成最终的稀疏潜在向量 $f \in \mathbb{R}^F$ 。

兼容性与效率

兼容性： KronSAE 与标准的 SAE 目标及变体兼容，包括 TopK、Matryoshka（嵌套字典）、Switch SAEs（混合专家模型）以及不同的激活函数（如 JumpReLU）。
计算增益： 通过将向 $F$ 个潜在变量的密集投影替换为向 $h(m+n)$ 个前潜在变量的投影，KronSAE 减少了编码器的参数量和浮点运算量（FLOPs）。编码器成本的缩放比例为 $O(d \cdot h(m+n))$ ，而非 $O(d \cdot F)$ 。

核心贡献

识别编码器层级结构： 本文指出，缺乏显式的编码器侧层级结构是 SAE 缺失的设计维度，其动机源于特征组织中固有的结构化归纳偏置。
KronSAE 设计： 引入了一种配备 mAND 交互的 Kronecker 分解编码器，该编码器通过可复用的前潜在因子构建后潜在特征。
提升可解释性： 实证证据表明，与扁平 TopK SAE 相比，KronSAE 减少了“特征吸收”（即一个特征成为另一个特征的严格子集）现象，并产生了更具特异性和可解释性的潜在变量。
重建-计算权衡： 证明了 KronSAE 在减少超过 40% 编码器 FLOPs 的同时，解释方差（EV）的下降幅度不到 1%。

实验结果

作者在 Qwen2.5-1.5B 和 Gemma-2-2B 模型的残差流上，使用 FineWeb-Edu 数据集训练了 SAE。

重建保真度： 在相同的 token 预算（2.5 亿个 token）下，KronSAE 在各种字典规模（ $2^{14}$ 到 $2^{16}$ ）和层级下均实现了与标准 TopK SAE 相当的解释方差（EV）。
可解释性： 使用自动化流水线（检测与模糊测试评分），KronSAE 变体（特别是当 $m \ge 2$ 时）始终优于 TopK 基准模型。其特征表现出更低的 token 熵和更低的多 token 比率，表明具有更高的特异性。
相关性学习：
- 真实数据： 标准 TopK SAE 中的相关特征倾向于映射到同一个 KronSAE 头内的特征，这表明该架构成功地将相关概念分组。
- 合成数据： 在一个具有块结构协方差的可控玩具实验中，KronSAE 比 TopK SAE 更好地恢复了真实的关联结构（具有更高的 RV 系数）。
特征吸收： 与基准模型相比，KronSAE 配置显示出较低的平均吸收分数和完全吸收分数，表明减少了特征的“包含/吞噬”现象。
效率： 如帕累托前沿分析所示，该方法在保持重建质量的同时，减少了超过 40% 的编码器 FLOPs。

重要性与主张

本文声称，KronSAE 为稀疏性和分解如何在表示学习中协同工作提供了一个新的视角。通过施加一种架构上的共激活先验（通过 mAND 交互），模型使得更容易学习结构化的特征交互，而不会损害重建保真度。

作者将 KronSAE 定位为一种能够：

增强可解释性： 通过减少特征吸收并创建更具特异性、单语义的特征。
提高效率： 通过大幅降低编码器的计算成本，使训练和运行大规模字典的 SAE 变得更加可行。
符合语言结构： 通过显式建模语言的组合本质（例如，一个概念是基础类别与特定修饰符的交集），而非将特征视为独立的扁平坐标。

作者也指出了局限性，包括目前的评估仅限于中等规模的 Transformer 模型，且实现分解编码器的工程开销虽然适中但并非为零。他们同时也承认，虽然玩具模型验证了归纳偏置，但现实世界的关联结构可能有所不同。