🤖 machine learning

Equivariant Sparse Autoencoders: Mechanistic Interpretability of Neural Networks on Symmetric Data

本文介绍了等变稀疏自编码器（Equivariant Sparse Autoencoders），该模型通过引入数据对称性来解决标准 SAE 在对称数据集上的不可识别性问题，从而即使在重构质量较低的情况下，也能发现更有用且更具解释性的特征。

原作者： Ege Erdogan, Ana Lucic

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Ege Erdogan, Ana Lucic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个巨大的、超级聪明的机器人在如何思考。你不能直接问它问题，所以你必须在它工作时窥视它的脑回路。这个领域被称为机械解释性（mechanistic interpretability），它就像是一个侦探，试图破解黑盒子的秘密代码。机器人的大脑由层层叠叠的微小开关（神经元）组成，这些开关会以复杂的模式闪烁。问题在于，这些模式非常混乱。通常，机器人会将许多不同的概念混合在同一个开关里，这种现象被称为“叠加（superposition）”。这就像是在读一本每句话都混杂了三个不同故事的书；你知道发生了某些事情，但你无法分辨到底是什么。

为了解决这个混乱，科学家们使用了一种叫做**稀疏自编码器（Sparse Autoencoder, SAE）的工具。你可以把 SAE 想象成一位超级有序的图书管理员。它的任务是把那些混乱的闪烁开关重新整理成一份整洁、清晰的概念清单。如果机器人正在看一张猫的照片，图书管理员会尝试找到那个特定的“猫”开关并将其打开，同时关闭其他所有开关。长期以来，这种方法在处理文本时效果很好，因为无论你怎么阅读一个词，其规则基本都是一致的。但如果数据具有对称性（symmetric）**时，情况会发生什么变化呢？在现实世界中，许多事物即使旋转或翻转，看起来仍然是一样的。一只猫无论面向左边还是右边，它依然是一只猫。如果你的图书管理员不懂这个规则，他们可能会感到困惑，认为“向左看的猫”和“向右看的猫”是两个完全不同、互不相关的概念。这篇论文探讨的是：如果我们教会我们的图书管理员尊重这些对称规则，会发生什么？

研究人员 Ege Erdogan 和 Ana Lucic 来自阿姆斯特丹大学，他们决定升级标准的图书管理员工具，以处理这些旋转和翻转的规则。他们将这个新工具称为等变稀疏自编码器（Equivariant Sparse Autoencoder）。这个工具不再仅仅是尝试将混乱的光点分类成一份清单，而是构建了一个能够理解：“嘿，如果你旋转图片，‘猫’这个概念并不会消失，它只是移动到了清单中的另一个位置”的系统。他们在一种名为几何形状的玩具模型数据集以及由星系和血细胞组成的真实世界图像上测试了这个想法。

这里出现了令人惊讶的转折：这些具备对称性意识的新型图书管理员，在完美重建原始图像的能力上，实际上反而不如那些旧的、混乱的图书管理员。如果你通过它们从笔记中重建图像的效果来衡量，旧工具胜出了。然而，当研究人员问了一个不同的问题——“哪些笔记对于理解机器人正在看到什么内容真正有用？”时，新工具成为了明显的赢家。旧的图书管理员创建的笔记看起来在重建图像方面非常完美，但在识别实际概念方面却不太好用。新的图书管理员即便他们的笔记看起来有点乱，却能提供关于机器人思维过程更真实的图景。

论文指出，对于具有对称性（如旋转物体）的数据，使用标准方式来评判这些工具（即检查它们重建图像的能力）是有误导性的。事实上，一个工具重建图像的能力越强，它的特征对于理解底层概念可能就越没用。通过将对称性规则直接构建到工具中，研究人员发现，即便最终的图像重建并不完美，这些特征在帮助计算机识别形状、星系类型和细胞类型方面却要有效得多。他们并没有证明这是解决所有 AI 问题的终极方案，但他们的模拟实验和对真实数据的实验强烈表明，忽视对称性会使我们理解 AI 的工具变得不再可靠，并且我们应该停止仅仅依赖“重建质量”作为主要的评分标准。

技术摘要：等变稀疏自编码器 (Equivariant Sparse Autoencoders)

问题陈述

机器学习模型，特别是在科学领域，通常处理具有内在对称性的数据（例如蛋白质折叠中的旋转、星系图像或细胞显微镜图像）。虽然稀疏自编码器 (SAEs) 已成为通过将稠密神经激活分解为稀疏、可解释特征的主要工具，但它们在应用于对称数据时面临一个关键限制：不可识别性 (unidentifiability)。

标准的 SAE 假设线性表示假设 (Linear Representation Hypothesis, LRH)，即激活是特征的稀疏线性组合。然而，当输入数据具有对称性（群作用 $G$ ）时，普通的 SAE 必须为同一语义概念在不同变换下的不同表现学习不同的特征方向（例如，为每种可能的旋转学习一个“猫”特征）。这导致了：

特征纠缠 (Feature Entanglement)： 模型可能会学习非正交、不可解释的特征，以重建差异化的输入。
不可识别性 (Unidentifiability)： 不同的解释都能很好地拟合数据，但只有一个可能与真实的底层结构相一致。
度量失配 (Metric Misalignment)： 重建质量（MSE）往往与特征的有用性不相关，因为 SAE 可能会学习仅用于重建的特征，而这些特征并不对应于真实的底层概念。

本文认为，当前的 SAE 未能考虑到这些对称性，导致在对称性普遍存在的科学领域中表现欠佳。

方法论：等变 SAE (Equivariant SAEs)

作者提出了等变稀疏自编码器，通过显式考虑群对称性来扩展线性表示假设。

1. 扩展线性表示假设

作者对 LRH 进行了重新表述，指出对于作用在输入 $X$ 上的群 $G$ ，神经网络的激活 $\psi(x)$ 会进行可预测的变换。具体而言，如果 $x$ 被变换为 $gx $（其中$ g \in G $），则激活通过线性映射$ \rho(g)$ 进行变换：
$\psi(gx) = \rho(g) \sum_{i=1}^C z(x)_i D_i = \sum_{i=1}^C z(x)_i (\rho(g) D_i)$
这里，特征幅度 $z(x)$ 保持不变（稀疏系数），而特征向量 $D_i$ 根据群作用进行变换。

2. 架构设计

等变 SAE 将不变特征的学习与变换规则的学习解耦：

不变 SAE (Invariant SAE)： 一个编码器-解码器对，经过训练以将所有轨道（例如，图像的所有旋转版本）内的激活映射到单个规范 (canonical) 潜在表示。这用于学习不变特征。
线性变换模块 (Linear Transformation Module)： 一组独立的、可学习的矩阵 ( $M, R$ )，用于建模规范重建如何变换回原始输入空间。对于由 $g, h$ 生成的群，模型学习矩阵使得：
$M_p R_q D(E(\psi(g^p h^q x))) = \psi(g^p h^q x)$
这使得 SAE 能够捕捉对称性结构，而无需强制要求字典本身具备等变性（否则需要极大量的参数）。

3. 训练策略

训练分为两个独立的步骤（可以并行化）：

不变 SAE 训练： 优化编码器和解码器，以最小化规范样本的重建损失，同时强制执行不变性。作者实验了三种损失目标：
- $L_{Canonical}$ ：从任何轨道成员重建规范样本。
- $L_{Latent}$ ：直接在潜在代码上强制执行不变性（ $E(\psi(x)) \approx E(\psi(gx))$ ）。
- $L_{Output}$ ：在 SAE 输出上强制执行不变性。
变换学习： 优化矩阵 $M$ 和 $R$ ，以最小化预测的变换激活与基础模型实际变换激活之间的误差。

核心贡献

理论扩展： 本文扩展了线性表示假设到对称数据，正式定义了特征系数和向量在群作用下如何表现。
算法创新： 设计了将不变特征学习与变换建模分离的等变 SAE，避免了群等变字典带来的参数爆炸问题。
实证验证： 通过在合成和真实世界数据集（形状、星系图像、血细胞）上的实验，证明了等变 SAE 在特征恢复和下游探测任务中优于 vanilla SAE、Archetypal 以及 Group Cross-coder 等基准模型。
度量洞察： 发现重建质量与特征有用性之间存在负相关关系。在对称设置中，等变 SAE 通常比 vanilla SAE 实现更低的重建精度（更高的 MSE），但却能产生更具解释性和更有用的特征。

实验结果

作者在以下数据集上评估了其方法：

玩具模型 (Toy Models)： 具有已知真值等变特征的合成数据。
形状数据集 (Shapes Dataset)： 具有 $C_4$ （旋转）和 $D_4$ （旋转 + 翻转）对称性的合成图像，使用 MLP、CNN 和 ViT 基础模型。
GalaxyMNIST： 具有 $C_4/D_4$ 对称性的真实星系图像。
MLL23： 使用 DinoBloom 基础模型的外周血细胞图像。

主要发现：

特征恢复： 在玩具模型上，等变 SAE 与基准模型相比，实现了更优的特征恢复（平均余弦相似度）和检测（F1 分数），尤其是在干扰较高的过完备（overcomplete）机制下。
下游探测 (Downstream Probing)： 在所有数据集中，基于等变 SAE 潜在表示训练的探测器在分类输入属性（如形状存在、方向、细胞类型）方面的准确率高于基于 vanilla SAE 潜在表示的探测器。在某些情况下（如 GalaxyMNIST），其性能甚至达到了与直接在基础模型激活上训练的探测器相当的水平。
重建 vs. 效用： 出现了一个一致的趋势：等变 SAE 具有更高的重建误差（较差的 MSE）与 vanilla SAE 相比。然而，这种“较差”的重建对应于更符合真实语义结构且对下游任务更有用的特征。
变换建模： 学到的线性矩阵 ( $M, R$ ) 成功解释了大多数模型激活变换中超过 97% 的方差，验证了输入对称性会在激活空间诱导线性变换的假设。

重要性与主张

本文声称，将解释性方法的先验知识与数据的已知结构（特别是对称性）相对齐，对于获得忠实的解释至关重要。作者强调了两个主要影响：

重建不等于解释性： 仅仅依赖重建指标（如 MSE）来评估 SAE 是危险的，特别是在处理对称数据时。一个重建效果较差的模型，仍可能发现了最有价值且最具解释性的特征。
领域特定的解释性： 对于对称性是基本属性的科学应用领域（如生物学、天文学），标准的 SAE 是不足够的。等变 SAE 提供了一条发现对这些对称性具有鲁棒性的特征的路径，这可能带来新的科学见解并构建更可靠的 AI 系统。

这项工作表明，未来的解释性研究必须超越通用的稀疏编码，并纳入领域特定的结构先验，以避免不可识别性的陷阱。