⚡ electrical engineering

Mechanistic Interpretability with Sparse Autoencoder Neural Operators

本文介绍了稀疏自编码器神经算子（SAE-NOs），这是一个新颖的框架，它通过将概念参数化为结构化函数而非标量激活来扩展传统的稀疏自编码器，从而实现对跨输入域的概念表达的建模，达成跨分辨率的卓越泛化能力，并通过一种新颖的提升技术加速优化。

原作者： Bahareh Tolooshams, Ailsa Shen, Anima Anandkumar

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Bahareh Tolooshams, Ailsa Shen, Anima Anandkumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过观察内部齿轮来理解一台复杂机器的运作原理。在人工智能（AI）领域，特别是在“机制可解释性”研究中，研究人员使用一种称为**稀疏自编码器（SAEs）**的工具来寻找这些齿轮，他们将其称为“概念”。

传统上，这些工具有点像一份简单的清单。如果某个概念存在，它们就给出一个单一数值（一个“标量”）来表示其强度。例如，“‘猫’这个概念处于激活状态，强度为 0.8。”

本文介绍了一种新的、更强大的工具，称为SAE-NOs（稀疏自编码器神经算子），特别是其中一种名为SAE-FNOs的版本。以下是他们所做工作的简要分解及其重要性，并辅以日常类比。

1. 旧方法：“开/关”开关 vs. “地图”

问题所在：
将标准的 SAE（SAE-MLP）想象成房间里的一个电灯开关。它能告诉你灯是开是关，也许还能告诉你灯有多亮。但它无法告诉你光在房间的哪里照射，也无法告诉你光是如何移动的。如果你有一张猫在房间里走动的图片，旧系统可能会说：“好的，‘猫’已开启”，但当猫移动到下一个位置时，它必须关闭这个开关，并打开另一个不同的“猫”开关。它将每个位置都视为完全不同的事物。

新解决方案：
新的 SAE-FNO 就像一张动态地图或一个聚光灯。它不再仅仅是一个开关，而是将概念描述为一个可以移动和改变形状的函数。它可以说："‘猫’这个概念处于激活状态，并且这里精确地显示了它在图像中的位置以及它的形状。”

类比： 想象你在描述一首歌。
- 旧方法： 你只说：“这首歌正在播放。”
- 新方法： 你描述旋律、节奏以及音符如何随时间移动。你捕捉的是歌曲的结构，而不仅仅是它的存在。

2. 两种类型的“稀疏性”（选择性）

本文提出了一种巧妙的方法，能够同时在两个维度上进行选择：

概念稀疏性（“谁”）： 这决定了哪些概念被激活。（例如：“只有‘猫’和‘树’这两个概念是开启的；关闭‘汽车’概念。”）
域稀疏性（“哪里”）： 这决定了这些激活的概念出现在哪里。（例如："‘猫’这个概念仅在图像的左上角激活，而不是在整个图像中激活。”）

神奇之处： 通过结合这两者，系统可以反复重用同一个“猫”概念，只需将其移动到地图上的不同位置。旧系统必须为每个新位置发明一个新的“猫”。这使得新系统更加高效，就像使用一张可重复使用的贴纸并将其移动，而不是为每一个位置打印一张新贴纸。

3. “傅里叶”秘诀

为了实现这一目标，研究人员使用了一种称为傅里叶神经算子的技术。

隐喻： 想象你试图描述海洋中一个复杂的波浪。你可以尝试描述每一滴水（这既困难又杂乱）。或者，你可以通过波的频率和形状（如一条平滑滚动的曲线）来描述波浪。
优势： 新系统将概念描述为平滑的波（函数），而不是锯齿状的像素。这使得它能够比旧的“逐像素”方法更好地理解平滑或有结构的模式，例如照片中的边缘或声音中的波浪。

4. 发现的关键超能力

该论文在图像（如 MNIST 数字和 CIFAR 照片）上测试了这一新系统，并发现了几个有趣的现象：

稳定性： 如果你改变系统对选择性（稀疏性）的“严格”程度，旧系统的概念会变得混乱并完全改变。而新系统无论设置如何，都能保持其概念的稳定和一致。
移动物体： 当一个数字（如"3"）在屏幕上移动时，旧系统会切换数十个不同的“概念 ID"来跟踪它。新系统则保持相同的概念 ID，只需将其在地图上的位置移动。它理解这是同一个物体在移动，而不是一系列不同的物体。
放大与缩小（泛化能力）： 这是一个重大突破。如果你用旧系统在小图像（28x28 像素）上进行训练，当你给它看更大的图像（56x56）时，它就会崩溃。这就像在小型停车场学习驾驶，然后在高速公路上失败一样。新系统因为学习的是“函数”（规则）而非固定的网格，因此能够处理它从未见过的大尺寸图像或不同分辨率。它像人类一样进行泛化，人类理解的是汽车的概念，而不仅仅是某辆汽车的具体像素。
提升（预条件器）： 论文还增加了一个称为“提升”的步骤，该步骤暂时将数据提升到更高维的空间以简化学习，然后再将其带回。他们从数学上证明，这就像一个预条件器（一种能抚平崎岖道路的工具），帮助 AI 更快、更准确地学习。

总结

简而言之，这篇论文指出：“停止将 AI 概念视为静态的开关。开始将它们视为移动且变形的函数。”

通过从简单的数字转向复杂的函数（利用傅里叶数学），新系统能够：

学习概念出现的位置和方式，而不仅仅是它们是否出现。
高效地重用概念（节省内存和计算资源）。
即使规则改变，也能保持稳定。
能够处理不同尺寸的图像而不会崩溃。

作者声称，这是我们在构建理解 AI 的工具方面发生的根本性转变，从僵化的、固定网格的思维模式转向灵活的、功能性的思维模式。

技术摘要：稀疏自动编码器神经算子（SAE-NOs）

1. 问题陈述

标准稀疏自动编码器（SAEs）已成为机械可解释性的主要工具，旨在通过对激活施加稀疏性来揭示神经网络中的潜在概念。然而，现有的公式（称为 SAE-MLPs）依赖于线性表示假设（LRH），该假设将数据建模为标量激活概念的稀疏线性组合。这种方法施加了三个关键限制：

标量激活：概念由单个标量值表示，仅编码存在和强度，但无法捕捉概念在输入域中如何或何处表达。
固定离散化：概念被参数化为与输入处于同一欧几里得空间中的向量，将表示绑定到特定的分辨率或网格。这阻碍了向不同离散化或分辨率的泛化。
归纳偏置：对于具有空间结构的数据（例如图像、物理场），标准 SAE 迫使概念进行全局均匀贡献，限制了其表示局部化或域依赖结构的能力。虽然卷积 SAE（SAE-CNNs）引入了局部性，但它们仍然受限于固定的感受野和分辨率。

本文认为，从向量值转向函数参数化对于建模结构化概念表达是必要的，特别是对于表现出跨尺度空间或时间结构的数据。

2. 方法论：SAE-NOs 和 SAE-FNOs

作者引入了稀疏自动编码器神经算子（SAE-NOs），这是一个将概念参数化为函数而非向量的框架。该框架具体实例化为稀疏自动编码器傅里叶神经算子（SAE-FNOs）。

函数表示假设（FRH）

作者形式化了函数表示假设（FRH），提出函数空间 $\mathcal{X}$ 中的数据 $x$ 可以通过函数空间 $\mathcal{Z}$ 中的稀疏表示 $z$ 经由线性算子 $G_{D^*}$ 来解释：
$x = G_{D^*}(z)$
与标准 SAE 中 $z$ 为标量向量不同，此处 $z$ 是来自函数空间的样本，而“字典” $D$ 是一个算子。

联合稀疏机制

SAE-FNOs 引入了一种双重稀疏结构，以编码不仅哪些概念被激活，而且如何以及何处被激活：

概念稀疏性（组稀疏性）：选择一小部分活跃概念（组）。
域稀疏性（组内稀疏性）：约束每个活跃概念的特征图内部的激活模式。这决定了概念表达的空间位置。

在数学上，对于概念 $c$ ，激活是一个特征图 $v_c$ 。概念稀疏性基于 $v_c$ 的 $\ell_2$ -范数选择 $c$ ，而域稀疏性则在 $v_c$ 内部应用逐元素稀疏性。

傅里叶参数化

SAE-FNOs 将概念参数化为傅里叶域中的积分算子。解码器将输入重构为：
$\hat{x} = \mathcal{F}^{-1} \left( \sum_{c=1}^p W_c \cdot (\mathcal{F} z_c) \right)$
其中 $W_c$ 是可学习的傅里叶系数（核）， $z_c$ 是稀疏特征图。该公式诱导了朝向稀疏卷积表示的归纳偏置。

提升（Lifting）

该框架包含提升，即一个线性算子 $L$ ，在概念学习之前将输入映射到更高维空间，随后通过投影 $P$ 映射回原始空间。理论上，作者表明提升充当预条件器，通过重新缩放更新方向来加速优化并改善字典恢复。

3. 主要贡献

SAE-NO 框架：引入了一类在函数空间中运行的新型稀疏自动编码器，实现了与分辨率无关的表示。
函数稀疏编码：用特征图表示替换标量激活，将概念表达能力（由概念稀疏性控制）与结构局部性（由域稀疏性控制）解耦。
理论表征：
- 证明提升充当预条件器，加速收敛。
- 证明在特定条件下（正交提升、绑定投影），提升的 SAE-NOs 可简化为标准的 SAE-NOs，确保架构等价性。
- 表征训练动态，表明 SAE-FNOs 在稀疏卷积生成模型下恢复概念。
涌现的时间一致性：证明 SAE-FNOs 通过平移空间激活，自然地跨平移模式（例如移动的数字）重用概念，而无需显式的时间约束、序列级训练或时间记忆。

4. 实验结果

作者在合成数据、MNIST、CIFAR-10 和 ImageNet 上评估了 SAE-FNOs 与 SAE-MLPs 和 SAE-CNNs 的性能。

概念恢复：在具有已知真实卷积字典的合成数据上，SAE-FNOs 成功恢复了底层概念，优于 SAE-CNNs，特别是在初始化误差较大的情况下。
跨稀疏性的稳定性：SAE-FNOs 学习到的概念，其结构特征（由 Hoyer 分数衡量）在稀疏性水平（ $k$ ）变化时保持稳定。相比之下，SAE-MLP 的概念随着 $k$ 的增加而发生剧烈变化并失去结构。
效率与表达能力：SAE-FNOs 以更少的活跃概念实现了更高的重构精度（ $R^2$ ）。它们表现出更急剧的概念使用衰减，表明与 SAE-MLPs 的平坦分布相比，对结构化概念的复用效率更高。
跨离散化泛化：在特定分辨率（例如 28x28）上训练的 SAE-FNOs 能够泛化到更高分辨率（例如 56x56、112x112），且误差增加极小。标准 SAE 无法泛化到其训练离散化之外，显示出重构误差的急剧增加。
鲁棒性：与 SAE-MLPs 相比，SAE-FNOs 在高频率噪声扰动和频谱偏移下表现出更大的稳定性。
相关概念：与倾向于正交特征的 SAE-MLPs 不同，SAE-FNOs 学习更广泛的相关概念，因为函数参数化允许概念在何处表达上有所不同，从而减少了干扰。

5. 意义与主张

本文声称，从向量值到函数参数化的转变从根本上扩展了稀疏自动编码器的能力。通过超越概念的“存在”而转向建模“结构化概念表达”，SAE-FNOs 提供了：

分辨率不变性：能够在训练期间未见过的分辨率上处理数据的能力。
结构稳定性：在不同稀疏性水平和域大小下保持一致的概念。
高效表示：一种通过跨空间域重用概念来用更少的有效概念表示数据群体的机制。

作者将 SAE-NOs 定位为一个通用的函数框架，而非特定架构，指出 FNO 参数化与稀疏化机制是正交的。他们得出结论，函数参数化对于学习结构化域的表示至关重要，强调了在机械可解释性中概念参数化方式的重要性。

承认的局限性：
本文指出，由于傅里叶运算和特征图表示，SAE-FNOs 会产生更高的计算和内存成本。此外，对平滑、低频模式的频谱偏置可能不太适合高度不规则、不连续或表格数据，在这些情况下基于向量的 SAE 可能仍然更可取。实证研究专注于视觉数据集，将神经算子基础模型和科学机器学习的应用留作未来方向。