🤖 machine learning

Bilinear autoencoders find interpretable manifolds

本文介绍了利用二次潜变量来揭示神经网络激活中可解释的多维流形的双线性自编码器，证明了非线性几何先验能够系统性地提升重构效果，并揭示线性方法所遗漏的复合概念。

原作者： Thomas Dooms, Ward Gauderis, Geraint Wiggins, Jose Oramas

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Dooms, Ward Gauderis, Geraint Wiggins, Jose Oramas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图理解一台庞大而复杂的机器（例如现代人工智能语言模型）是如何思考的。长期以来，研究人员一直试图通过寻找直线来做到这一点。他们假设，如果一个概念存在于人工智能内部，它就像一支指向特定方向的单箭头。如果人工智能在思考“猫”，那么它的大脑中就会有一条特定的线被点亮。

本文认为，这种“直线”观点过于简单。相反，本文提出，人工智能中的许多概念更像形状、气泡或曲面。为了找到这些形状，作者构建了一种新工具，称为双线性自编码器。

以下是他们观点的分解，使用了简单的类比：

1. 问题：“直线”地图遗漏了某些内容

将人工智能的大脑想象成一个巨大的、充满隐形家具（概念）的多维房间。

旧方法（线性自编码器）： 想象试图仅用一把尺子来绘制这个房间的地图。你可以测量直线和平坦的墙壁。如果一个概念是“直线”，你很容易就能找到它。但如果一个概念是圆形、球体或弯曲的山丘，尺子就无法很好地描述它。你最终需要用数百个微小且破碎的尺子段来近似一个圆，这既混乱又令人困惑。
现实情况： 作者发现，许多人工智能概念确实是弯曲的。例如，“年份”（如 1990、2000、2010）的概念不仅仅是一条线；它是一个特定的几何形状。“美国地点”的概念也不是一个单点；它是一个分散的点云，形成一个特定的簇。

2. 解决方案：“变形”透镜

作者创造了一种新工具，它不仅仅寻找直线，还寻找弯曲的形状（数学上称为“二次曲面”，如椭球体或双曲线）。

类比： 想象旧工具是一束只发出直线光束的手电筒。新工具则是一把可以雕刻出弯曲形状的激光切割机。
工作原理： 新工具不再问“这个输入是否在直线上？”，而是问“这个输入是否在这个弯曲的气泡内部？”或者“这个输入是否在这个特定的弯曲表面上？”。
“双线性”部分： 这仅仅是一种 fancy 的说法，表示该工具观察两个事物如何相互作用。它不仅仅看“猫”，而是同时观察“猫”和“喵”之间的关系，以定义概念的形状。

3. 他们的发现：弯曲形状无处不在

当他们在语言模型（Qwen 3.5）上使用这种新工具时，他们发现了三种旧工具遗漏的主要“形状”类型：

“板状”（简单曲线）： 想象一个厚三明治。如果你在两片平行面包之间，无论你在面包的哪一侧，该概念就会被激活。
- 示例： “年份”（19xx, 20xx）的概念。该工具发现了一个形状，它捕捉了所有年份，而忽略了数字在数学意义上是正数还是负数。
“簇”（气泡）： 想象一串葡萄。该概念不是一个大的整体形状，而是一组形成簇的离散点。
- 示例： “美国地点”的概念。该工具发现了一个形状，将“美国”、“联合”和“美洲”归为一组，同时忽略“伦敦”或“巴黎”，尽管它们都是地点。
“鞍形”（复杂曲线）： 想象一个马鞍。你可以向一个方向上升，向另一个方向下降。
- 示例： 短语“例如”。该工具学会在看到“例如”或“e.g."时激活，但在其他语境中看到单词“为”（如“为了爱”）时则停用（关闭）。它捕捉的是语境的细微差别，而不仅仅是单词本身。

4. 为什么这很重要（“字典”类比）

作者将他们的方法与构建概念字典进行了比较。

旧字典： 你有成千上万个单词，但它们都只是直线。要描述一个圆，你必须使用 50 个稍微偏离中心的单词。这既低效又难以理解。
新字典： 你的单词更少，但每个单词都是一个完美的形状。一个单词描述“圆”，另一个描述“球体”。
结果： 与旧工具相比，他们的新工具更准确地重建了人工智能的思维（误差更小）。他们发现，人工智能的大脑充满了这些复杂的、多维的形状，而不仅仅是简单的直线。

5. 机器中的“幽灵”（稳定性）

一个有趣的发现是，即使你训练该工具两次，它可能会找到不同的具体“形状”（不同的字典），但它们所描述的整体房间是相同的。

类比： 想象两位不同的艺术家绘制同一幅风景画。艺术家 A 使用蓝色和绿色；艺术家 B 使用紫色和橙色。他们使用不同的颜色（不同的字典条目），但他们都画出了同一座山和同一条河（相同的底层结构）。作者证明，虽然具体的“颜色”会发生变化，但“风景”保持稳定。

总结

该论文声称，人工智能模型不仅仅是直线的集合。它们充满了弯曲的、多维的形状。通过使用一种能够看到这些曲线的新工具（双线性自编码器），研究人员可以：

看得更清楚： 他们发现了以前不可见或混乱的概念。
更高效： 他们需要用更少的“特征”来描述相同数量的信息。
理解得更好： 他们可以看到像“年份”或“地点”这样的概念实际上是如何被构建为几何形状，而不仅仅是简单的开关。

作者甚至建立了一个交互式网站（可视化器），你可以亲自查看这些 3D 形状，证明这些弯曲的“流形”是真实的，并且在人工智能的思考方式中普遍存在。

技术摘要：双线性自编码器发现可解释流形

问题陈述

当前的机制可解释性研究严重依赖稀疏自编码器（SAEs）来揭示神经网络中可解释的潜在表示。这些方法基于线性表示假设，即假设概念是沿线性方向编码的。然而，最近的研究表明，显著概念往往跨越复杂的、多维的流形（例如椭球体、双曲面），而线性方法若不经过事后分析则无法捕捉这些结构。此外，对线性潜在变量的孤立研究往往无法解释上下文依赖性，即潜在变量的含义会随共激活特征的变化而改变。虽然增加模型容量可以捕捉更多结构，但无界的表达能力往往导致平庸的解，从而削弱可解释性。核心挑战在于寻找一类表示，它既具有足够的非线性以捕捉这些流形，又具有足够的代数可处理性，以支持闭式几何分析和组合式理解。

方法论

本文提出双线性自编码器作为解决方案，将标准稀疏自编码器架构扩展为学习二次潜在变量。

架构

双线性自编码器不直接重构输入向量 $x$ ，而是重构提升后的乘积空间 $X = xx^\top$ 。

编码器：模型使用门控线性单元（GLUs）的变体来计算二阶多项式。第 $i$ 个潜在变量的激活定义为 $z_i = x^\top W_i x$ ，其中 $W_i$ 是一个表示二次型的对称矩阵。
解码器：重构在提升空间中线性执行： $\hat{X} = W^\top W X$ 。
训练效率：直接实例化 $d \times d$ 矩阵 $X$ 对于大型模型在计算上是不可行的。作者采用核技巧来计算重构损失和梯度，而无需显式构建 $X$ 。核矩阵 $K = WW^\top$ 通过分解 $K = C^\top (LL^\top \odot RR^\top) C$ 高效计算，其中 $L$ 和 $R$ 是编码器因子矩阵， $C$ 是组合矩阵。
稀疏性：作者引入Hoyer 密度作为一种尺度不变的稀疏性惩罚。与可能导致平庸收缩的标准 $L_1$ 惩罚不同，Hoyer 密度鼓励批次内的相对显著性，确保潜在变量选择性地对特定结构产生响应，而不会坍缩至零。

结构假设

本文形式化了三个嵌套的表示假设，定义了字典原子的几何先验：

二次表示假设：字典由对称矩阵 $W_i$ 组成。模型将 $xx^\top$ 分解为这些矩阵的稀疏和。这使得检测二次曲面几何（椭球体、双曲面、抛物面）成为可能。
原子表示假设：一种约束，其中每个字典原子是一个秩-1 矩阵（ $W_i = w_i w_i^\top$ ）。感受野是一个对称的“板”（两个平行超平面），用于检测沿某一方向的能量，而不论其符号如何。
复合表示假设：字典原子是秩-1 矩阵的稀疏混合（ $W_i = \sum C_{ij} w_j w_j^\top$ ）。这使得模型能够自动学习低维子空间。复合原子可以形成椭球体（如果是半正定）或双曲面（如果是不定），从而有效地捕捉需要多个线性方向来定义的概念。

主要贡献

架构：作者将双线性自编码器适配用于字典学习，通过核技巧实现高效训练。这为线性 SAE 提供了一种自然且可处理的扩展，它在权重空间中运行，允许在不进行前向传播的情况下进行几何分析。
框架：他们提出了一个结构先验的形式化框架（原子、复合、二次），将字典约束映射到特定的感受野几何形状（板、椭球体/双曲面、任意二次曲面）。这挑战了标准的线性假设，证明了概念可以通过其与二次曲面的邻近性而非线性半空间来检测。
实证验证：
- 重构：在 Qwen 3.5（0.8B）、Gemma-3（1B）和 Llama-3.2（1B）上的实验表明，复合和二次潜在变量始终比原子（秩-1）潜在变量和线性基线实现更低的重构误差（NMSE）。
- 几何普遍性：谱分析显示，虽然许多概念是低秩的，但显著的“长尾”概念需要更高维的几何形状（秩 > 1）才能被准确捕捉。
- 稳定性：虽然单个字典原子（分解）在不同训练运行和超参数下变化显著，但自编码器恢复的全局输入子空间保持高度稳定（>90% 相似度）。这表明具体的分解不如潜在的流形结构重要。
- 定性分析：一个交互式可视化器展示了双线性自编码器能够捕捉多样的几何模式，包括圆锥（年份）、簇（地点）、插值（语义桥梁）和子集（上下文区分，如"for"与"for instance"）。

意义与主张

本文认为，双线性自编码器代表了向非线性但数学上可处理的潜在表示迈出的重要一步。

超越线性：这项工作挑战了线性表示假设的主导地位，表明显著概念往往栖息在线性方法所遗漏的多维流形中。
组合式可解释性：通过使用多项式，模型确保组合发生在权重空间中。这使得特征之间能够进行显式的、可计算的交互，将可解释性从孤立的基向量推进到可理解的组合结构。
流形发现：作者将这些模型定位为用于流形发现的无监督工具。由于几何形状可以直接从权重张量（ $W_i$ 的特征值和特征向量）中读取，这些模型提供了一种“透镜”，其设计初衷就是可解释的表示几何。
适度范围：作者明确指出，所提出的结构先验仅是概念验证。他们并未声称遍历了所有可能的先验以找到最佳权衡，也未声称解决了因果消融问题。相反，他们将此框架定为未来工作的基础，用于因果控制和表征特定模型偏好的几何先验。

本文结论认为，虽然线性方法很有用，但该领域必须转向能够显式建模神经网络激活中固有的弯曲、高维几何形状的表示，以实现真正的组合式理解。