🤖 machine learning

Size Doesn't Matter: Cosine-Scored Sparse Autoencoders

本文认为，通过在稀疏自编码器中用余弦相似度与模长的学习混合机制取代标准的内积评分，可以防止高范数标记主导特征选择，从而在归一化表示上发现更具人类可解释性的概念。

原作者： Silen Naihin, Lev Stambler

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Silen Naihin, Lev Stambler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：“大嗓门”错误

想象一下，你正试图在嘈杂的房间里理解一场对话。你有一支由 65,000 名微型侦探（称为特征）组成的团队在倾听说话者。每位侦探都经过训练，专门识别特定的想法，比如“政治”、“编程”或“悲伤”。

在这些侦探工作的标准方式中（使用内积），他们会根据两件事感到兴奋：

说了什么： 主题是否符合他们的专长？
说话者的声音有多大： 说话者是在大喊大叫还是在低声细语？

问题在于，在现代 AI 模型中，一个词的“音量”（其数学上的大小，或称范数）变化极大。有些词天生就很大，而有些则很小。

因为传统的侦探非常在意音量，一个大声的词（例如一个罕见且复杂的 token）会让每一个侦探同时尖叫“我发现了！”即使主题并不匹配。这就像是因为有人掉落了一个重箱子，而不是因为发生了火灾，导致火警报警器响了起来。

AI 模型本身其实并不关心音量，它只关心对话的方向（即含义）。但传统的侦探把时间浪费在了对音量的关注上，导致他们没有空间去真正聆听含义。

解决方案：“余弦”侦探

作者提出了一种新型侦探，他们忽略音量，只倾听词语的方向（角度）。他们称之为余弦评分（Cosine Scoring）。

可以这样理解：

传统侦探： “我很兴奋，因为说话者既在谈论猫，而且声音还很大！”
余弦侦探： “我之所以兴奋，仅仅是因为他们在谈论猫。我不在乎他们是在耳语还是在咆哮。”

为了实现这一点，作者创建了一个灵活的系统，让侦探可以学习究竟要在多大程度上关注音量。他们给侦探们安装了一个“音量旋钮”（一个名为 $a$ 的参数）：

如果 $a=1$ ，他们会关注音量（旧的方式）。
如果 $a=0$ ，他们会完全忽略音量（纯粹的余弦）。

尝试之后发生了什么？

作者在大型语言模型（Qwen3-8B）上训练了这些新型侦探，并将它们与旧的侦探进行了对比。以下是他们的发现：

1. “音量旋钮”被调低了
尽管侦探们被允许继续关注音量，但在训练过程中，系统自动将音量旋钮调低到了几乎为零。系统学到了方向才是关键，而音量只是噪音。没有任何一个侦探决定去关注超过 50% 的音量。

2. 更擅长寻找真实的理念
在测试侦探是否能识别人类概念（如“编程”或“地理”）时，新的余弦侦探比旧的强了 14.9%。

旧的方式： 许多侦探变成了“音量探测器”。无论词语的含义如何，只要词语很大，它们就会触发。它们浪费了自身的配额。
新方式： 因为停止了对音量的尖叫，它们有了空间去寻找真正的概念。它们用有用的想法填满了“字典”，而不是仅仅填充大声的噪音。

3. “高范数”陷阱
论文发现，旧系统在处理“大声”词汇（高范数 token）时表现糟糕。当一个大声的词出现时，旧系统会重建出比现实大 9.5 倍的音量，这实际上破坏了模型的理解。新系统完美地处理了这些大声的词，保持了音量的真实性。

4. 这不仅仅是“更多数据”的问题
作者证明了这并不是因为新系统更大或训练时间更长。即使给旧系统配备了三倍数量的侦探，它仍然无法找到好的概念，因为它的“评分规则”是错误的。问题在于它们聆听的几何方式，而不是它们的容量。

核心结论

该论文认为，对于使用特定类型归一化（称为 RMSNorm）的 AI 模型，传统的特征检测方式是有缺陷的，因为它混淆了响度与含义。

通过切换到余弦评分（测量对齐程度而非幅度），我们得到了一个具备以下特点的特征字典：

与模型的重建质量相匹配（不会破坏模型）。
能更频繁地发现人类可识别的概念。
停止在“音量探测器”上浪费空间。

作者得出结论，对于任何使用这些归一化表示的 AI 模型，余弦评分应该是默认设置，因为它使字典学习与模型实际“阅读”的内容保持一致。

技术摘要：大小并不重要：余弦评分稀疏自编码器

1. 问题陈述

稀疏自编码器（SAEs）是机械解释性领域的标准工具，旨在将模型激活分解为人类可解释的特征字典。标准的 SAE 通过内积得分 $\langle w_i, x \rangle$ 来检测特征，该得分随输入 $x$ 的方向对齐程度以及输入的模长 $\|x\|$ 共同缩放。

这种评分几何结构与采用前置子层归一化（特别是 RMSNorm）的现代 Transformer 架构存在根本性的不匹配。在这些模型中，子层读取的是归一化后的激活 $x/\|x\|$ ，实际上丢弃了模长信息。然而，挂载在残差流上的 SAE 编码器仍然观察到完整的模长。因此，内积得分将内容对齐与 Token 范数混为一谈。

在 BatchTopK 选择机制（标准的稀疏性机制）下，这种不匹配产生了一种病态的选择压力：高范数 Token 会同时推高所有特征的预激活值，无论其方向对齐度如何。这些 Token 会不成比例地占据字典槽位，导致 SAE 学习到“范数检测器”（即根据 Token 模长而非内容进行触发的特征），而非“内容检测器”。这导致字典中充斥着编码模型本身其实并不关注的量值的特征，从而削弱了稀疏探测、特征转向（feature steering）和电路分析的可靠性。

2. 方法论

作者提出使用学习到的指数余弦评分来取代标准的内积编码器得分。新的预激活值 $s_i(x)$ 定义为：

$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$

其中：

$x_c = x - b_{dec}$ 是以解码器偏置为中心的输入。
$w_i$ 是单位归一化的编码器行。
$a$ 是控制输入模长依赖性的可学习指数。
$b$ 是可学习的缩放参数。
项 $e^b \|x_c\|^a$ 在纯余弦相似度（ $a=0$ ）与内积（ $a=1$ ）之间进行插值。

论文研究了两种参数机制：

全局 $a$ ： 所有特征共享的单一标量指数。
逐特征 $a_i$ ： 一种扩展形式，每个特征学习自己的指数（ $a_i = a_{base} + \delta_i$ ），允许模长依赖性的异质性。

关键设计选择：

单位归一化： 每次前向传播时对编码器行进行单位归一化，以确保当 $a=0$ 时得分是真正的余弦相似度。
初始化： $a$ 初始化为 0（纯余弦）， $b$ 初始化为 $\log \sqrt{d_{model}}$ 。
稳定性： 为了防止“赢家通吃”级联效应（即具有略高初始梯度的特征通过增加其指数来主导高模长 Token），逐特征变体采用了 base+delta 参数化方案（ $a_i = a_{base} + \delta_i$ ）。这在允许个体偏移的同时锚定了全局缩放。

3. 核心贡献

架构

论文引入了余弦评分 SAE，作为标准编码器的掉入式替换方案，它移除了关于“模长是有用信号”的默认假设。通过允许优化器学习模长依赖指数 $a$ ，该架构可以回收内积（如果模长确实有用），但默认回归到仅基于方向的评分。

实验结果

在 Qwen3-8B（第 18 层，5 亿 Token）和 Gemma-2-2B 上的实验表明，余弦评分 SAE 实现了：

匹配的重建性能： 方差解释比例（FVE）和模型行为保持能力（KL/CE 得分）与标准 SAE 在统计学上不可区分。
显著的解释性提升： 在重建性能匹配的情况下，逐特征余弦变体在八个 SAEBench 数据集上的稀疏探测 Top-1 准确率提升了 +14.9%。
特征发现： 这种提升并非源于对共享特征的更好编码，而是源于发现了新的、可解释的特征。标准 SAE 无法学习这些特征，因为它们的字典槽位被范数检测器占用了。
学习到的几何结构： 训练过程持续将学习到的指数 $a$ 推向零。在全局机制下， $a \approx 0.26$ ；在逐特征机制下，平均值 $a_i \approx 0.08$ 。没有任何特征接近内积极限（ $a=1$ ），这证实了方向而非模长才是有效的信号。

机制识别

论文隔离了标准 SAE 失败的原因——即在范数膨胀下的前向传播 TopK 选择失效。

梯度重加权无效： 尝试通过损失重加权使标准 SAE 中不同范数四分位数之间的梯度大小相等化，仅缩小了 1.9–6.8% 的性能差距。这证实了问题在于选择几何（哪些特征在 TopK 竞争中胜出），而非反向传播的梯度流。
范数调节特征： 标准 SAE 将大部分容量分配给那些在极高模长 Token 上过度触发的特征（在前 25% 分位数中占激活值的 86%）。这些特征编码的是模长而非内容。
重建病态现象： 在高模长 Token 上，标准 SAE 重建的输出范数比输入大 9.5 倍，而余弦 SAE 保持 1 倍的比例，符合模型的实际读取逻辑。

4. 重要性与主张

论文认为，对于归一化表示，余弦评分应该是字典学习的默认选择。所识别的失效模式——即内积 SAE 系统性地牺牲内容特征以换取范数检测器——可能会影响任何在 RMSNorm 后进行训练的 SAE。

实际影响： 所提出的修改是一种极小的架构变动（仅增加一个或两个标量参数），它在不损失重建性能的前提下，提供了更具解释性的字典。
范围与局限性：
- 该优势在 RMSNorm 下最为明显。在 LayerNorm 模型（如 Pythia, Falcon）上，该优势在深层网络中会减弱或消失，这表明 LayerNorm 的均值减法保留了内积评分可以利用的模长相关结构。
- 情感分析（Sentiment） 是唯一一个标准 SAE 优于余弦变体的任务，这符合“模长携带情感分析相关信号”的假设。
- 结果在不同层和模型间具有鲁棒性，但并非普适的。收益的大小随模型维度和深度而变化。

作者得出结论，“大小并不重要”这一原则成立：对于归一化表示，激活的模长对于特征检测而言是噪声，编码器评分几何必须反映这一点，才能恢复有意义的、人类可识别的概念。