SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization

技术摘要：SAEVerbalizer

问题陈述
稀疏自编码器（Sparse Autoencoders, SAEs）被广泛用于从大型语言模型（LLMs）的稠密内部表示中提取可解释的特征，将其映射到高维稀疏空间。然而，一个关键的瓶颈仍然存在：如何用自然语言解释这些提取出的特征。目前最先进的方法依赖于自下而上的解释（bottom-up interpretation），即通过在大型语料库上运行 LLM 来识别某个特征的高激活示例，然后提示外部 LLM 对这些示例的共同模式进行总结。

作者指出了现有范式的两个主要局限性：

1. 解释过于表象化： 由于仅通过激活示例来推断含义，这些方法描述的是示例之间的共同点，而不是直接访问特征本身所编码的语义内容。
2. 计算效率低下： 为数百万个特征生成解释需要重复进行大规模语料库推理、激活计算和示例检索，这在规模化应用上并不具备扩展性。

方法论：SAEVerbalizer
本文引入了 SAEVerbalizer，该框架将解释过程从观察外部行为转向直接处理内部表示。SAEVerbalizer 不再检索激活示例，而是将 SAE 解码器方向（decoder direction）视为生成解释的唯一输入。

• 核心机制： 该框架将 SAE 解码器方向直接注入 LLM 在指定注入层（$L_{inj}$）的 Token 表示中。随后，LLM 的下游层经过微调，根据注入的表示生成自然语言解释。
• 注入策略： 解码器方向通过一种范数匹配的加法注入方式，被添加到固定注入跨度的 Token 表示中：
  $$h'_{b,s} = h_{b,s} + \alpha \bar{n}_b \hat{v}_{f_b}$$
  其中 $\hat{v}$ 是归一化的方向，$\bar{n}_b$ 是注入前表示的平均范数，$\alpha$ 控制注入强度。
• 训练：
  • 解释器微调（Verbalizer Fine-tuning）： 对 LLM 进行微调，使用高质量的“特征-解释”对（来源于 Neuronpedia 并经过连贯性和特异性过滤）。仅更新注入层下游的层，从而保留定义 SAE 方向的表示空间。
  • 用于跨 LLM 迁移的适配器（Adapter for Cross-LLM Transfer）： 为了将在一个 LLM 上训练的解释器应用于另一个 LLM 的 SAE 特征，研究者训练了一个轻量级的仿射适配器。该适配器将源 LLM 的解码器方向映射到目标解释器的注入层空间，通过在无标签文本上对齐的隐藏表示进行训练。
• 推理： 一旦训练完成，解释器可以通过注入相应的解码器方向并进行自回归文本生成来解释未见的特征，无需检索或处理激活示例。

核心贡献

1. 一种新的解释范式： 作者提出了一种轻量级方法，直接从解码器方向解释 SAE 特征，绕过了大规模语料库推理和示例检索的需求。
2. 可训练的能力： 他们证明了将内部表示转化为语言（verbalize）是一种可训练的能力，能够泛化到未见特征，并能在同一表示空间内不同训练的 SAE 字典之间进行迁移。
3. 跨 LLM 的可扩展性： 通过轻量级适配器，该框架可以将解释能力扩展到来自不同 LLM 的 SAE 特征，而无需针对特定源进行监督或重新训练解释器主干。
4. 干预分析： 论文提供了实证证据，表明解释器捕捉到了组合语义（当注入多个方向时）和符号关系（当方向反转时），这表明它学习了特征空间的底层几何结构，而非仅仅是记忆关联。

实验结果
作者使用 Gemma 系列 LLM（1B, 4B, 27B）和 Gemma Scope 2 SAE 对 SAEVerbalizer 进行了评估。

• 性能： 解释器实现了显著的**参考一致性（Reference Agreement, RA）**得分（例如，对于 27B 模型，在包含 4.8 万个训练对的 Global Train-Standard 集上达到 52.3%），证明其生成的解释与高质量的人工策展参考资料保持一致。
• 泛化性： 模型能够泛化到未见特征，并能直接迁移到在同一 LLM 上训练的不同 SAE 字典（宽度为 65k）上，且无需额外微调。
• 可迁移性： 当使用适配器将 1B 和 4B 模型的能力迁移到 27B 解释器时，系统成功利用了较大模型的更强解释能力，提升了性能，优于在较小模型上训练的原生解释器。
• 鲁棒性： 只要注入强度足够，系统对提示词设计和注入强度的变化具有鲁棒性。
• 定性发现：
  • 组合性： 同时注入两个方向会产生结合了这两个特征含义的解释。
  • 方向反转： 反转解码器方向的符号会产生语义相关但发生偏移的解释（例如，“教案”变为“学习心得”），这表明解释器捕捉到了特征空间的方向性本质。

意义与主张
论文声称 SAEVerbalizer 提供了一条从学习到的表示到特征解释的更直接、更高效的路径。通过将解释建立在 LLM 内部表示空间而非推断激活文本的基础上，该方法解决了现有自动化解释方法中表象化和低效的问题。

作者将 SAEVerbalizer 定位为现有方法的可训练且部分可重用的补充，而非替代品。它能够以极低的开销为未见特征以及不同模型架构生成解释，从而促进了将 SAE 解释扩展到数百万个特征的过程。这项工作表明，内部表示的语言化是一种可以被学习、迁移和适配的能力，为分析 LLM 的语义结构开辟了新的途径。

局限性
作者承认存在以下几点局限性：

• 覆盖范围： 目前的实验仅限于 Gemma 系列 LLM 和 Gemma Scope 2 SAE；尚未验证其在其他模型家族中的泛化能力。
• 验证方式： 评估依赖于经过过滤的 Neuronpedia 解释作为参考一致性的指标，这虽然可以作为质量的代理，但并不构成绝对的真值（ground truth）。
• 监督来源： 当前流程依赖于对 Neuronpedia 数据进行高成本的过滤以创建训练对，尽管作者指出也可以使用其他的监督来源。
• 运行变异性： 结果是基于单次运行报告的，并未测量不同随机种子带来的变异性。