🤖 AI

Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations

本文介绍了一个以人为本的评估框架，该框架包含全二值匹配追踪（FBMP）算法和目标属性扰动对齐评分（TAPAScore），以及合成基准测试（synCUB 和 synCOCO），旨在严格量化稀疏自编码器的语义对齐度和可解释性，并揭示了适中的字典大小在概念提取方面能提供最佳的权衡。

原作者： Jonas Klotz, Cassio F. Dantas, Pallavi Jain, Diego Marcos, Begüm Demir

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jonas Klotz, Cassio F. Dantas, Pallavi Jain, Diego Marcos, Begüm Demir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：试图解读一个“黑盒”

想象你有一个超级聪明的机器人（视觉模型），它能观察照片并告诉你其中有什么。但在机器人的大脑内部，信息并不是以“狗”、“树”或“蓝天”这样整齐、贴好标签的文件夹形式存储的。相反，它是以一种巨大的、混乱的数字云的形式存在的。

为了理解这个机器人是如何思考的，科学家们使用了一种叫做稀疏自编码器（Sparse Autoencoder, SAE）的工具。你可以把 SAE 想象成一个翻译官或一个解码环。它的任务是把那团混乱的数字云分解成简单、人类可读的“概念”。

例如，与其面对一堆杂乱的数字，SAE 可能会说：“啊，当出现‘条纹腹部’时，这个特定的数字就会亮起；而当出现‘纯色腹部’时，另一个数字就会亮起。”

问题所在：翻译官在撒谎吗？

问题在于，我们并不总是知道这个翻译官做得好不好。

“特征分裂”问题： 想象“条纹腹部”这个概念非常复杂，以至于翻译官把它拆分成了三个不同的数字。一个数字代表“条纹”，一个代表“腹部”，第三个代表“棕色”。如果你只看其中一个数字，你会觉得它毫无意义。概念被碎片化了。
“特征吸收”问题： 想象翻译官有一个代表“鸟”的数字，但因为它太忙了，所以忽略了像“红翅膀”这样的细节，因为它认为“鸟”这个数字已经涵盖了一切。
“特征组合”问题： 有时，两个不同的事物（比如“黄色头部”和“黄色喙”）会被揉进同一个数字里，导致很难将它们区分开来。

直到现在，科学家们主要通过观察它们重建原始图像的能力（就像检查拼图是否被正确地拼凑回去一样）来猜测这些翻译官是否工作正常。但即使拼图的碎片顺序错了，拼图看起来也可能很完美。我们需要一种方法来检查其“含义”是否真的正确。

解决方案：一种新的“真相测试”

作者构建了一个新的框架，通过三个主要步骤来测试这些翻译官：

1. “配对”游戏（潜变量-概念匹配）

首先，他们将翻译官的输出与人类标注的事实（例如：“这只鸟有纯色腹部”）进行对比。

旧方法： 他们尝试将一个人类事实与恰好一个机器人数字进行匹配。
新方法 (FBMP)： 他们意识到，有时一个人类事实需要多个机器人数字才能得到解释。他们发明了一种叫做全二元匹配追求法 (Fully-Binary Matching Pursuit, FBMP) 的方法。
- 类比： 想象你正在试图描述一辆“红色的车”。旧方法试图寻找一个代表“红色的车”的神奇单词。新方法则说：“好吧，让我们把‘红色’和‘车’这两个词结合起来使用。”这使得系统能够处理被拆分到多个数字中的复杂概念。

2. “魔法编辑”基准测试（合成数据集）

为了真正测试翻译官，你需要改变图片，并观察机器人的大脑是否会发生正确的变化。但在现实世界中，如果你改变了一只鸟的腹部图案，你可能会不小心改变它的姿势或背景。

解决方法： 作者创建了两个虚构（合成）数据集：
- synCUB： 一个鸟类照片集，他们利用 AI 只改变其中一件东西（例如，将“纯色”腹部变为“斑点”腹部），同时保持其他一切完全不变。
- synCOCO： 一个繁忙街景集，他们利用 AI 移除其中一个物体（如汽车），而不破坏场景的其余部分。
- 类比： 这就像拥有一个魔法编辑工具，可以在不改变人的脸、头发或背景的情况下，为那个人换上一件衬衫。这让科学家能够隔离出机器人到底在对什么做出反应。

3. “方向检查”（TAPAScore）

这是最重要的一部分。仅仅因为一个机器人数字在“条纹腹部”出现时亮起，并不意味着它导致了这个概念。它可能只是一个巧合。

测试： 他们拿出一张照片，通过编辑来添加一个特征（比如斑点腹部），观察特定的“斑点”机器人数字是否会上升。然后，他们编辑一张照片来移除该特征，观察数字是否会下降。
评分： 他们称之为 TAPAScore。如果数字在特征出现时上升，在特征消失时下降，那么这个翻译官就是值得信赖的。如果数字保持不变或朝着错误的方向变化，那么翻译官就糊涂了。

核心发现：少即是多

论文测试了这些工具在不同类型的翻译官以及不同“字典大小”（即允许使用的数字数量）下的表现。

并非越大越好： 他们发现，给翻译官一个巨大的字典（数以千计的数字）实际上会让它在“可解释性”方面变得更差。它开始创造出与现实不符的“幽灵”概念。
黄金分割点： 一个适中的字典大小提供了最佳的平衡。它既足够大以理解复杂概念，又足够小以保持专注和清晰。
胜出者： 他们的新匹配方法 (FBMP) 与新真相测试 (TAPAScore) 的结合，是唯一能可靠区分出一个聪明的、经过训练的翻译官与一个随机的、未经训练的翻译官的方法。

总结

作者为 AI 翻译官建立了一份新的“成绩单”。他们不再仅仅检查 AI 是否能重建图像，而是通过以下方式检查 AI 的内在想法是否与人类概念相匹配：

允许使用多个数字来解释一个想法 (FBMP)。
使用魔法编辑的照片来测试因果关系 (synCUB/synCOCO)。
评分在图像变化时 AI 是否向正确的方向做出反应 (TAPAScore)。

他们发现，为了让这些 AI 大脑真正变得可以理解，它们不应该太大；适中的规模效果最好。

技术摘要：评估带有概念注释的稀疏自编码器的可解释性

问题陈述

稀疏自编码器（SAEs）正越来越多地被用于将视觉和视觉-语言模型（如 CLIP、DINOv2）的高维内部表示分解为稀疏且具有可解释性的潜变量。然而，现有的基于视觉的 SAE 评估方法过度依赖结构化代理指标（如重建保真度、稀 de 稀疏性）或定性检查。这些方法无法衡量语义对应性（semantic correspondence）——即学习到的潜变量与人类可理解概念之间的对齐程度。

此外，视觉模型存在系统性的失效模式，例如特征分裂（feature splitting）（一个概念被碎片化分布在多个潜变量中）、特征吸收（feature absorption）（通用特征产生了盲点）以及特征组合（feature composition）（共现的概念发生合并）。目前的指标多改编自自然语言处理领域，难以验证一个潜变量究竟是真正编码了特定的语义属性，还是仅仅由于混杂因素而与其相关。至关重要的是，在视觉领域进行功能性评估非常困难，因为在自然图像中，如果不通过受控干预，很难隔离单一的语义变化。

方法论

作者提出了一个以人类为基础的评估框架，旨在量化 SAE 潜变量与人类注释概念之间的对齐情况，且无需进行用户研究。该框架由三个核心部分组成：

1. 潜变量-概念匹配 (Latent-Concept Matching)

为了衡量统计对齐性，作者将二值化的 SAE 激活值与二值化的地面真值（ground-truth）属性向量进行比较。

一对一匹配（One-to-One Matching）： 为给定属性选择使 F1 分数最大化的单个潜变量。
完全二值化匹配追求法（Fully-Binary Matching Pursuit, FBMP）： 考虑到特征往往会分裂到多个潜变量中，作者引入了一种基于“联盟”（coalition）的匹配程序。FBMP 是一种专为二值领域定制的贪婪顺序选择算法。与标准的匹配追求法不同，它完全在二值空间内运行：
- 它使用二值相似性指标（如 $F_\beta$ ）而非内积。
- 它使用逻辑或（ $\lor$ ）来累加贡献，并使用逻辑与/非（ $\land, \neg$ ）来更新残差。
- 它构建一个小的潜变量子集（联盟），共同重建属性注释，从而支持多对一的映射。
$\Delta$ MATCHScore： 为了消除匹配分数在较大字典中因随机相关性增加而产生的膨胀问题，作者从训练好的 SAE 分数中减去了未训练（随机权重）SAE 的匹配分数。

2. 合成干预基准 (Synthetic Intervention Benchmarks)

为了实现功能性验证，作者构建了两个合成数据集，其中图像对仅在一个语义属性上存在差异：

synCUB： 源自 CUB-200-2011，该数据集针对细粒度的属性扰动（例如，将“纯色”腹部图案改为“斑点”图案），处理单目标鸟类图像。它使用 Flux2 在参考图像的引导下编辑基础图像，同时保持身份、姿态和背景不变。
synCOCO： 源自 MS-COCO，该数据集针对复杂多目标场景中的物体移除。它移除特定物体并保留场景的其他部分，解决了在自然主义设置中进行受控干预的挑战。

3. 目标属性扰动对齐分数 (Targeted Attribute Perturbation Alignment Score, TAPAScore)

该指标测试匹配到的潜变量是否在目标扰动下表现出选择性以及预期的方向性。

对于在属性上存在差异的图像对 $(x, \hat{x})$ ，作者计算与添加或移除的属性相匹配的潜变量联盟的符号响应（signed response）。
TAPAScore 定义为 $\Delta_{add} - \Delta_{rem}$ ，其中 $\Delta$ 代表匹配到的潜变量集合的最大激活值的平均变化。正分表示当属性被添加时潜变量激活增加，当属性被移除时激活减少，从而证实了因果编码的存在。

核心贡献

FBMP 算法： 一种新型的基于联盟的匹配程序，支持潜变量与概念之间的多对一映射。作者证明了 FBMP 一致优于一对一基准，并且能通过现有指标（如特征单语义性分数或 CKNNA）无法通过的合理性检查。
合成基准（synCUB & synCOCO）： 首个用于自然图像中 SAE 评估的干预式基准，实现了受控的属性和物体扰动。
TAPAScore： 一种功能性指标，通过测试扰动下的响应方向性，验证统计匹配是否对应于因果语义编码。
经验性指南： 本研究为从业者提供了可操作的指导，建议使用适度的字典大小，并将 FBMP 与 TAPAScore 结合使用，以获得最优的解释性评估。

实验结果

该框架在应用于 CLIP 和 DINOv2 嵌入的 SAE 上进行了评估，涵盖了不同的字典大小（$128 $到$ 4096$）和 SAE 变体（TopK, BatchTopK, Matryoshka, JumpReLU）。

合理性检查（Sanity Checks）： TAPAScore 和 $\Delta$ MATCHScore（配合 FBMP）是唯一能够可靠区分训练好的 SAE 与未训练或随机基准的指标。其他指标（如 CKNNA 和特征单语义性分数 FMS）表现出有限的敏感性或不一致的行为（例如，CKNNA 在未训练的 SAE 上反而升高）。
匹配性能： 在所有变体中，FBMP 的表现始终优于一对一匹配。 $F_{0.5}$ 版本的 FBMP（侧重于精确度）通常能产生最高的得分。
字典大小的权衡：
- 增加字典大小（过完备性）在一定程度上提高了统计匹配分数（ $\Delta$ MATCHScore），但往往会降低扰动对齐性（TAPAScore）。
- 对于 CUB 数据集上的 TopK SAE，随着字典大小的增加，TAPAScore 先达峰值后急剧下降，这表明较大的字典虽然实现了更好的统计对齐，却未能编码因果有效的概念。
- 中等规模的字典（取决于变体，约为 $256 $–$ 1024$）在语义覆盖范围和功能选择性之间提供了最佳平衡。
相关性： 虽然匹配分数与 TAPAScore 总体呈正相关，但在大型字典下两者出现背离（即匹配度提高但 TAPAScore 下降），这凸显了统计对齐不足以保证可解释性。

意义与主张

本文主张，可解释性不能仅凭架构设计或重建质量来假设；必须针对人类可理解的概念进行显式评估。所提出的框架将可解释性操作化为学习到的特征与注释概念之间的对齐，并通过受控干预进行验证。

作者得出结论，中等规模的字典大小提供了最优平衡，能产生最具解释性的 SAE。他们建议将 FBMP ( $F_{0.5}, k=3$ ) 与 TAPAScore 结合作为默认的评估协议。这项工作强调，增加过完备性可能会降低扰动对齐性，暗示尽管统计指标有所提升，但可解释性却在下降。

作者承认该框架存在局限性，即其质量受限于人类注释的粒度和准确性。他们建议未来的工作可以利用视觉-语言模型自动生成属性，以减少对人工注释的依赖，并探索将 TAPAScore 作为主动模型引导（active model steering）的工具。