💻 computer science

Explaining Image Similarity with Automatically Extracted Concept Activation Vectors

本文介绍了一种与模型和指标无关的框架，该框架通过稀疏自编码器自动提取概念激活向量来解释图像相似性，从而能够针对单个图像对和图像组，提供关于驱动相似性评分的具体概念（如纹理、形状或颜色）的忠实且具解释性的见解。

原作者： Isaac Roberts, Petra Bevandic, Alexander Schulz, Barbara Hammer

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Isaac Roberts, Petra Bevandic, Alexander Schulz, Barbara Hammer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一座巨大的、隐形的图书馆里，这里的每一本书都是一张图像。在这座图书馆里，书并不是按标题或作者来组织的，而是根据它们彼此之间的“感觉”来排列。一张金毛寻回犬的照片可能会紧挨着一张蓬松猫的照片，不是因为它们是同一种动物，而是因为它们共享某种“蓬松”的氛围。这就是当今计算机看待世界的方式：它们将图像转化为秘密代码（称为嵌入），并通过测量这些代码之间的距离来判断两张图片是否相似。这就是寻找丢失照片、识别面部或推荐完美穿搭背后的魔力。但棘手的地方在于：计算机可以告诉你两张图片很相似，但它往往无法告诉你“为什么”。这就像一个朋友说：“这两首歌听起来很像，”却拒绝解释是因为鼓点、歌手的声音，还是节奏。长期以来，科学家们一直试图通过在图像上高亮显示亮点点的地图来窥探幕后的奥秘，但这些地图往往会忽略大局，比如导致相似性的具体“成分”（如纹理或形状）。

这篇论文介绍了一种解决这一谜团的新颖且聪明的方法。作者 Isaac Roberts 及其团队构建了一个系统，它就像是一个图像的“风味检测器”。该系统不再仅仅观察图像，而是将图像的秘密代码分解为其基本的构建模块，他们称之为“概念”。把这些概念想象成和弦中的单个音符：一个音符可能是“条纹”，另一个是“红色”，还有一个是“圆形”。该团队使用一种特殊的工具（稀疏自编码器）来自动寻找这些音符，而无需人类去教它们是什么。一旦有了这份音符清单，他们就玩了一个小游戏：他们从图像的代码中抽走一个特定的音符，然后观察“相似度得分”下降了多少。如果抽走“条纹”这个音符会让两件衬衫在计算机眼中看起来完全不同，那么条纹就是它们相似的主要原因。他们在数千张图像上进行了测试，发现他们的方法比以往猜测的方法要可靠得多。他们展示了通过直接调整秘密代码，他们可以解释为什么一件条纹衬衫与另一件条纹衬衫相匹配，即使它们的颜色不同。他们甚至利用这一点找到了共享相同“理由”而非仅仅是相同外观的图像组，证明了他们的“风味检测器”可以帮助我们理解计算机如何看待世界的隐藏逻辑。

技术摘要：通过自动提取的概念激活向量解释图像相似性

问题陈述

图像相似性是众多计算机视觉应用的基础组成部分，包括图像检索、人脸识别和时尚兼容性分析。虽然相似性通常在预训练深度网络的潜在嵌入空间（latent embedding spaces）中进行度量，但特定相似性得分背后的原理仍然是不透明的。现有的可解释性（xAI）方法主要针对单输入分类任务设计，难以为本质上需要两个输入的相似性函数提供全局洞察。目前的方法通常依赖于基于梯度的归因图或人工定义的属性（例如“条纹”或“颜色”）来生成显著性图（saliency maps）。这些方法面临两个主要局限性：

缺乏全局洞察： 它们往往无法解释是什么具体驱动了整个嵌入空间区域（例如纹理 vs 形状）的相似性。
依赖人工定义： 它们通常需要预定义的概念数据库或专门标记的数据集，这限制了它们在面对新领域或新模型时的适用性。
分布忠实度： 在原始像素空间中的扰动（例如掩码/masking）往往会将输入推离数据流形（data manifold），导致解释结果不可靠。

方法论

作者提出了一种模型和度量无关的框架，该框架利用通过稀疏自编码器（Sparse Autoencoders, SAEs）自动提取的概念激活向量（Concept Activation Vectors, CAVs）来解释图像相似性。该方法由三个主要步骤组成：

1. 稀疏字典学习（概念提取）

给定数据集 $\mathcal{X}$ 和嵌入函数 $g: \mathcal{X} \to \mathbb{R}^d$ ，作者将激活矩阵 $A$ 分解为权重矩阵 $U$ 和概念字典 $V$ 。这是通过最小化 Frobenius 范数来实现的：
$(U, V) = \arg \min_{U,V} \|A - UV^\top\|_F^2$
此过程利用各种 SAE 形式（Top-K、JumpReLU 和 Vanilla SAE）来学习一个无需人工标注的概念字典。每个激活都可以近似为这些学习到的概念的线性组合。

2. 用于成对解释的潜在空间扰动

为了解释两个图像（其嵌入分别为 $a_i$ 和 $a_j$ ）之间的相似性，该方法沿学习到的概念方向扰动嵌入。通过测量移除概念贡献时相似性函数 $f$ 的变化，来确定特定概念 $c_k$ 的重要性：
$e_l^k(a_i, a_j) = (f(a_i, a_j) - f(a_i/c_k, a_j)) + (f(a_i, a_j) - f(a_i, a_j/c_k))$
其中 $a_i/c_k = a_i - u_{i,k}v_k^\top$ 。这种对称方法确保了解释考虑了来自两个输入的贡献。结果是一个表征共享和不同属性的局部解释向量。

3. 群组级解释与样本检索

该框架通过对群组 $G$ 中的局部解释求平均，扩展到了群组设置：
$e_G = \frac{1}{\binom{|G|}{2}} \sum_{i,j \in G, i<j} e_l(a_i, a_j)$
这使得分析嵌入空间中的聚类成为可能。此外，作者引入了**样本检索（Exemplar Retrieval）**任务：给定一个查询-参考对，系统会检索出具有相同底层“原因”（即相似的解释向量）而非仅仅是相似整体外观得分的其他图像对。

核心贡献

新颖框架： 一种基于自动提取 CAVs 的模型和度量无关的图像相似性可解释性框架，实现了无需预定义概念数据库的成对及群组级分析。
基于相似性的归因： 一种直接从相似性函数导出概念重要性得分的方法，能够提供定位（通过热力图）和概念影响的量化。
忠实的扰动： 实验证据表明，潜在空间扰动比输入空间掩码策略（如模糊、随机掩码）更忠实于底层数据分布，产生的离群值（OOD）嵌入更少。
可操作的洞察： 引入了样本检索和群组分析，允许用户基于语义概念理解并操纵相似性判断。

实验结果

作者在 VITON-HD（时尚）数据集和合成的 Multi-CIFAR-10 Collage 数据集上评估了其方法，使用了六种视觉骨干网络（DINOv2, DINOv3, ResNet50, ConvNeXt, ViT, SigLIP）。

概念验证： 在合成数据集上，该方法成功保持了相似性函数的对称性。训练好的字典在进行概念交换后，实现了约 90% 的原始相似性得分恢复率，其中 Top-K SAEs 的偏差最低。
分布忠实度： 在所有测试模型中，潜在空间扰动实现的 Wasserstein (W1) 和 OOD 得分始终低于输入空间掩码策略（如模糊、随机掩码）。这证实了潜在空间扰动能更好地保持在数据流形附近。
线性可恢复性： 在解释向量上训练的线性回归模型能够高精度地预测原始相似性得分（对于余弦和欧氏距离， $R^2 > 0.87$ ），优于 CSIM、基于模糊的向量以及基于梯度的归因等基准方法。
定性效用： 在案例研究中，该方法成功识别了相似性的语义驱动因素（例如“条纹”、“领口”），并实现了基于共同概念（例如为条纹衬衫查询检索条纹衬衫）的样本检索。

意义与主张

论文声称，与其现有方法相比，其方法为图像相似性提供了更忠实且更具可解释性的理解。通过在潜在空间中运行，该方法避免了输入空间扰动经常产生不真实图像的缺陷。作者强调，该框架是自动化的（无需手动定义概念），并且是灵活的（适用于任何预训练模型和相似性度量）。

其意义在于能够超越“模型关注哪里”（显著性）而转向“哪些语义特征驱动了相似性”。作者将这项工作定位为迈向可操作洞察的一步，允许模型设计者识别并可能减轻不希望出现的相似性驱动因素（例如背景伪影），并实现基于特定语义原因的进阶检索任务。然而，作者也谦虚地指出，其方法假设通过 CAVs 对嵌入空间进行线性重建，这是一种一阶近似，且 SAE 的稳定性仍是一个需要考虑的问题。