🤖 machine learning

Measuring the (Un)Faithfulness of Concept-Based Explanations

该论文指出当前无监督概念解释方法（U-CBEMs）的忠实度评估存在缺陷，并提出了名为 SURF 的新框架，通过引入简单的线性代理和覆盖所有输出类别的评估指标，首次实现了对 U-CBEMs 可靠且公平的忠实度基准测试，揭示了众多视觉上引人注目的方法实际上并不忠实于模型内部计算。

原作者： Shubham Kumar, Narendra Ahuja

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shubham Kumar, Narendra Ahuja

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给 AI 界的“翻译官”们做了一次严格的体检。

想象一下，你有一个超级聪明但性格古怪的AI 大厨（深度学习模型），它能做出世界上最美味的菜肴（识别图片、预测结果）。但是，你问它：“你为什么觉得这道菜是‘红烧肉’而不是‘红烧狮子头’？”它只会用一堆你看不懂的化学分子式（复杂的数学计算）来回答。

为了让普通人也能听懂，科学家们发明了一种叫**“概念解释法”（CBEMs）的工具。这就好比给 AI 大厨配了一位翻译官**。翻译官把那些复杂的化学分子式，翻译成人类能懂的“概念”，比如：“因为这里有肥瘦相间的肉块，还有红色的酱油光泽，所以是红烧肉。”

这篇论文的核心故事就是：这些翻译官真的靠谱吗？它们是在说实话，还是在忽悠我们？

1. 过去的“翻译官”出了什么问题？

以前的翻译官们（现有的无监督概念解释方法，U-CBEMs）声称自己既好懂（解释得很清楚），又忠实（完全反映了 AI 大厨的真实想法）。

但是，作者发现了一个大秘密：这些翻译官的“忠实度”测试，就像是在作弊。

作弊手段一：用太复杂的“考官”来打分。
以前的测试方法，为了证明翻译官很忠实，请了一个超级复杂的“考官”（复杂的代理模型）来重新计算。这个考官太聪明了，它甚至能猜出 AI 大厨的心思。结果就是，翻译官看起来分很高，但这就像是用一个能背下整本字典的考官来考一个只会说“肉”和“酱油”的翻译官，这根本测不出翻译官到底有没有把意思传达到位。
- 比喻： 就像你让一个只会说“苹果”的孩子解释为什么选苹果，然后请一个能背诵整个果园百科全书的教授来打分，教授说“满分”，但这不代表孩子真的理解了果园的运作。
作弊手段二：玩“删删乐”游戏。
另一种测试方法是：把解释里重要的概念（比如“肉”）删掉，看看 AI 大厨会不会变笨。如果 AI 变笨了，就说明解释很忠实。
- 比喻： 这就像把菜谱里的“盐”拿掉，看菜是不是没味道。但问题是，AI 大厨是个怪人，你突然把“盐”拿掉（把数据变得不自然），它可能会因为“没见过这种怪情况”而胡乱猜，而不是因为真的依赖盐。这种测试测的是 AI 的“抗干扰能力”，而不是翻译官的“诚实度”。

2. 作者提出了什么新方案？（SURF）

作者觉得不能再这样糊弄了，于是发明了一个新工具叫 SURF（代理忠实度）。

SURF 的核心思想非常简单粗暴：

不要复杂的考官： 我们只用一个最简单的、直线的“小算盘”来当考官。如果翻译官的解释（概念 + 重要性）连这个简单的小算盘都算不出 AI 大厨的结果，那它肯定不忠实。
不要只盯着“第一名”： 以前的测试只看翻译官有没有猜对“红烧肉”这个第一名。SURF 会看它对整个菜单（所有可能的菜）的预测是否准确。如果它把“红烧肉”猜对了，但把“红烧狮子头”猜成了“炒鸡蛋”，那它依然是不忠实的。
随机测试（测谎仪）： 作者设计了一个“测谎”实验。如果把翻译官的词汇（概念）随机打乱，或者把重要性随机分配，它的分数应该大幅下降。如果分数没变，说明这个测试方法本身就是瞎蒙的。结果发现，以前的很多方法在“乱打乱”的情况下，分数居然没怎么变，说明它们根本测不出真假。

3. 测试结果：令人震惊的真相

作者用这个新工具 SURF 去检查了目前最顶尖的翻译官们（各种 U-CBEMs 方法）。

结果很扎心：
大部分看起来**“视觉效果好”、“解释得很漂亮”的翻译官，其实完全不忠实**！
它们给出的解释，虽然人类看着觉得“哦，原来是因为这个”，但实际上这些解释并没有真正反映 AI 大厨内部是怎么思考的。它们更像是 AI 的“事后诸葛亮”，编造了一个听起来合理的理由，而不是真实的推理过程。

4. 这个发现意味着什么？

别被“花架子”骗了： 以前我们觉得某个 AI 解释方法很厉害，因为它画出的热力图很漂亮，或者列出的概念很直观。现在我们知道，那可能只是“看起来很美”，实际上并没有揭示真相。
概念越少越好（但要有用）： 作者还发现，并不是概念越多解释就越忠实。有时候，用更少但更精准的概念，反而能更真实地反映模型。这就好比，与其列出一百个模糊的理由，不如只说最核心的那两三个。
未来的方向： 以后在开发 AI 解释工具时，不能只追求“让人看懂”，必须先用像 SURF 这样的工具，确保它真的在说实话。

总结

这篇论文就像是一个**“打假专家”**，它揭穿了 AI 解释界的一个大谎言：很多看似高深、直观的“概念解释”，其实并没有真正解释清楚 AI 是怎么工作的。

作者呼吁大家：在追求“好懂”之前，先确保“真实”。 只有通过了像 SURF 这样严格的“诚实度测试”，AI 的解释才能真正让我们信任，特别是在医疗、金融这些不能出错的领域。

这是一篇关于基于概念的解释方法（Concept-Based Explanation Methods, CBEMs）的忠实度（Faithfulness）评估的学术论文。论文指出，现有的无监督基于概念的解释方法（U-CBEMs）虽然声称具有高忠实度，但实际上由于评估指标（代理模型和度量标准）设计不当，导致其忠实度被高估。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：深度视觉模型难以解释。基于概念的解释方法（CBEMs）通过将模型内部计算转化为人类可理解的语义单元（如边缘、颜色、物体部件）来提高可解释性。无监督 CBEMs（U-CBEMs）通过自动发现概念激活向量（CAVs）来避免人工标注的昂贵成本。
核心矛盾：可解释性（Interpretability）与忠实度（Faithfulness）之间存在权衡。忠实度指解释是否真实反映了模型的内部计算。
现有问题：
1. 评估指标缺陷：现有的 U-CBEMs 评估通常使用过于复杂的代理模型（Surrogate），或者依赖“删除基元”（Deletion-based）的代理指标。
2. 虚假的忠实度：复杂的代理模型引入了额外的计算成本，掩盖了解释本身在可解释性上的损失；而删除基元方法（如删除重要概念后观察模型性能下降）存在理论缺陷（如离群数据问题、基线选择问题），无法准确衡量忠实度。
3. 缺乏共识：不同的 U-CBEM 工作使用不同的评估指标，导致无法进行公平比较，且缺乏统一的评估框架。

2. 方法论 (Methodology)

论文提出了一个新的评估框架，名为 Surrogate Faithfulness (SURF)，旨在解决上述问题。

2.1 统一框架分析

作者首先将现有的 U-CBEM 评估方法统一到一个框架中（如图 1 所示），指出它们通常包含三个部分：

概念投影 (Concept Projection)：将中间层表示映射到概念空间。
代理模型 (Surrogate)：利用概念表示重建模型输出。
度量标准 (Metric)：比较原始模型输出与代理模型输出的差异。

作者批评了现有的两类方法：

删除基元 (Deletion-based Proxies)：通过删除概念并观察模型性能下降来评估。作者指出这存在“离群数据（Off-manifold）”问题，即删除后的输入可能不在数据流形上，导致模型行为不可预测，从而产生误导性的忠实度评分。
现有代理模型 (Prior Surrogate-based Measures)：如 ICE 和 C-SHAP 使用的代理模型。
- 缺陷 1：过于复杂（如包含可学习的非线性层或重构嵌入），增加了人类理解解释的负担。
- 缺陷 2：忽略了“概念重要性（Concept Importances）”这一关键组件。
- 缺陷 3：仅评估预测类或真实类的误差，忽略了整个输出分布的误差。

2.2 提出的 SURF 方法

SURF 包含一个简化的代理模型和两个新的度量指标，满足以下设计原则（Desiderata）：

简单性：代理模型必须是线性的，且不可学习参数。
完整性：必须同时利用概念表示（CAVs）和概念重要性分数。
全局性：必须评估所有输出类别的误差，而不仅仅是预测类。

具体实现：

SURF 代理模型：
利用模型最后一层线性层的结构。假设模型最后一层将嵌入 $h$ 映射到输出 $y$ ，SURF 代理模型直接使用 U-CBEM 发现的概念向量 $V$ 和重要性 $A$ 来线性组合预测输出：
$\hat{y}_i = \sum_{j} \sum_{k} \alpha_{i,k} P(h_j; V_i)_k$
其中 $\alpha$ 是概念重要性， $P$ 是投影。该代理模型没有额外参数，直接模拟模型从概念到输出的线性映射。
SURF 度量指标：
1. SURFMAE：Logit 空间（未归一化）的平均绝对误差，衡量所有类别的数值差异。
2. SURFEMD：概率空间（Softmax 后）的地球移动距离（Earth Mover's Distance），衡量概率分布的差异。
  这两个指标共同评估解释在重建整个输出分布方面的能力。

3. 关键贡献 (Key Contributions)

统一框架与批判：系统梳理了现有 U-CBEM 的忠实度评估方法，指出了删除基元方法的不可靠性以及现有代理模型过于复杂、忽略重要性权重和输出分布的缺陷。
提出 SURF：设计了一个简单、线性、无参数的代理模型，并配合全局误差度量指标，作为评估 U-CBEM 忠实度的新标准。
Measure-over-Measure 验证：提出了一种“自洽性检查”（Sanity Check）。如果解释是随机的（概念或重要性随机化），忠实度评分应该下降。实验表明，只有 SURF 能通过此检查，而现有的 ICE 和 C-SHAP 评估方法在随机化设置下仍报告高忠实度（因为它们忽略了重要性权重或使用了复杂的拟合）。
首个全面基准测试：使用 SURF 对当前最先进（SOTA）的 U-CBEMs（包括 CDISCO, ICE, CRAFT, C-SHAP, MCD, HU-MCD, SAE）在多个任务（物体分类、多属性预测、年龄回归）和模型架构上进行了基准测试。

4. 实验结果 (Results)

自洽性检查：
- 在“完美解释”设置下，SURF 和现有方法均表现良好。
- 在“随机重要性”设置下，SURF 检测到忠实度显著下降，而 ICE 和 C-SHAP 未能检测到（因为它们未使用重要性权重）。
- 在“完全随机”设置下，C-SHAP 甚至报告了比完美设置更高的忠实度（反直觉），而 SURF 正确报告了极低的忠实度。
基准测试结果：
- 结论：大多数现有的 SOTA U-CBEMs 并不忠实于原始模型。
- 数据表现：在物体分类任务中，即使是表现最好的 SAE（稀疏自编码器），其概率空间误差（SURFEMD）也高达 0.195，表明存在显著误差。
- 原因分析：
  1. 大多数方法使用类特定的 CAVs 来重建嵌入，导致在跨类重建时出现分布外（OOD）问题。
  2. 许多方法（如 CRAFT, ICE）使用非线性投影，且未满足基于 Logit 的完整性标准。
  3. MCD 和 HU-MCD 通过使用概念子空间（Subspaces）表现稍好，但仍存在误差。
忠实度与简洁性的权衡：
- 通过 SURF 分析发现，增加概念数量并不总是提高忠实度。某些方法（如 CDISCO, CRAFT）在增加概念后性能甚至下降或持平。
- MCD 和 HU-MCD 表现出随着概念增加而提升并趋于平稳的趋势，为选择概念数量提供了依据。

5. 意义与影响 (Significance)

纠正认知偏差：论文揭示了当前领域对 U-CBEMs 忠实度的过度乐观估计，指出许多“视觉上令人信服”的解释实际上无法准确反映模型的计算过程。
建立新标准：SURF 提供了一个简单、可复现且理论依据充分的基准，未来研究应将其作为评估概念解释忠实度的标准指标。
指导未来工作：强调了在追求可解释性时，必须同时考虑忠实度，并建议未来的 U-CBEM 研究应报告 SURF 分数，而不仅仅是可解释性指标。
局限性：SURF 目前主要针对模型最后一层（线性层）设计，对于中间层的非线性解释评估仍需进一步研究。

总结：这篇论文通过严谨的数学推导和实验验证，证明了现有的无监督概念解释方法在忠实度评估上存在严重缺陷，并提出了 SURF 这一更可靠、更简单的评估框架，为可解释 AI 领域的未来发展奠定了更坚实的基础。