💻 computer science

On the Faithfulness of Post-Hoc Concept Bottleneck Models

本文揭示了事后概念瓶颈模型（Post-Hoc Concept Bottleneck Models）由于协变量偏移和标签噪声，可能会在学习到语义无关的概念投影的同时仍实现高预测准确率，并提出了旨在将概念忠实度与任务性能解耦并进行独立评估的新型指标。

原作者： Laines Schmalwasser, Jan Blunk, Niklas Penzel, Julia Niebling, Joachim Denzler

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Laines Schmalwasser, Jan Blunk, Niklas Penzel, Julia Niebling, Joachim Denzler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但神秘的厨师（深度学习 AI），他能做出美味佳肴（解决复杂问题），却拒绝告诉你为什么食物味道这么好。你问：“是因为盐？是热度？还是某种特定的胡椒？”厨师只是耸耸肩说：“我就是知道这样行得通。”

为了解决这个问题，科学家们发明了“概念瓶颈”（Concept Bottleneck）。这就像是强迫厨师在端出菜肴之前，必须先写下一份食材清单（概念）。例如，在预测“鸟”之前，AI 必须先识别出“黄色腹部”和“黑色冠羽”。如果 AI 把食材找对了，我们才会信任它的最终决定。

最近，一种被称为“事后概念瓶颈模型”（Post-Hoc Concept Bottleneck Models）的方法变得流行起来。这些模型不是从零开始教 AI 学习食材，而是尝试在 AI 已经学会烹饪后，去“猜”出食材。它们使用两种主要技巧来猜测食材：

“似是而非”技巧： 它们观察一本不同的、带有预先标注标签的食谱（辅助数据集），并尝试将那些食材规则应用到新的菜肴上。
“AI 助手”技巧： 它们向一个超级聪明的 AI 助手（视觉语言模型，如 CLIP）请教，让它为自己描述食材。

问题所在：
作者们发现了一个可怕的事实：仅仅因为 AI 做出了正确的菜肴（高准确率），并不意味着它真的掌握了食材。

他们发现，AI 有时即使在使用完全随机、毫无意义的“食材”时，也能得到正确答案。这就像一位厨师通过抛硬币偶然猜中了食谱，而你却以为他是一位大师级厨师。

论文指出了这些“食材猜测者”欺骗我们的两种具体方式：

1. “错位厨房”问题（协变量偏移）

想象一下，你教一位厨师通过一本充满超市里完美、光鲜苹果的食谱来识别“红苹果”。然后，你要求他在一个杂乱的现实果园里识别“红苹果”，那里的苹果可能布满了瘀伤且沾满泥土。

尽管概念仍然是“红苹果”，但苹果的“外观”已经改变了。论文表明，如果“训练厨房”（辅助数据集）与“现实厨房”（目标任务）看起来差异太大，AI 的食材清单就会变得不再真实。它可能会开始认为“红色”意味着“受损的表皮”，因为这是它在训练书里看到的。

解决方案： 作者创建了一个“压力测试”。我们测量这两个厨房看起来有多么不同。如果测试显示两个厨房差异巨大，我们就知道 AI 的食材清单很可能是不靠谱的，即便最终的菜肴味道还不错。

2. “有偏见的助手”问题（系统性标签噪声）

现在，假设你请一位 AI 助手来描述你的食材。如果这个助手会犯随机错误（有时把“正方形”说成“圆形”，有时又把“圆形”说成“正方形”），厨师可能仍然能应付过来，因为这些错误会互相抵消。

然而，论文发现了一个更严重的问题：系统性偏差。
如果助手在看到“水”的时候，总是会说“船”，即使那里并没有船；或者如果它总是将“天空”与“云朵”联系在一起。厨师就会学到这个错误的规则：“如果我看到水，我就必须说‘船’。”

AI 不仅仅是在犯随机错误，它正在学习一个一致的谎言。因为这个错误每次都以相同的模式发生，厨师（主 AI）就会认为这个谎言是一个真实的食材。最终的菜肴可能依然美味（高准确率），但食材清单完全是伪造的。

解决方案： 作者创建了一个新的“测谎仪”。我们不仅检查助手是对是错，还要检查助手的错误是否与厨师的观察结果相关联。如果错误总是发生在厨师看到特定模式的时候，系统就会标记该食材清单为不真实。

核心启示

这篇论文认为，我们不能仅仅因为 AI 在测试中获得了高分就信任它们。高分是一种幻觉。

随机猜测有时也能获得高分。
错位的厨房会导致虚假的食材。
有偏见的助手会教给 AI 一致的谎言。

作者提供了新的工具（指标），让我们能够窥探幕后，检查 AI 究竟是在理解概念，还是仅仅在通过记忆模式来获取高分。他们证明了，要真正信任一个 AI，我们必须直接检查“食材”，而不仅仅是看最终菜肴的“味道”。

技术摘要：论事后概念瓶颈模型的忠实性

问题陈述

事后概念瓶颈模型（post-hoc CBMs）旨在通过将潜在特征投影到可解释的概念空间，来弥合不透明深度学习表示与人类理解之间的鸿沟。与标准 CBM 不同，事后变体不需要目标任务的密集概念标注；相反，它们依赖于 (1) 辅助概念数据集（如 Broden）或 (2) 由视觉语言模型（VLMs）生成的代理概念标签。

本文解决的核心问题是，目前的评估实践过度依赖下游任务的准确率来判断这些模型的成功。作者认为，高准确率对于衡量概念忠实性（concept faithfulness）——即学习到的投影 $\pi_\theta$ 在多大程度上真正提取了预期的语义概念——而言，是一个不足够的指标。经验证据表明，由于信息保持特性（与 Johnson-Lindenstrauss 引理相关），随机的、无语义意义的投影可以获得具有竞争力的下游准确率，从而掩盖了模型究竟是在通过概念进行推理，还是仅仅在利用预测伪影。

方法论

理论框架

论文将忠实性形式化为最小化在真实任务分布 $P_{task}(x, c)$ 上的期望风险，其中投影 $\pi_\theta$ 从激活值 $f(x)$ 中恢复出基准概念 $c$ 。作者确定了两个主要的失真来源：

辅助数据集中的协变量偏移（Covariate Shift）： 当在与目标任务 $X_{task}$ 不同的辅助数据集 $X_{aux}$ 上训练 $\pi_\theta$ 时，特征空间中的几何偏移可能会使投影失效。作者基于领域自适应理论 [8] 推导了目标泛化误差的上界：
$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$
他们建议使用经验 $\mathcal{H}\Delta\mathcal{H}$ -散度（通过领域判别器近似）作为一种实际的忠实性度量，并假设存在协变量偏移（即 $P(c|x)$ 保持不变，但 $P(x)$ 发生变化）。
代理监督中的系统性标签噪声： 当使用 VLM 生成代理标签 $\tilde{c}$ 时，不忠实性不仅源于误差的大小，更源于系统性误差。通过将投影建模为多元广义线性模型（GLM），作者表明在代理最优解处的真实目标函数的梯度，与代理误差 $\delta(x) = \tilde{c}(x) - c^*(x)$ 与骨干网络激活值 $f(x)$ 的外积成正比。
- 忠实性条件： 如果代理误差是准确的（ $\delta \approx 0$ ）或者是期望上与激活空间正交的（ $\mathbb{E}[\delta(x) \otimes f(x)] = 0$ ），则模型保持忠实。
- 失效模式： 系统性误差（例如，VLM 在出现“云”时总是预测“天空”）会产生非正交的误差分量，导致即使代理标签在平均意义上看起来很准确，也会导致不忠实的投影。

提出的度量指标

为了将忠实性与预测准确率解耦，作者引入了：

$\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ 散度： 使用辅助数据集时引入的协变量偏移误差的代理指标。
代理误差正交性： 代理标签误差与骨干网络激活值之间的绝对皮尔逊相关系数 $|\rho|$ 。高相关性意味着系统性失败。

实验设置

作者在以下内容上验证了其发现：

现实世界基准测试： CUB-200（鸟类）和 CIFAR-10/100。
合成数据集： Elements [48]，该数据集提供了地面真值概念标注（形状、颜色、纹理）以直接测量对齐情况。
模型： 各种事后 CBM 实现，包括 PCBM（辅助数据）、LFCBM（VLM 文本嵌入）和 VLG-CBM（落地目标检测）。

关键结果

准确率具有欺骗性： 实验证实，随机概念投影可以实现与使用有意义概念源（如 Broden, CLIP）训练的模型相当的下游准确率。随着瓶颈维度 $K$ 的增加，随机投影保留了足够的几何信息，使得下游分类器能够重建原始激活值，从而使准确率成为不可靠的代理指标。
协变量偏移的影响： 在分布外（OOD）辅助数据（如抽象图案）上训练的模型，尽管保持了高下游准确率，但其概念忠实性（通过与地面真值的余弦相似度衡量）显著降低。所提出的 $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ 指标与这种忠实性的下降强相关。
系统性噪声 vs. 随机噪声：
- 随机噪声： 在地面真值数据中加入 25% 的随机标签噪声不会破坏忠实的投影，因为误差会相互抵消（正交性成立）。
- 系统性噪声： VLM（CLIP, DINOv3, Grounding DINO）会引入与特定特征相关的系统性误差。例如，Grounding DINO 在白色背景上的几何形状识别方面表现不佳，产生了相关的误差，导致不忠实的投影。所提出的相关性指标成功识别了这些在标准准确率指标失效时仍能发现的问题。

意义与主张

本文声称提供了第一个用于独立于预测性能评估事后 CBM 忠实性的严谨理论和经验框架。

理论贡献： 它形式化了随机投影如何模仿语义推理的条件（通过流形 Johnson-Lindenstrauss 引理），并推导了代理监督失效的具体条件（误差正交性）。
实践贡献： 它引入了新的度量标准，使从业者能够检测到通过标准准确率评估无法察觉的不忠实行为——特别是协变量偏移和系统性 VLM 偏差。
启示： 作者认为，仅依赖下游准确率会创造一种可解释性的“幻觉”。真正的可解释性需要直接检查概念投影 $\pi_\theta$ ，以确保其与人类语义对齐，这必须使用所提出的忠实性度量。

这项工作并非提出新的训练算法，而是提供了一个批判性的评估框架，以确保概念瓶颈模型（CBM）中的“瓶颈”确实是人类可理解的概念，而非原始特征的压缩表示。