ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

技术摘要：ConceptSMILE —— 审计基于概念的可解释人工智能的可信度

问题陈述
虽然基于概念的可解释人工智能（C-XAI）旨在通过高层概念（例如临床生物标志物、物体或语义属性）来表达预测，从而使模型推理更符合人类理解，但这些概念的存在并不自动保证解释的可信度。模型可能会产生看似合理但在实际操作中依赖于伪相关、不稳定特征、标签泄漏或非因果捷径的概念级输出。在医学影像等高风险领域，概念解释可能在视觉上易于理解，却无法忠实反映模型的实际行为。现有的评估实践往往缺乏一个统一的框架，来独立审计基于概念的解释在受控扰动下是否保持准确性、忠实度、稳定性和一致性。

方法论：ConceptSMILE 框架
本文介绍了 ConceptSMILE（基于概念层级的统计模型无关局部解释），这是一个模型无关的、基于扰动的审计框架，旨在评估基于概念解释的可靠性。ConceptSMILE 并非取代现有的解释方法，而是将 SMILE（基于统计的模型无关局部解释）从特征或区域层级的归因扩展到了对人类可理解概念解释的审计。

该框架通过以下流水线运行：

1. 概念提取： 它从目标模型或解释路径中提取概念层级的输出。在本研究中，审计了两种不同的路径：
   • 基于 MedSAM 的视觉路径： 使用医疗分割一切模型（Medical Segment Anything Model）生成分割引导的视觉概念（病灶、血管、视盘）。
   • 基于 VLM 的语义路径： 使用视觉语言模型（Qwen2.5-VL）配合结构化提示词，为相同的视网膜概念生成语义概念响应。
2. 受控扰动： 将输入图像划分为超像素（superpixels）。通过掩蔽特定的超像素区域（将其设为黑色）来生成受控扰动，从而创建一个扰动样本的局部邻域。
3. 响应偏移测量： 框架测量原始输入与扰动输入之间概念响应的变化量 ($\Delta y$)。
4. 局部加权： 根据扰动样本在嵌入空间（使用 DINOv2）中与原始输入的距离（余弦距离或 Wasserstein 距离），为扰动样本分配局部权重。距离较近的扰动获得更高的权重。
5. 代理模型： 拟合一个局部的 XGBoost 代理模型，以近似扰动模式与概念响应偏移之间的关系。该代理模型捕捉了输入修改与概念置信度之间的非线性关系。
6. 多维度可靠性评估： 框架从五个维度评估可靠性：
   • 归因准确度（Attribution Accuracy）： 识别出的重要区域是否与具有临床意义的证据相符（通过 ACC、F1、AUROC 衡量）。
   • 忠实度（Fidelity）： 代理模型近似观察到的概念响应偏移的程度（通过 WMSE、WMAE、$R^2$、$R^2_w$ 衡量）。
   • 忠实性（Faithfulness）： 当概念相关区域受到扰动时，概念响应是否发生显著变化（通过 Pearson 相关系数衡量）。
   • 稳定性（Stability）： 对非临床伪影（如添加的日期或 Logo）的鲁棒性，通过 Jaccard 指数重叠度进行测量。
   • 一致性（Consistency）： 在相同设置下重复运行解释时的可复现性（通过方差和标准差衡量）。

核心贡献

• 概念级审计： 引入了 ConceptSMILE，作为一个专门设计用于审计基于概念的解释之可信度的基于扰动的框架，实现了从视觉合理性向可测量可靠性的跨越。
• SMILE 的扩展： 将 SMILE 的逻辑从超像素层级的归因重新表述为使用受控扰动、局部加权和代理模型进行的概念级可靠性测试。
• 模型无关的验证： 在视网膜眼底图像上展示了该框架的功能，通过两种不同的概念提取路径（MedSAM 和 VLM）进行了对比分析，验证了视觉概念与语义概念的可靠性差异。

实验结果
该框架在来自四个公开数据集（HRF、APTOS、ODIR、IDRiD）的视网膜眼底图像上进行了评估，重点关注三个概念：病灶、血管和视盘。

• 代理忠实度： 与 VLM 路径相比，MedSAM 路径实现了显著更强的代理忠实度（使用 Wasserstein 加权的 XGBoost 时，$R^2 = 0.8503$，$R^2_w = 0.8465$）。这表明，在超像素扰动下，基于分割引导的视觉概念具有更具局部可预测性的响应。
• 归因准确度： MedSAM 在处理血管和视盘等定义明确的结构时，表现出更强的空间归因准确度。基于 VLM 的语义解释则表现出更高的变异性且空间精确度较低。
• 忠实性： VLM 路径在所有数据集上对血管概念展现出更强且在统计学上更显著的忠实性（$r \approx 0.58-0.71$），而 MedSAM 在多个数据集中对病灶概念展现出更强的忠实性。这表明可靠性是依赖于概念而非依赖于路径的。
• 稳定性： 稳定性因概念和伪影类型而异。MedSAM 的视盘解释对添加日期的伪影具有高度稳定性（$J_D \approx 0.96-0.98$），而 VLM 的病灶解释在日期和 Logo 伪影下均表现出高稳定性。
• 一致性： 可复现性在不同路径间并不统一。MedSAM 的视盘解释在 HRF 和 ODIR 上具有高度一致性，而 VLM 的病灶解释在 ODIR 和 IDRiD 上最为一致。
• 鲁棒性： 在采集伪影（对比度变化和模拟眨眼遮挡）下，血管和病灶解释通常保持正向的代理忠实度，而视盘解释表现出较高的变异性以及偶尔出现的负 $R^2$ 值。

意义与主张
本文主张 ConceptSMILE 提供了一个独立的审计层，用于评估基于概念的 XAI 的可信度。其主要意义在于证明了：

1. 可解释性 $\neq$ 可信度： 人类可理解的概念并不本质上可靠；它们必须针对准确性、忠实性、稳定性和一致性进行审计。
2. 可靠性具有上下文依赖性： 没有单一路径或概念是普遍优越的。MedSAM 在处理结构化解剖结构时，在空间归因和代理忠实度方面表现出色；而 VLM 则可以在特定语义概念（如血管）上表现出较强的忠实性和对某些伪影的稳定性。
3. 审计的必要性： 在高风险环境中，基于概念的解释应被视为可测试的声明。ConceptSMILE 提供了一种协议，用于在依赖这些解释进行关键决策之前，识别出脆弱、基础薄弱或不一致的解释。

作者明确指出，ConceptSMILE 并不提供临床认证或因果证明，而是提供定量的审计证据，以帮助研究人员和临床医生区分“表象的可解释性”与“有据可依的可靠性”。