🤖 machine learning

When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

本文提出了一种用于医学影像的可解释性分布外（OOD）检测框架，该框架通过利用稀疏自编码器提取类特定概念向量，并利用其扰动诱导的稳定性，基于表征对齐来区分分布内样本与分布外异常，从而增强了安全性。

原作者： Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Anju Chhetri, Pratik Shrestha, Ramesh Rana, Prashnna Gyawali, Binod Bhattarai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《当置信度缺乏概念时》（When Confidence Lacks Concepts）的解释，采用了简单易懂的语言和日常类比。

核心问题：过度自信的机器人医生

想象一个训练有素的机器人医生，它非常擅长通过医学图像（如 X 光片或内窥镜照片）来诊断疾病。它已经学习了数千张健康胃部和特定类型癌症的照片。

然而，这个机器人有一个危险的缺陷：它会过度泛化。如果你给它看一张完全不同的器官、或者一个奇怪的伪影，甚至是一种它从未见过的疾病，它可能仍然会自信满满地宣称：“我完全知道这是什么！”并给出诊断。在现实世界中，这是非常危险的，因为机器人可能会“自信地犯错”。

目前的检测方法试图通过观察机器人的“内部数学逻辑”（例如它的确定程度）来捕捉这些错误。但问题在于，这些内部信号就像一个黑盒。我们知道机器人不确定，但我们不知道为什么。这就像汽车仪表盘上的警告灯显示“发动机故障”，却没有任何详细说明。在医疗领域，我们需要知道机器人为什么不确定，才能信任它。

解决方案：“概念扰动”测试

论文作者提出了一种新的测试机器人的方法，他们称之为 CAPS（类别条件激活扰动）。这种方法不再仅仅观察最终答案，而是通过“拨弄”机器人的大脑，观察其思维的稳定性。

以下是具体的操作步骤：

1. 学习疾病的“词汇量”（SAE）

首先，研究人员教机器人一种新的思考方式。他们使用了一个叫做**稀疏自编码器（Sparse Autoencoder, SAE）**的工具。

类比： 想象机器人通常是在一个巨大的、混乱的“词语汤”中思考。SAE 就像是一个翻译官，将这锅“汤”分解成一个个清晰、独立的“成分”（即概念）。
结果： 对于特定的疾病（例如“幽门”），机器人学会了识别特定的“概念向量”。这些向量就像是关于健康幽门的心理蓝图（例如：“圆形形状”、“粉红色泽”、“特定的开口”）。

2. “如果……会怎样？”测试（扰动）

当机器人观察一个新的患者图像时，它会做出一个猜测。假设它猜是“幽门”。

测试过程： 研究人员提取出那个特定的“幽门蓝图”（概念向量），并轻轻地向这个方向“推”一下机器人对图像的内部表示。这就像是在问机器人：“如果我让这张图片看起来更像一个完美的幽门，你的置信度会发生变化吗？”

3. 稳定性检查（分布内 vs 分布外）

这就是神奇之处所在。研究人员测量了在受到这种“推力”后，机器人的置信度发生了多大的变化。

场景 A：真实的患者（分布内/In-Distribution）
- 情况： 图像实际上是一个真实的幽门。
- 反应： 机器人的大脑已经与“幽门蓝图”对齐了。当你向这个蓝图方向推动时，它几乎没有反应。它的置信度保持稳定。
- 结论： “这是一个安全、已知的样本。”
场景 B：虚假/未知的患者（分布外/Out-of-Distribution）
- 情况： 图像实际上是一个奇怪的伪影或不同的器官，但机器人却猜它是“幽门”。
- 反应： 机器人的大脑实际上并没有与“幽门蓝图”对齐。当你向这个蓝图方向推动时，机器人变得很困惑。由于图像本身并不符合该概念，它的置信度会剧烈波动。
- 结论： “这很可疑！机器人在没有真实依据的情况下进行猜测。将其标记为‘分布外’样本。”

为什么这很重要：从“黑盒”到“玻璃盒”

论文声称这种方法之所以特别，是因为它是可解释的。

旧方法： “机器人不确定。”（我们不知道为什么）。
新方法： “机器人不确定，是因为尽管它猜的是幽门，但图像缺乏定义幽门的特定视觉特征（概念）。”

研究人员在三种类型的医学影像上测试了该方法：

内窥镜（观察胃肠内部）。
组织病理学（在显微镜下观察组织样本）。
眼科（观察视网膜扫描图像）。

专家评价

为了证明他们的“概念”是真实的医学特征而非数学上的胡言乱语，他们将结果展示给了一位人类医生（胃肠病专家）进行验证。

发现： 医生确认，当机器人表现出“稳定性”时，图像确实显示了清晰、真实的医学标志（如阑尾开口或食管 Z 线）。
失效情况： 当机器人表现出“不稳定”（即分布外样本）时，医生确认这些图像缺失了上述标志，或者显示了不属于该处的东西（如位置错误的息肉或软件叠加层）。

总结

这篇论文介绍了一种通过检查 AI 的置信度是否“植根”于真实、可理解的特征来捕捉 AI 错误的方法。

如果 AI 很有信心，且图像符合该置信度的“概念”，那么它很可能是安全的。
如果 AI 很有信心，但图像并不符合该“概念”（导致在测试时产生剧烈反应），那么它很可能是一个错误。

这不仅通过捕捉错误提高了 AI 在医疗等高风险领域的安全性，还通过解释错误可能发生的原因，提升了 AI 的可靠性。

技术摘要：当置信度缺乏概念时：通过表示扰动实现可解释的分布外检测

问题陈述
深度神经网络，特别是在医学影像领域，在面对分布偏移（例如成像协议、患者人口统计学或新型疾病的变化）时，表现出过度泛化的倾向。虽然存在用于缓解不可靠预测风险的分布外（OOD）检测方法，但大多数方法依赖于含义模糊的内部信号（如 Softmax 概率、能量得分或特征距离）。这种缺乏可解释性的现象限制了其在安全至上的临床环境中的信任度，因为在这些场景中，理解为什么一个样本被标记为异常，与检测本身同样重要。本文旨在解决一种既具有判别性又具有可解释性的 OOD 检测框架的需求，该框架能够将检测决策与特定的、具有临床意义的概念联系起来。

方法论：类条件激活扰动 (Class-conditioned Activation Perturbations, CAPS)
所提出的 CAPS 框架通过探测模型预测在表示空间内进行类条件语义扰动下的稳定性来运行。该方法分为三个阶段：

稀疏自编码器 (SAE) 训练：
作者利用稀疏自编码器将稠密的中间激活（具体为 Vision Transformer 的 [CLS] token）分解为稀疏且具有语义意义的分量。SAE 学习一个稀疏潜变量表示 $s(h)$ 和一个解码器 $D$ ，使得原始激活 $h$ 可以由解码器列（特征）的线性组合来近似。训练目标是在重建保真度与稀疏性之间取得平衡（ $L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$ ）。
类特定概念提取：
对于每个类别 $c$ ，作者通过计算分布内（ID）训练样本上的平均潜变量激活，来识别具有特征性的 SAE 潜变量子集。选择具有最高平均激活的前 $k$ 个潜变量维度，以构建类特定概念字典 $K_c$ 。这些解码器列代表了编码类别定义特征的线性方向。
扰动与稳定性分析：
在推理阶段，对于测试输入 $\bar{x}$ ，模型首先预测一个类别 $\hat{y}$ 。对应的概念向量 $v_{\hat{y}}$ 通过聚合并归一化所选的类别概念向量来构建。随后，该向量通过受控扰动注入到模型的第 $l$ 层中间激活中： $\tilde{h}_l = h_l + \beta v_{\hat{y}}$ ，其中 $\beta$ 控制扰动强度。

核心假设是：符合类别特定语义方向的 ID 样本对这些扰动的敏感度较低（导致类别 Logit 的变化较小）。相反，缺乏与这些学习到的方向对齐能力的 OOD 样本会表现出放大的 Logit 偏差。OOD 检测分数定义为 Logit 偏移 $\Delta \ell_c$ 的幅度。超过阈值 $\tau$ （在留出 ID 集上校准）的样本被分类为 OOD。

核心贡献

新颖框架： 提出了 CAPS，一种利用表示空间中的概念级扰动而非模糊输出分数的 OOD 检测方法。
跨领域评估： 在三种不同的医学影像模态上进行了广泛评估：内窥镜（Kvasir-v2）、组织病理学（NCT-CRC-HE-100K/CRC-VAL-HE-7K）和眼科影像（视网膜 OCT）。
临床可解释性： 证明了提取的 SAE 特征对应于具有临床意义的视觉模式（例如，解剖学标志如幽门开口，或生理特征如胆汁染色），并通过了盲测临床专家评审。

结果
该方法使用 AUROC 和 FPR95 指标在最先进的基准方法（包括 Energy, MSP, Mahalanobis, ViM 和 NERO）基础上进行了评估：

组织病理学： CAPS 取得了最佳性能，AUROC 为 95.28%，FPR95 为 23.17%。
OCT： CAPS 取得了 93.67% AUROC 和 24.80% FPR95，优于所有基准方法。
Kvasir-v2 (内窥镜)： 该方法达到了 79.58% AUROC。作者将其适中性能归因于数据集规模较小（2,400 个样本），这限制了 SAE 学习高度判别性、类别特定方向的能力，相比之下，组织病理学和 OCT 的数据集较大（>50k 个样本）。
鲁棒性： 敏感性分析表明，对于具有充足数据的数据集，该方法在广泛的超参数（ $k$ 和 $\beta$ ）范围内是稳定的，但在低数据量的 Kvasir-v2 情景下观察到了不稳定性。

意义与主张
论文声称 CAPS 提供了一个“判别性的 OOD 信号，以及一个透视驱动模型不确定性的内部机制的可解释视角”。通过将 OOD 检测构建为一种概念条件的稳定性分析，该方法弥合了高水平检测性能与临床信任之间的鸿沟。作者证明，OOD 样本被检测出来不仅是因为它们“不同”，更是因为它们缺乏驱动分布内类别产生置信预测的特定、经专家验证的语义特征。

作者对局限性保持了谦逊的态度，承认在低数据量环境下，捕捉语义连贯方向的难度可能会影响可靠性。他们认为，虽然模态级预训练有所帮助，但开发更鲁棒的 SAE 训练策略以适应数据受限的医疗环境，仍是未来工作的一个必要方向。这项工作被视为将表示层可解释性与深度神经网络可靠性评估相统一的一步。