⚡ electrical engineering

MARVEL: Margin-Aware Robust von Mises-Fischer Expert Learning for Long-Tailed Out-of-Distribution Detection

该论文提出了 MARVEL，这是一个结合了非线性 von Mises-Fisher 分类器、用于处理类别不平衡的多专家架构以及专门的离群值专家的创新框架，旨在显著提高长尾医学影像数据集中鲁棒的分布外检测能力。

原作者： A. S. Anudeep, Vaanathi Sundaresan

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： A. S. Anudeep, Vaanathi Sundaresan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在招聘一支由专家医生组成的团队来诊断患者。你希望他们对常见疾病（如流感或骨折）具有极高的识别准确率，同时又足够聪明，在看到完全陌生或奇怪的事物时，能够说出：“我不知道这是什么。”

问题在于，正如这篇论文所解释的，标准的 AI “医生”（深度学习模型）在这方面表现得很糟糕。它们是在数据中常见疾病随处可见、而罕见疾病几乎不存在的情况下进行训练的。因此，AI 会对常见事物过度自信，甚至在面对罕见病例，甚至是完全不是医学图像的东西（比如一张猫的照片）时，也会自信地给出一个错误的标签。这就像是一个只见过流感患者的医生，当看到一张腿骨折的照片时，却自信满满地说：“这绝对是流感！”

来自印度科学理工学院（Indian Institute of Science）的作者们提出了一个名为 MARVEL 的新系统来解决这个问题。他们构建了一个专门为应对现实世界医疗数据中那种混乱、不平衡的现状而设计的 AI 专家“超级团队”。

以下是 MARVEL 的工作原理，分为三个简单的部分：

1. “变幻形状”的分类器 (NvMF)

大多数 AI 分类器试图通过画直线来区分不同的疾病。想象一下，你要通过在桌上画一条直线来分类一堆混合在一起的弹珠（红色、蓝色和绿色）。如果红弹珠聚集成一团，而蓝弹丸则以一种奇怪的形状散开，那么直线就没用了。

作者创建了一种新型分类器，称为 NvMF。它不再画直线，而是可以绘制弯曲且灵活的边界。你可以把它想象成使用一根有弹性的橡皮筋而不是一把尺子。这使得 AI 能够紧紧包裹住复杂、形状奇特的罕见疾病群体，从而更好地将它们与常见疾病区分开来。

2. “专家团队” (边际感知多专家系统)

在真实的医院里，你不会要求一位医生平等地处理所有事情。你会有一位负责普通感冒的专家，一位负责罕见遗传疾病的专家，还有一位负责急诊创伤的专家。

标准 AI 试图成为一名“全科”医生，这导致它会忽略那些数量稀少的罕见病例。MARVEL 通过聘请一个由三位专家组成的团队解决了这个问题：

头部专家 (The Head Expert)： 专注于常见疾病，以确保基础诊断万无一失。
尾部专家 (The Tail Expert)： 专门关注罕见疾病，给予它们额外的关注，以免被忽视。
平衡专家 (The Balanced Expert)： 试图寻找一个中间地带。

通过结合这三位专家的意见，该系统不仅仅是根据什么最常见来进行猜测，它还会积极倾听罕见病例的声音。

3. “局外人检测器” (异常值专家)

有时，输入的内容不仅仅是某种罕见疾病，而是根本不属于医院的东西（比如一张汽车或风景的照片）。

MARVEL 拥有团队的第四名成员：一位专门的异常值专家 (Outlier Expert)。这位专家的唯一职责就是观察一张图像，并询问：“这是一张来自我们训练集的医学图像，还是某种完全陌生的东西？”它就像守在门口的保安，在其他医生尝试进行诊断之前，先过滤掉这些“局外人”。

结果：效果如何？

作者在三种不同类型的医学影像上测试了这个系统：

眼底扫描 (RFMiD)
皮肤病变照片 (ISIC2019)
组织样本 (NCTCRC)

他们将 MARVEL 与现有的最佳方法进行了对比。结果非常明确：

更擅长发现奇怪的事物： 当 MARVEL 看到它未曾见过的事物时，它能更好地表达“我不知道”。事实上，在某些测试中，它将误报率（即认为奇怪的图像是正常疾病的概率）降低了高达 36%。
对罕见疾病更公平： 虽然其他系统在诊断常见疾病方面表现出色，但在罕见疾病面前却表现得一塌糊涂，但 MARVEL 实现了两者兼顾。它并没有为了帮助罕见病例而牺牲常见病例，而是提升了整个团队的表现。
更诚实的置信度： 当系统不确定时，它真的承认了这一点。其他系统往往会过度自信，即使在出错时也会进行盲目猜测。MARVEL 的“置信度评分”要可靠得多。

核心结论

论文指出，为了让 AI 在真实的医院中安全且有用，它需要处理某些疾病很罕见以及某些输入很奇怪的情况。MARVEL 通过使用灵活的“橡皮筋”分类器、专注于问题不同部分的专家团队，以及一个识别局外人的专用保安来实现这一点。

作者得出结论，这种方法使 AI 诊断更加安全，因为它能够可靠地识别不熟悉的病例，并将它们移交给人类医生，而不是自信地做出错误的判断。他们已经公开了代码，供他人使用和改进。

技术摘要：MARVEL —— 用于长尾分布分布外检测的边际感知鲁棒 von Mises-Fischer 专家学习

问题陈述
深度神经网络（DNNs）在医学影像领域取得了高性能，但在实际部署中面临显著的可靠性挑战。两个主要问题加剧了这一点：

分布外（OOD）检测失败： DNNs 在处理 OOD 输入（例如不同的解剖区域、模态或非放射学图像）时，往往会产生过度自信且错误的预测，从而带来安全风险。
长尾类别不平衡： 医学数据集通常遵循长尾分布，即少数“头部”类别占据主导地位，而大量“尾部”类别则非常稀少。这种偏差导致模型过拟合于头部类别，从而导致对尾部类别的表示学习能力较差。因此，尾部样本常被误分类为 OOD，或者真实的 OOD 样本会与尾部类别混淆，因为它们在决策边界附近的特征簇存在重叠。

现有文献通常假设数据集是平衡的，在粗粒度的自然图像基准上评估 OOD 检测，或者未能解决类别不平衡与分布不确定性之间的相互作用。

方法论：MARVEL 框架
作者提出了 MARVEL（边际感知鲁棒 von Mises-Fischer 专家学习），这是一个旨在处理具有长尾分布的医学影像 ID 分类及 OOD 检测的框架。该架构由一个共享特征提取器和一组专门的专家组成。

非线性 von Mises-Fisher (NvMF) 分类器：
- 动机： 传统的基于 vMF 的分类器会退化为缩放后的余弦相似度，这导致在超球面空间中产生线性决策边界。这限制了其对不平衡数据中复杂的、异质的类别几何结构的建模灵活性。
- 创新点： 作者通过其指数族结构重新诠释了 vMF 分布。他们不再仅仅将其视为一种似然模型，而是通过对对数配分函数的变化（ $\ell_c = -\Delta A(x)$ ）来定义逻辑值（logits）。
- 理论保证： 文中证明（定理 1），当浓度参数 $\kappa \to \infty$ 时，所提出的 NvMF 逻辑值收敛于标准余弦相似度，从而确立了其作为现有超球面分类器之原则性泛化形式的地位。对于有限的 $\kappa$ ，它会诱导非线性决策边界，从而实现对复杂簇更好的分离。
边际感知多专家集成：
- 为了应对长尾不平衡问题，该框架采用了三个 NvMF 专家，每个专家都使用不同的边际强度参数 $\tau \in \{0, 1, 2\}$ $τ \in {0, 1, 2}$ 进行训练：
  - 头部偏向型 ( $\tau=0$ )： 用于多数类别的标准分类器。
  - 平衡型 ( $\tau=1$ )： 中度的重平衡。
  - 尾部偏向型 ( $\tau=2$ )： 对少数类别的积极保护。
- 机制： 损失函数中引入了边际项 $\Delta_{yc} = \tau \log(\pi_c / \pi_y)$ ，其中 $\pi$ 代表经验类别先验。这不对称地将决策边界从尾部类别方向推开，防止它们被头部类别所淹没。
专用离群值专家：
- 一个单独的、简单的全连接层（ $g_{out}$ ）被专门用于二分类任务（ID 与 OOD）。
- 在训练期间，它利用辅助 OOD 数据集（ImageNet-100）进行训练。不同于专注于细粒度 ID 类别的 NvMF 专家，该专家仅专注于分离内点（inliers）与离群值（outliers），从而提供直接的 OOD 检测监督信号。
推理策略：
- ID 分类： 聚合三个 NvMF 专家的预测结果（对 $K$ 个 ID 类别的 softmax 概率进行平均）。
- OOD 检测： 结合两种信号：(i) NvMF 专家中第 $(K+1)$ 类（OOD）的概率，以及 (ii) 离群值专家的显式 OOD 概率。最终得分是这两个信号的平均值。

评估协议
作者批评了现有基准测试过度依赖自然图像（如 SVHN, LSUN）或简单的类别留置法。他们提出了一个临床现实感的 OOD 评估框架，涵盖：

新类别： 训练期间未见的语义类别（开集/Open-Set）。
损坏： 合成降质（噪声、模糊、伪影）。
NearOOD： 医学影像内的领域偏移（例如，不同的采集设备、染色技术或解剖区域）。
FarOOD： 与医学数据视觉距离较远的自然图像（MS-COCO）。
数据集： 实验在 RFMiD（视网膜影像）、ISIC2019（皮肤病学）和 NCTCRC（组织病理学）上进行，并将这些数据集重新调整为 50:1 的长尾分布。

关键结果

OOD 检测： MARVEL 在所有数据集和 OOD 场景下均一致优于最先进的方法（PASCL, COCL, EAT, PATT, OE）。
- 与基准方法相比，它实现了平均 FPR95 的降低：RFMiD 降低 8.45%，ISIC2019 降低 13.02%，NCTCRC 降低 36.90%。
- 在 FarOOD 和 NearOOD2 场景下，由于专用离群值专家的作用，它达到了接近饱和的 AUROC (>99%)。
- 在最具挑战性的 Open-Set 场景中，它保持了最佳性能，尽管在此特定设置下 AUROC 仍低于 85%，凸显了区分新类别与尾部类别的固有难度。
ID 分类： MARVEL 取得了最高的准确率（Accuracy）和平衡准确率（Balanced Accuracy）。不同于基准方法在头部与尾部性能之间表现出巨大差距，MARVEL 在显著提高尾部类别识别能力（例如，NCTCRC 的尾部准确率接近 95%）的同时，也维持了头部类别的性能。
消融实验：
- 分类器选择： NvMF 显著优于线性 vMF、余弦和全连接（FC）分类器，验证了非线性边界的益处。
- 专家数量： 三个专家的集成提供了最优的权衡；增加第四个专家并不能带来提升，反而往往会导致性能下降。
- 校准： MARVEL 展示了优于基准方法的置信度校准能力，基准方法往往要么过度自信（PASCL, PATT），要么置信度不足（OE, EAT）。
- OOD 评分： 框架内的基于逻辑值的评分（MSP）优于基于距离的方法（KNN, Mahalanobis），后者在处理尾部类表示的稀疏性和各向异性方面表现不佳。

意义与主张
本文声称 MARVEL 通过统一长尾识别与 OOD 检测，解决了医学 AI 中的一个关键空白。其意义在于：

方法论创新： 引入了具有理论依据的非线性 vMF 分类器（它是余弦分类器的泛化），以及用于处理严重类别不平衡的边际感知多专家策略。
显式 OOD 建模： 通过专用的离群值专家，将 OOD 检测从多类 ID 判别中解耦，防止了罕见尾部类别与真实离群值之间的混淆。
临床相关性： 超越了人工构建的基准测试，在反映临床分布偏移的频谱（模态变化、采集差异和自然图像）上对模型进行评估。
安全性： 实现可靠地识别陌生病例并将其转交给临床医生，从而支持在数据本质上不平衡且存在分布偏移的现实工作流中进行更安全的 AI 辅助诊断。

作者承认了局限性，包括对辅助 OOD 数据进行训练的依赖以及对固定标签空间的假设，并指出未来的工作可以探索持续学习和密集预测任务。