💻 computer science

OOD-SEG: Exploiting out-of-distribution detection techniques for learning image segmentation from sparse multi-class positive-only annotations

本文提出了一种名为 OOD-SEG 的新型图像分割框架，该框架利用异常检测技术将多类别稀疏正样本标注问题转化为像素级正负未标注（PU）学习任务，从而在无需背景标注的情况下实现了对医学和手术图像中多类别目标的鲁棒分割。

原作者： Junwen Wang, Zhonghao Wang, Oscar MacCormac, Jonathan Shapey, Tom Vercauteren

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Junwen Wang, Zhonghao Wang, Oscar MacCormac, Jonathan Shapey, Tom Vercauteren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 OOD-SEG 的新方法，旨在解决医学图像分割（比如把手术视频里的器官自动圈出来）面临的两个大难题。

为了让你更容易理解，我们可以把这项技术想象成训练一个“超级实习医生”。

1. 两个大难题：缺教材和怕“走火”

在训练这个“实习医生”（AI 模型）时，通常有两个让人头疼的问题：

难题一：标注太累人（缺教材）
- 现状：要教 AI 识别器官，通常需要医生在每一张手术图片上，把每个器官的轮廓都细细地画出来（像素级标注）。这就像让医生给每一本书的每一个字都标上拼音，既费时间又费精力，而且需要极高的专业知识。
- 现状的局限：很多时候，医生只愿意画几个代表性的点或小块区域（稀疏标注），剩下的地方留白。
- 传统做法的坑：以前的 AI 如果看到没画线的地方，会默认那是“背景”（比如空气或无关组织）。但这往往是错的！没画线的地方可能也是器官，只是医生没画而已。强行把它们当背景，AI 就会学错。
难题二：遇到“怪胎”会乱认（怕走火）
- 现状：AI 在训练时见过很多种器官（比如肝脏、肾脏）。但在真实手术中，可能会突然出现训练时没见过的东西，比如一种新型的手术器械，或者一种罕见的病变组织。
- 风险：传统的 AI 会“硬猜”，强行把这些没见过的东西归类为它认识的某个器官。这就像让一个只学过猫和狗的 AI 去认一只兔子，它可能会强行说“这是一只长耳朵的猫”，这在医疗上是极度危险的。

2. 核心创意：把“没见过的”当成“异类”

这篇论文的聪明之处在于，它把上述两个问题合二为一，用一种叫**“正类 - 未标记学习”（Positive-Unlabelled Learning）的思路来解决，并引入了“分布外检测”（OOD）**技术。

我们可以用**“画地为牢”**的比喻来理解：

传统做法：老师给 AI 画了 5 个圈（代表 5 种器官），告诉它：“圈里是器官，圈外是背景。”如果有个东西落在圈外但其实是器官，AI 就认错了。
OOD-SEG 的做法：
1. 只教“好”的：老师只给 AI 看那些被明确标记的器官（正样本），告诉它：“这些是我们要找的宝贝。”
2. 建立“安全区”：AI 学习后，会在每个器官周围画一个**“安全气泡”**（决策边界）。
3. 识别“异类”：
  - 如果新来的东西在“安全气泡”里，AI 就自信地说：“这是器官 X。”
  - 如果新来的东西不在任何气泡里（比如它是背景，或者是没见过的新型手术刀），AI 就会说：“我不认识这个，这不在我的安全区里，我把它标记为‘未知/背景’。”

这就好比：你只教孩子认识苹果和香蕉。当孩子看到一个苹果时，他说是苹果；看到香蕉时，说是香蕉。但如果他看到一只猫，他不会硬说是“像香蕉的苹果”，而是会说：“这不在我认识的苹果和香蕉的范围内，这是个‘未知’的东西。”

3. 怎么评估效果？（没有标准答案的考试）

通常评估 AI 好不好，需要一套“标准答案”（Ground Truth）。但在这个场景下，我们故意没有给“未知物体”的标准答案，怎么考呢？

作者想出了一个**“轮流当考官”**的绝妙策略（交叉验证）：

方法：假设我们有 4 种器官（A、B、C、D）。
操作：
- 第一轮：教 AI 认识 A、B、C，把 D 藏起来。
- 考试时：给 AI 看包含 D 的图片。
- 评判：如果 AI 能把 D 识别为“未知/背景”，而不是强行把它认成 A、B 或 C，那就说明它真的学会了识别“异类”。
意义：这样就不需要额外去收集一套全是“未知物体”的昂贵数据集了，直接在现有数据里“变”出考题。

4. 实验结果：既准又稳

作者在三种不同的医学图像数据上（猪的器官、人的牙齿、腹腔镜手术视频）做了测试：

效果：他们发现，使用一种叫 ODIN 的校准技术（可以理解为给 AI 的自信心“调个度”），效果最好。
优势：
- 不牺牲准确性：对于认识的器官（A、B、C），AI 依然认得很准。
- 能发现异常：对于不认识的东西（背景或新器械），AI 能果断地说“我不知道”，而不是瞎猜。
- 省人力：只需要医生标注一点点关键区域，不需要画满整张图。

总结

这篇论文就像给医学 AI 装上了一套**“防错机制”和“省工模式”**：

省工：医生不用画满全图，画几个点就行，AI 也能学会。
防错：遇到没见过的东西，AI 会老实承认“我不认识”，而不是胡乱诊断，大大提高了手术辅助系统的安全性。

这项技术让 AI 在复杂的医疗环境中变得更聪明、更谨慎，也更实用。

1. 研究背景与问题定义 (Problem)

核心挑战：
医学图像分割（特别是手术和医学成像）面临两个主要挑战：

标注成本高： 获取像素级的完整分割标签需要专业医生，耗时且昂贵。现有的弱监督学习（WSL）方法通常使用稀疏标注（如点、框、 scribbles），但往往假设未标注区域为背景（负样本），这在多类分割中是不准确的，因为未标注区域可能包含目标组织（正样本）或背景。
分布外（OOD）检测缺失： 传统的分割模型假设训练和测试数据来自同一分布（ID）。在临床部署中，模型无法识别未知的解剖结构、新的手术器械或异常组织，容易导致错误的预测（Spurious outputs），存在安全隐患。

具体问题设定：
本文关注多类正样本-only（Positive-Only）标注的分割任务。

输入： 仅包含部分前景类别的稀疏像素级标注。
未标注像素： 既可能属于已标注的正类，也可能属于背景或其他未见过的类别（负类/OOD）。
目标： 在不使用任何背景（负类）标注的情况下，训练模型以分割已知的正类，并能够可靠地检测出背景或分布外（OOD）的像素。

2. 方法论 (Methodology)

作者提出了 OOD-SEG 框架，将多类正样本-only 分割问题重新构建为像素级的正未标注（PU）学习问题，并利用分布外（OOD）检测技术来解决。

2.1 核心思想

正样本-only 学习： 训练时仅使用标注的正类像素计算损失，不对未标注像素做任何假设（不将其视为背景）。
OOD 检测机制： 将未标注像素视为潜在的 OOD 样本。通过建立每个正类的决策边界，将落在边界之外的像素识别为 OOD（即背景或未知类）。

2.2 网络架构与训练

骨干网络： 使用基于 U-Net 的架构，编码器为 EfficientNet-B4（在 ImageNet 上预训练）。
训练阶段：
- 仅使用稀疏的正类标注像素计算交叉熵损失（Cross-Entropy Loss）。
- 网络输出 $C$ 维（ $C$ 为正类数量），不包含背景类输出。
推理阶段：
- 引入像素级评分函数 $S_{ij}$ 来衡量像素属于某个 ID 类的置信度。
- 设定阈值 $\tau$ ：如果最大得分 $> \tau$ ，则分配给对应的 ID 类；否则标记为 OOD（背景/0 类）。
- 公式： $\hat{y}_{ij} = \arg\max_c S^c_{ij}$ (若 $\max S^c_{ij} > \tau$ )，否则为 0。

2.3 集成的 OOD 检测策略

为了获得更好的 OOD 检测性能，作者比较了四种评分函数策略：

Baseline (Softmax)： 直接使用网络输出的 Softmax 概率。
ODIN： 引入温度缩放（Temperature Scaling）和对抗扰动（本文仅使用温度缩放， $T=10$ ），以校准置信度，使 OOD 样本得分更低。
Mahalanobis： 基于特征空间的马氏距离。计算测试像素特征与各类训练分布（高斯分布）之间的距离，距离越远越可能是 OOD。
GODIN (Generalized ODIN)： 一种可学习的温度缩放方法。作者对其进行了卷积适配，将原本的全连接层替换为 $3\times3$ 卷积层，以捕捉空间上下文信息，使其适用于分割任务。

2.4 评估策略：两级交叉验证 (Two-level Cross-Validation)

由于缺乏现成的 OOD 医学数据集，作者提出了一种创新的评估方法，无需额外的 OOD 数据集：

主体划分 (Subject Partitions, SP)： 按患者/受试者划分，防止数据泄露。
类别划分 (Class Partitions, CP)： 在训练时，将部分已标注的正类（例如 4 类中的 1 类）“隐藏”起来，不作为训练集的一部分。
逻辑： 在验证/测试阶段，这些被隐藏的正类被视为 OOD 样本（因为模型在训练时没见过它们）。
指标：
- TPRID： 已知正类的真阳性率。
- FPROOD： OOD 样本的假阳性率（即被错误分类为正类的 OOD 比例）。
- 使用 AUROC 和 AUPR 作为阈值无关的评估指标。

3. 主要贡献 (Key Contributions)

新框架 (OOD-SEG)： 首次将多类稀疏正样本-only 分割问题形式化为像素级 PU 学习问题，并利用 OOD 检测技术解决，无需背景标注即可有效分割负类/OOD 数据。
评估协议： 提出了一种基于“主体 + 类别”的两级交叉验证策略，能够在单个数据集内系统性地评估背景/OOD 检测性能，解决了医学分割领域缺乏 OOD 基准和评估标准的难题。
方法适配： 证明了经典的分类 OOD 检测方法（ODIN, Mahalanobis, GODIN）可以无缝集成到分割任务中。特别是提出了 GODIN 的卷积化适配，扩展了其在分割任务中的适用性。
实验验证： 在三个数据集（Heiporspectral 高光谱猪器官、ODSI-DB 高光谱牙齿、DSAD RGB 腹腔镜）上验证了框架的鲁棒性和泛化能力。

4. 实验结果 (Results)

数据集：
- Heiporspectral： 5758 张高光谱图像（猪器官，20 类）。
- ODSI-DB： 316 张高光谱图像（人类牙齿，35 类，筛选出 9 类）。
- DSAD： 13195 张 RGB 腹腔镜图像（腹部器官，11 类）。
性能表现：
- ODIN 表现最佳： 在所有数据集和指标（AUROC, AUPR）上，基于 ODIN 的评分函数通常取得了最好的 OOD 检测性能。这表明经过校准的置信度分数对于区分 ID 和 OOD 至关重要。
- GODIN 与 Mahalanobis： 表现次之。Mahalanobis 在高维特征空间中可能面临协方差估计病态的问题；GODIN 虽然引入了可学习参数，但训练复杂度较高。
- ID 性能保持： 引入 OOD 检测（设置阈值 $\tau_m$ ）并没有显著降低已知正类（ID）的分类精度。模型只是将原本可能被错误分类的像素正确地标记为 OOD。
定性分析： 可视化结果显示，该方法能有效分离 OOD 像素（如背景、未标注区域），同时保持对已知器官的分割精度。

5. 意义与影响 (Significance)

临床安全性提升： 该框架使自动分割系统能够识别“未知”情况（如新的手术器械、异常组织），并在临床部署中发出警报，减少误诊风险，符合安全关键系统的要求。
降低标注门槛： 允许医生仅标注他们确信的区域（稀疏正样本），无需花费大量时间标注背景或所有细节，显著降低了数据准备成本。
填补研究空白： 为医学图像分割中的 OOD 检测提供了首个系统的评估基准和方法论，推动了弱监督学习与 OOD 检测在医疗领域的结合。
通用性： 框架不依赖于特定的骨干网络或 OOD 算法，具有高度的可扩展性，可应用于各种医学成像模态（高光谱、RGB、MRI 等）。

局限性：

训练过程中未利用未标注数据（未来可探索半监督学习）。
未使用对抗扰动（为了简化比较和降低计算成本）。
ID 分类精度与 OOD 检测性能之间存在固有的权衡（Trade-off）。

总结： OOD-SEG 是一个创新且实用的框架，它巧妙地利用 OOD 检测技术解决了医学图像中稀疏正样本标注的分割难题，为构建更安全、更高效的临床辅助诊断系统提供了新的技术路径。