🤖 AI

Probabilistic Modeling of Multi-rater Medical Image Segmentation for Diversity and Personalization

本文提出了 ProSeg，这是一个概率建模框架，它利用包含两个潜在变量的变分推断，同时实现多样化且专家个性化的病灶分割，从而解决成像不确定性和观察者间差异问题，并在鼻咽癌和肺结节数据集上优于现有的最先进方法。

原作者： Ke Liu, Shangde Gao, Yichao Fu, Shuaike Shen, Shangqi Gao, Chunhua Shen

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Ke Liu, Shangde Gao, Yichao Fu, Shuaike Shen, Shangqi Gao, Chunhua Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据四位不同探险家（医生）的描述，绘制一座神秘、多雾岛屿（医学病灶）的地图。问题在于，雾气浓重，海岸线模糊不清，而且探险家们并不总能达成一致。一位可能说岛屿在大岩石处结束；另一位可能说它延伸到了树木之后。

这就是医学病灶分割的日常现实。由于图像不清晰，医生们往往对肿瘤或异常的确切起止位置存在分歧。

当前方法的缺陷

在这篇论文之前，试图解决这一问题的计算机程序主要存在两个缺陷：

“随机艺术家”方法：一些程序试图生成许多不同的地图以展示所有可能性。但这些地图就像随机艺术家的猜测；它们展现了多样性，却不符合任何真实医生的特定风格或观点。它们缺乏“个性化”。
“模仿者”方法：其他程序试图完美模仿特定的医生。如果你要求“医生 A 的地图”，它会给你一份医生 A 作品的复制品。但它无法构想其他有效的可能性，也无法处理这样一个事实：即使是同一位医生，在不同日子里对同一事物的看法也可能略有不同。它缺乏“多样性”。

该论文认为，我们需要一个系统能够同时做到这两点：生成多种多样的合理地图，并将这些地图量身定制以匹配所选专家的具体风格。

解决方案：ProSeg（“双脑”系统）

作者提出了一种名为ProSeg的新系统。将 ProSeg 想象为一位超级聪明的制图师，拥有两个协同工作的独特“大脑”（潜在变量）：

大脑 1：“雾探测器”（变量 Z）
- 它的作用：这个大脑观察医学图像本身。它理解图像是模糊且模棱两可的。它会问：“鉴于这张雾蒙蒙的图片，岛屿可能呈现哪些所有的形状？”
- 类比：想象看着一朵云，你看到了兔子、龙或船。这个大脑捕捉了图像中固有的所有这些不同可能性。这创造了多样性。
大脑 2：“医生的个性”（变量 τ）
- 它的作用：这个大脑观察你想要模仿的特定医生（专家）。它学习他们的“风格”。医生 A 是否倾向于绘制更大的边界？医生 B 是否更喜欢更小、更紧凑的线条？
- 类比：想象你心中有一位特定的艺术家。这个大脑知道艺术家 A 总是使用粗线条，而艺术家 B 使用细线条。它捕捉了个性化。

它们如何协同工作

当你要求 ProSeg 创建分割时：

它使用大脑 1生成一组不同的、合理的形状（多样性）。
它使用大脑 2对这些选项进行筛选或塑形，以匹配特定医生的偏好（个性化）。

如果你想要一张看起来像是由医生 A绘制的地图，ProSeg 会使用“雾探测器”找出所有有效的形状，然后通过“医生的个性”过滤器，挑选出医生 A 可能会选择的形状。
如果你只是想看到所有可能性而不选择特定的医生，它会从“雾探测器”和一个通用的“个性”池中采样，向你展示一系列广泛的合理解释。

结果

作者在两个真实世界的数据集上测试了该系统：

肺结节（LIDC-IDRI）：一个医生意见相对一致的数据集（类似于从真实数据中创建的四个虚拟专家）。
鼻咽癌（NPC）：一个包含四位真实医生的数据集，他们的意见非常不同且多样化。

发现非常明确：

ProSeg 击败了所有先前的方法。
与“随机艺术家”模型相比，它生成的地图更多样化（展示了更广泛的合理可能性）。
与“模仿者”模型相比，它生成的地图更准确地符合特定医生的偏好。
在医生分歧最大的困难 NPC 数据集中，ProSeg 特别擅长捕捉这些独特的差异，同时仍能合理解释模糊的图像。

一句话总结

之前的工具要么太随机，要么太僵化。ProSeg就像一位大师级制图师，既理解地图是模糊的（歧义性），又确切知道每位特定的探险家喜欢如何绘制它（偏好）。它为你提供了两全其美的方案：一组有效的选项，可以针对任何专家的风格进行定制。

技术摘要：解耦偏好与歧义以实现可控医学病灶分割

问题陈述
医学病灶分割固有地面临成像不确定性的挑战，源于医学目标边界定义不清、伪影及不规则形状。这种不确定性的一个关键表现是观察者间差异，即不同专家对同一图像提供不同的标注。现有的多标注者医学图像分割方法通常归为两类有限的范畴：

生成方法：这些方法产生多样化的分割结果，但未能捕捉特定专家的个性化特征，往往生成的变体不符合真实的专家行为模式。
个性化方法：这些方法复现个别标注者的输出，但缺乏生成多样化分割的能力，实质上是将专家偏好硬编码，并忽略了图像固有的歧义性。
众包方法：这些方法将多个标注聚合为单一的元分割，假设存在单一的真实值，未能对专家差异的分布进行建模。

本文指出了文献中的空白：目前尚无有效方法能够在统一框架内同时生成既多样化（捕捉专家分歧的范围）又个性化（与特定专家标注一致）的分割结果。

方法：ProSeg
作者提出了ProSeg（多标注者分割的概率建模），这是一种旨在统一多样性与个性化的概率图模型（PGM）。其核心创新在于引入两个连续潜变量以解耦不确定性来源：

$\tau$ (Tau)：建模专家标注者之间的主观差异（观察者间差异）。它从特定专家标注者 $R$ 推断得出。
$Z$ ：建模医学扫描中的歧义性（图像内不确定性）。它从观测到的图像数据 $X$ 推断得出。

概率公式
ProSeg 对标注 ( $Y$ )、图像 ( $x$ ) 和专家 ( $R$ ) 的联合分布 $p(Y, x, R)$ 进行建模。该模型假设标注是基于潜变量 $\tau$ 和 $Z$ 条件生成的。

生成过程：模型定义了条件分布 $p(y_{ri} | \tau_i, z_i)$ 、 $p(x | z_i)$ 和 $p(r_i | \tau_i)$ 。
变分推断：由于潜变量的后验分布难以处理，该模型采用变分推断，利用 $q(z_i | x)$ 和 $q(\tau | R)$ 对其进行近似。
训练目标：模型通过最大化证据下界（ELBO）进行训练，该过程最小化观测数据的负对数似然（图像重建、专家分类和分割精度），同时正则化 $\tau$ 和 $Z$ 的后验分布以匹配其先验（ $\tau$ 为狄利克雷分布， $Z$ 为高斯分布）。

模型架构
该架构由五个神经网络模块组成：

图像编码器：从图像 $x$ 推断歧义潜变量 $z$ 。
图像解码器：从 $z$ 重建图像。
类别嵌入：从专家标注者 $R$ 推断专家偏好潜变量 $\tau$ 。
分类器：从 $\tau$ 预测专家标注者。
分割预测器：基于 $\tau_i$ 和 $z_i$ 生成分割 $y_{ri}$ 。

控制机制

个性化：通过指定特定专家 $r$ ，模型从 $q(\tau | r)$ 采样 $\tau$ ，生成与该特定专家风格一致的分割，同时通过采样 $z$ 保持多样性。
多样性：通过从先验分布 $p(\tau)$ （狄利克雷分布）而非特定专家的后验分布中采样 $\tau$ ，模型生成代表专家差异全谱的多样化分割结果。

实验结果
作者在两个基准数据集上评估了 ProSeg：

LIDC-IDRI：一个肺结节数据集，每张图像包含四个专家标注。
NPC：一个鼻咽癌数据集，包含四位真实放射科医生，表现出更高的偏好差异性。

关键指标：

多样性：通过广义能量距离（GED）和软 Dice ( $D_{soft}$ ) 衡量。
个性化：通过匹配 Dice ( $D_{match}$ )、最大 Dice ( $D_{max}$ ) 以及针对特定专家的平均 Dice 分数 ( $D_{mean}$ ) 衡量。

发现：

ProSeg 在两个数据集上均取得了**最先进（SOTA）**的性能。
在 LIDC-IDRI 上，ProSeg 实现了最低的 GED (0.1152) 和最高的 $D_{soft}$ (91.53%)，优于生成方法（如 Probabilistic U-Net）和个性化方法（如 TAB、Pionono）。
在更具挑战性的 NPC 数据集上，就 GED 而言，ProSeg 将多样性性能较之前的 SOTA 个性化方法提高了 20.71%，同时保持了高个性化精度 ( $D_{mean} = 82.07\%$ )。
消融研究证实了两个潜变量均至关重要；移除 $\tau$ 或 $Z$ 中的任何一个都会导致性能显著下降。
视觉分析表明，ProSeg 生成的分割既多样化，又与专家标注的“金标准”分布紧密一致，而其他方法要么缺乏多样性，要么无法匹配特定专家的偏好。

意义与主张
本文主张 ProSeg 是首个概率建模框架，能够统一多标注者病灶分割的多样性与个性化建模。通过在单一概率框架内联合学习这些方面，ProSeg 解决了现有方法将多样性与个性化视为互斥或需要多阶段训练的限制。作者断言，ProSeg 提供了一个可推广的框架，可扩展至其他多标注者医学图像分割任务，为处理临床诊断中固有的不确定性和差异性提供稳健的解决方案。该工作强调，捕捉图像的歧义性和标注者的主观性对于生成可靠且具有临床相关性的分割输出至关重要。

当前方法的缺陷

解决方案：ProSeg（“双脑”系统）

它们如何协同工作

结果

一句话总结

类似论文