💻 computer science

Cross-Modal MRI Ovary Segmentation in Endometriosis Using Unpaired TVUS Prototype Priors

本文提出了一种双分支框架，该框架利用 TVUS 衍生的原型先验来对齐跨模态特征，与现有最先进方法相比，显著提升了子宫内膜异症 MRI 中具有挑战性的跨模态卵巢分割任务。

原作者： Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

子宫内膜异位症是一种痛苦且慢性的疾病，其特征是类似于子宫内膜的组织在子宫之外生长，通常会在卵巢上形成囊肿。为了诊断和治疗这种疾病，医生严重依赖两种不同类型的医学影像：经阴道超声（利用声波在体内生成图像）以及磁共振成像（简称 MRI，利用强力磁铁观察盆腔深处）。虽然超声在显示卵巢囊肿的具体纹理方面表现出色，但 MRI 则能提供周围解剖结构更广泛、更清晰的视野。然而，一个重大的挑战依然存在：卵巢体积较小，其边界在 MRI 扫描中看起来与周围器官和组织非常相似。这使得人工智能（即计算机程序）难以自动且准确地在卵巢周围画出轮廓以帮助医生进行测量。如果没有这种精确的轮廓，追踪病情或规划手术就会变得更加困难。

研究人员长期以来一直希望结合超声和 MRI 的优势来解决这个问题，但一个主要的障碍一直阻碍着进展。在现实世界中，患者很少会在同一时刻同时接受针对同一个卵巢的超声和 MRI 检查，这意味着这两类图像无法完美对齐。这种缺乏配对数据的现状，阻碍了计算机学习如何将超是在超声中看到的清晰特征直接转化为 MRI 图像。来自德国的一个科学家团队提出了一种巧妙的变通方法。他们不再试图匹配单个患者在两种机器上的影像，而是教计算机从数百张超声图像中学习关于卵巢外观的通用“概念”，然后利用这些通用知识来引导计算机观察 MRI 扫描。

该团队构建了一个运行起来像“双车道高速公路”一样的系统。一条车道处理超声图像，另一条车道处理 MRI 图像。他们首先使用了一个旨在理解医学图像的强大预训练计算机模型，并将其改编为专门针对卵巢进行处理。首先，他们向系统输入了大量由人类专家已经标注好卵巢位置的超声图像。计算机通过分析这些图像，建立了一个“原型库”（prototype bank），用以记录正常卵巢和带有囊肿的卵巢在形状和纹理方面的典型特征。这个库充当了一个参考指南，即关于一个卵巢“应该是什么样”的群体水平标准。

一旦建立了这一指南，研究人员便将注意力转向了 MRI 扫描。他们不需要将这些 MRI 扫描与特定的超声图像进行配对。相反，他们指示计算机观察 MRI 扫描并尝试寻找卵巢。当计算机做出预测时，它会将自己的发现与从超声数据中建立的参考指南进行对比。如果计算机对 MRI 图像的理解偏离了既定的卵巢形状和特征，系统就会将其轻轻拉回到正确的模式。这一过程使计算机能够通过借鉴已从超声中学习到的清晰度，来学习识别 MRI 中卵巢这一困难任务，而无需在同一人身上同时进行两种类型的扫描。

该方法的测试结果非常显著。当团队将新系统应用于 81 名子宫内膜异位症患者的 MRI 扫描数据集时，其表现优于几种现有的方法。衡量计算机勾勒器官准确度最常用的标准是一个名为 Dice 系数的得分，其范围从 0 到 100%，数值越高表示准确度越高。新方法达到了 61.0% 的得分，这比那些在充分训练后得分约为 28.9% 或略高的先进技术有了实质性的提升。研究人员指出，这种进步不仅仅是微小的统计学增益；计算机生成的轮廓变得更加紧凑和准确，减少了将健康组织误认为卵巢一部分的情况。

然而，这项研究也揭示了目前进展的局限性。虽然新方法在所有测试的方法中表现最好，但研究人员承认，61% 的得分意味着仍有改进空间，且该系统尚未能在每张图像中都完美地勾勒出每一个卵巢。他们发现，训练系统的方式至棍重要。具体而言，他们发现计算机需要在仅使用超声数据进行一段短时间的“热身”训练后，才能有效地从 MRI 数据中学习。如果尝试从一开始就同时训练两条“车道”，或者完全跳过热身阶段，系统的表现会差得多。这表明，在尝试将所学知识应用于更具模糊性的 MRI 扫描之前，先通过更清晰的超声图像建立一个关于卵巢外观的坚实基础是至关重要的第一步。

团队还探索了不同设置如何影响系统的性能。他们发现，标准图像匹配任务与新的“参考指南”任务之间的平衡非常微妙。如果系统过度依赖超声指南，它就无法很好地学习 MRI 特征；如果依赖过少，它则无法纠正自身的错误。通过仔细测试，他们确定了一个效果最佳的特定设置，证明了该方法虽然稳健，但需要精确的调优。研究人员总结道，尽管他们的方法成功地在无需配对患者数据的情况下桥接了两种不同的影像世界，但由于现有数据的限制，这项技术仍在不断演进中。他们计划继续完善该系统，特别是教它更好地识别紧邻卵巢的特定组织，因为这些组织目前常会让计算机产生混淆。这项工作代表了利用人工智能帮助医生观察子宫内膜异位症中“不可见细节”的重要一步，为实现更精准的诊断和护理开辟了道路。

技术摘要：利用非配对 TVUS 原型先验进行子宫内膜异位症的跨模态 MRI 卵巢分割

问题陈述

在磁共振成像（MRI）中准确分割卵巢对于定位子宫内膜异位症患者（尤其是巧克力囊肿）的病灶至关重要。然而，由于卵巢体积较小且与周围盆腔结构的边界模糊，这一任务仍然极具挑战性。虽然经阴道超声（TVUS）通常能捕捉到更具特征性的卵巢特异性特征，但在临床实践中获取用于监督式跨模态学习的配对 TVUS–MRI 检查非常困难。现有研究主要集中在单模态分析或疾病分类上，使得跨模态卵巢分割领域仍处于探索阶段。目前缺乏能够有效地在无需配对数据的情况下，将解剖学知识从 TVUS 转移到 MRI 的方法。

方法论

作者提出了一种双分支框架，旨在利用非配对的 TVUS 卵巢掩码来学习群体层面的卵巢先验，并将其迁移以改进 MRI 卵巢分割。该方法的核心组件如下：

1. 基于 MedSAM3 主干的双分支架构

该框架利用 MedSAM3（一种可提示的概念分割基础模型）作为 TVUS 和 MRI 分支的主干网络。

参数高效微调 (PEFT)： 两个分支均采用低秩自适应（LoRA）技术来适配预训练的 MedSAM3 模型。
分支配置：
- TVUS 分支： 在预热阶段后，主干网络和 LoRA 模块被冻结。投影头通过来自 MRI 分支的指数移动平均（EMA）进行更新。
- MRI 分支： LoRA 模块和投影头是可训练的。
特征提取： 视觉 Transformer（ViT）主干通过特征金字塔网络（FPN）生成多尺度特征表示。这些特征通过轻量级投影头（1×1 卷积、组归一化、ReLU、L2 归一化）映射为归一化嵌入。

2. 原型库构建

为了将解剖学知识从 TVUS 注入 MRI 分支，作者利用非配对的 TVUS 卵巢掩码构建了一个群体层面的卵巢前景先验。

原型记忆库： 该记忆库存储了前景原型 ( $p_{fg}^{TVUS}$ ) 和背景原型 ( $p_{bg}^{TVUS}$ )。
提取方式： 前景和背景特征 ( $q_{fg}, q_{bg}$ ) 通过掩码平均池化从 TVUS 输入中提取。
更新机制： 原型使用 EMA 策略进行更新：
$p_{fg}^{TVUS}(t) = \alpha p_{fg}^{TVUS}(t-1) + (1-\alpha) q_{fg}^{TVUS}(t)$
其中 $\alpha$ 是动量系数。这确保了原型先验代表的是群体层面的解剖结构，而非特定批次的噪声。

3. 原型对比学习

由于数据集是非配对的，因此不强制执行空间对应关系。相反，该框架在特征空间中强制执行跨模态解剖一致性。

目标： 鼓励 MRI 卵巢前景特征 ( $q_{fg}^{MRI}$ ) 向 TVUS 卵巢前景原型 ( $p_{fg}^{TVUS}$ ) 靠近，同时远离 TVUS 背景原型 ( $p_{bg}^{TVUS}$ ) 和 MRI 背景特征 ( $q_{bg}^{MRI}$ )。
损失函数： 采用 InfoNCE 对比损失 ( $\mathcal{L}_{proto}$ ):
$\mathcal{L}_{proto} = -\log \frac{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau)}{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau) + \sum_{z \in \{p_{bg}^{TVUS}, q_{bg}^{MRI}\}} \exp(\text{sim}(q_{fg}^{MRI}, z)/\tau)}$
总损失： 对比损失与标准分割损失 ( $\mathcal{L}_{seg}$ ) 按权重 $\lambda$ 结合：
$\mathcal{L}_{total} = \mathcal{L}_{seg} + \lambda \mathcal{L}_{proto}$

4. 训练策略

预热预训练： 首先对 TVUS 分支进行独立的三个 epoch 预训练，以稳定特征空间并提取可靠的原型。
跨模态训练： 随后冻结 TVUS 模型，并使用 TVUS 衍生的原型对 MRI 分支进行 10 个 epoch 的训练。

核心贡献

本文概述了三个主要贡献：

双分支框架： 一种基于 MedSAM3 的新型 MRI 卵巢分割架构，能够学习模态特异性特征和跨模态解剖表示。
群体层面卵巢先验： 引入了从非配对 TVUS 卵巢掩码构建的原型库，在无需配对数据的情况下为 MRI 表示学习提供解剖学指导。
原型对比学习： 一种强制执行跨模态解剖一致性的策略，使 MRI 特征表示向由 TVUS 衍生的具有解剖意义的卵巢特征进行正则化。

实验结果

该框架在公开的子宫内膜异位症相关数据集 OTU-2D (TVUS) 和 UT-EndoMRI (MRI) 上进行了评估。

定量性能： 所提出的双分支方法实现了 61.0% 的平均 Dice 系数 (mDICE) 和 27.3% 的平均精度 (mAP)。
- 这比完全微调的 MedSAM3 (54.6%) 在 mDICE 上提高了 5 个百分点以上，并且显著优于零样本 MedSAM3 (14.9%) 和 2D nnU-Net (28.9%)。
定性观察： 与基准模型相比，该方法生成的预测更加紧凑，并减少了周围盆腔区域的假阳性响应。虽然零样本模型在定位方面表现挣扎，且 nnU-Net 未能识别出卵巢区域，但所提方法优化了边界预测。
消融实验：
- 原型库： 去除原型库使 mDICE 从 61.02% 下降至 57.74%，证实了其在提高分割质量方面的作用。
- 预热： 经过 3 个 epoch 的 TVUS 独立预热后效果最佳。联合预热或无预热都会导致性能下降。
- 参数： 该框架对对比损失权重 ( $\lambda$ ) 和 EMA 动量 ( $\alpha$ ) 的变化表现出鲁棒性，最优性能出现在 $\lambda=0.015$ 和 $\alpha=0.95$ 时。

重要性与声明

作者声称，这项工作证明了使用非配对 TVUS 数据构建有用的跨模态原型先验，从而实现文本提示的可驱动 MRI 卵巢分割的可行性。

适度的性能声明： 虽然该方法优于现有的先进基准模型，但作者承认，由于原始数据集中卵巢标注的有限性，以及背景原型易被简单像素而非解剖相似结构主导的挑战，MRI 卵巢分割的整体性能仍然是“适度的”。
方法论见解： 研究强调，直接从基础模型（零样本）进行迁移对于这一特定任务是不够的，而通过非配对跨模态先验进行目标域适配是一种可行的策略。
未来方向： 作者建议未来的工作应侧重于使用扩张掩码构建“近背景”原型，探索用于更好特征对齐的自监督预训练，并将该框架扩展到 3D 体积分割和其他模态（如腹腔镜视频）。