⚡ electrical engineering

OTLesMix: Wasserstein Barycenter and Optimal Transport Map for Synthetic Lesion Generation with Diverse Shapes and Locations

本文介绍了 OTLesMix，这是一种利用 Wasserstein 重心和最优传输映射来生成具有多样化形状和位置的逼真合成脑病灶的新型数据增强方法，与现有的基于混合的方法相比，显著提升了分割模型的性能。

原作者： Robin Trombetta, Carole Lartizien

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Robin Trombetta, Carole Lartizien

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别天空中的一种特定类型的云。你给它看了上千张蓬松的白色积云照片，它变得非常擅长。但随后，你给它看了一张看起来像龙的云，或者一张形状像茶壶的云，机器人就感到困惑了。它以前从未见过这些形状。这在医学影像领域是一个常见的问题，在那里，计算机需要学习如何识别大脑扫描中的肿瘤或中风等疾病。问题在于，真实的医学数据很难获得；人类专家需要花费数小时仔细绘制单张 3D 大脑扫描图中疾病的确切位置图。因为缺乏足够的例子，计算机往往只能学会识别它已经见过的“标准”形状和位置。

为了解决这个问题，科学家们使用了一种叫做“数据增强”（data augmentation）的小技巧。这就像一位厨师试图教学生烘焙。如果学生只见过一个食谱，那么当食材发生轻微变化时，他们可能会失败。所以，厨师会给他们一些额外的练习批次。在计算机科学中，这意味着对现有的图像进行微调——旋转它们、改变亮度，甚至将一张图像的一部分剪切并粘贴到另一张图像上。其目标是创建一个庞大的“虚假”但真实的示例库，以便计算机能够处理任何形状或位置的疾病。然而，旧的方法往往会导致产生奇怪、模糊或看起来不符合逻辑的图像，无法有效地教给计算机新的形状。

这就是由研究人员 Robin Trombetta 和 Carole Lartizien 提出的名为 OTLesMix 的新方法。他们想要创造一种更聪明的方法来混合医学图像，使其能够发明全新的、看起来真实的疾病形状和位置，而不仅仅是重新排列现有的图像。

“完美融合”的魔力

研究人员的大创意依赖于一个被称为最优传输（Optimal Transport）的数学分支。要理解这一点，请想象你有两堆沙子。一堆沙子的形状像一颗星，另一堆像一个圆。你想把这两堆沙子融合在一起，创造出一个新的堆——也许是一个“星圆结合体”。“最优传输”问题是在问：如何最有效地移动每一粒沙子，从而使用最少的能量？

在医学影像的世界里，“沙子”就是构成肿瘤或病灶的像素。研究人员使用了一种特定类型的最优传输，称为瓦瑟斯坦重心（Wasserstein barycenter）。如果你把两张带有肿瘤的大脑扫描图看作两张不同的“地图”，这个数学工具就能找到一张“中间地带”的地图。它不仅仅是简单地平均图像（这会导致模糊的混乱）；相反，它会计算出一个介于两个原始形状之间、独特且全新的形状。这就像是将一张猫的照片和一张狗的照片结合起来，通过数学手段生成一种全新的动物，它拥有猫的耳朵和狗的尾巴，但在外观上看起来像是一个真实的、活生生的生物。

OTLesMix 如何运作

这个过程分为两个主要步骤，就像一个两阶段的烹饪食谱：

烹饪形状： 首先，计算机选取两个带有病灶（病变区域）的真实大脑扫描图。它使用“瓦瑟斯坦重心”数学计算出一个全新的病灶形状和位置。这个新形状是两个原始形状之间平滑且真实的插值。它可能是一个比原图稍大、位置稍有偏移或形状略有不同的肿瘤。
绘制图像： 一旦确定了新形状，计算机需要弄清楚这个新病灶内部应该是什么样子的。它使用“最优传输计划”来确定应该移动哪些原始图像中的像素来填充这个新形状。这就像是从原始图像中提取纹理和颜色，然后将它们精确地“内补”（inpainting）到这个新形状中。最后，这个合成的病灶会被粘贴到一个健康的脑扫描图（或其中一个原始图像）上，从而创建一个全新的训练样本。

它真的有效吗？

研究人员在三个涉及不同类型大脑问题的不同大脑成像数据集上测试了这种方法：胶质母细胞瘤（一种类型的大脑癌）、中风以及缺血性中风病灶。他们将这种新方法与一些流行的旧混合技术进行了比较，例如 MixUp（仅进行线性图像混合）和 CutMix（剪切并粘贴矩形）。

结果非常令人鼓舞。当他们训练一个计算机模型来分割（识别）这些大脑病灶时，使用 OTLesMix 合成数据的模型表现得明显更好。

在大脑癌症数据集（BraTS 2020）上，与未使用合成数据的模型相比，该模型的准确率在标准评分指标（Dice 分数）上提高了 2.9 到 6.6 个点。
它在所有三个数据集上都击败了其他的混合方法（MixUp、CutMix 和 CarveMix）。例如，在 BraTS 数据集上，OTLesMix 在整个肿瘤上的得分达到了 83.3%，而排名第二的方法（CarveMix）得分仅为 82.5%。

作者指出，这种差异并非偶然的微小波动；统计测试表明，OTLesMix 始终优于其他方法。从视觉上看，这种新方法产生的病灶在形状和位置上也更加多样化，而旧方法产生的形状往往看起来与原始形状过于相似，或者看起来像是生硬的剪切粘贴。

局限性

虽然该方法取得了成功，但作者也坦诚地说明了其目前的局限性。生成这些新图像需要时间。对于 2D 的大脑切片，大约需要 1 秒钟。但对于完整的 3D 大脑扫描，每张图像可能需要 1 到 3 分钟。这比单纯的剪切粘贴矩形要慢得多。

此外，该方法依赖于像素颜色的简单线性插值。如果两个原始大脑扫描图来自非常不同的机器或具有非常不同的光照条件，那么生成的“融合”病灶看起来可能会不太真实，就像一张后期处理得很差的照片。作者建议，未来可以将这种形状生成数学与强大的 AI 图像生成器相结合，以解决这些纹理问题。

简而言之，OTLesMix 是一个聪明的工具，它利用先进的数学来发明真实且多样化的示例。通过这样做，它帮助训练医疗 AI 去识别那些它从未见过的形状和位置的疾病，从而在未来有望带来更好的诊断工具。

OTLesMix 技术摘要：用于合成病灶生成的 Wasserstein Barycenter 与 Optimal Transport Map

问题陈述
深度学习彻底改变了医学图像分割，但监督训练仍受限于高昂的专家标注成本和时间，尤其是在密集的 3D 分割任务中。虽然数据增强是提高模型训练的标准技术，但传统方法（空间/强度变换）以及先进的生成模型（GANs、扩散模型）都存在特定的局限性。生成模型需要大规模且多样化的数据集进行自身训练，这在医学背景下往往难以获得。相反，现有的“基于混合（mix-based）”的增强策略（例如 MixUp、CutMix、CarveMix、LesionMix）通常无法生成足够的变异性来产生病灶的形状和位置。它们通常依赖于简单的随机采样或现有掩码（mask）的刚性几何变换，导致生成的合成样本缺乏足够的多样性，无法稳健地训练分割模型。

方法论：OTLesMix
作者提出了 OTLesMix，一种利用 最优传输（Optimal Transport, OT） 理论来生成逼真且多样化合成病灶的新型图像合成方法。该方法通过两个主要阶段从基础数据集 $D = \{(X_i, Y_i)\}$ 中创建新样本 $(\tilde{X}, \tilde{Y})$ ：

通过 Wasserstein Barycenter 生成病灶掩码：
- 随机选择两个基础样本 $(X_i, Y_i)$ 和 $(X_j, Y_j)$ 。
- 将两个原始地面真值掩码 $Y_i$ 和 $Y_j$ 中非零像素的坐标视为概率分布。
- 通过计算这两个分布的 Wasserstein barycenter 来生成新的病灶掩码 $\tilde{Y}_{les}$ 。这涉及优化新掩码点的坐标，以最小化到源掩码的加权传输代价：
  $B(\lambda, \alpha_i, \alpha_j, \beta) = \lambda OT(\alpha_i, \beta) + (1-\lambda)OT(\alpha_j, \beta)$
  其中 $\lambda \sim U(0,1)$ 是一个随机权重参数。
- 该过程在两个原始掩码的形状和位置之间进行插值，使得新病灶可以存在于两个原始位置之间的任何地方，且其形状是原始形状的平滑插值。
- 为了确保计算效率，作者使用了 去偏 Sinkhorn 散度（de-biased Sinkhorn divergence） 和 Sinkhorn 算法，使得在现代 GPU 上可在数秒内处理高达 $10^6$ 个点。
通过 Optimal Transport Map 生成图像与标签：
- 一旦定义了新的掩码 $\tilde{Y}_{les}$ ，则必须确定合成病灶的像素强度和标签。
- 计算生成的掩码 $\tilde{Y}_{les}$ 与其中一个源掩码（例如 $Y_j$ ）之间的 最优传输计划（optimal transport plan）。
- 对于新掩码中的每个像素，传输映射 $T$ 确定其在源图像 $X_j$ 中的对应位置。
- 强度合成： 合成像素的强度通过源图像强度在映射位置处的线性插值获得。
- 标签合成： 对于多类别任务，通过源标签图的最近邻插值分配地面真值标签。
- 随后将合成的病灶修复（inpaint）到基础图像（可以是 $X_i$ 、 $X_j$ 或来自数据集的第三张图像）上。后处理步骤会移除与现有病灶的交集或不符合解剖学位置（如颅骨、脑脊液）的情况。

核心贡献

新型合成框架： 引入了 OTLesMix，它独特地结合了用于形状/位置插值的 Wasserstein barycenters 和用于强度/标签转移的 optimal transport maps。
增强的多样性： 该方法通过生成具有多样化形状和位置的病灶，显式地解决了现有基于混合方法的局限性，这些方法生成的并非仅仅是现有数据的副本或简单的旋转。
达到最先进水平（SOTA）的性能： 该方法证明了在提升下游分割任务性能方面，优于标准的基于混合的增强技术。

实验结果
作者使用 nnUNet 作为骨干网络，在三个脑部病灶分割数据集上评估了 OTLesMix：

BraTS 2020： 胶质母细胞瘤和低级别胶质瘤分割（2D 切片）。
ATLAS v2.0： 中风神经影像（3D 体积）。
ISLES 2022： 缺血性中风病灶分割（3D 体积）。

定量发现：

OTLesMix 在所有数据集上均优于最先进的基于混合的方法（MixUp、CutMix、CarveMix）以及基线模型（仅使用传统数据增强的 nnUNet）。
相对于基线的提升： 与不使用合成数据的模型相比，Dice 相似系数（DSC）提高了 2.9 到 6.6 个点。
相对于竞争对手的提升： OTLesмix 比第二好的方法在 DSC 上高出 0.8 到 1.8 个点。
统计显著性： 与其他生成方法相比，这些改进具有统计学意义（ $p \le 0.05$ ），其中最大的 p 值为 0.012（对比 ATLAS 数据集上的 CarveMix）。

定性发现：
视觉检查确认，与其它方法相比，OTLesMix 生成的病灶在形状和位置上具有更大的多样性。该方法成功处理了多类别分割（BraTS）和具有多个连通分量的病灶（ATLAS、ISLES），并在插值形状方面保持了一致性。

意义与局限性
论文声称 OTLesMix 为数据稀缺的医学成像领域提供了一个鲁棒的解决方案，在简单的混合方法与复杂的全生成模型训练之间提供了一个折中方案。通过利用最优传输，它确保了合成样本在几何和强度上与底层数据分布保持一致。

然而，作者也承认了特定的局限性：

计算成本： 生成单个样本对于 2D 图像大约需要 1 秒，对于 3D 体积根据分辨率不同需要 1–3 分钟。
真实性约束： 该方法依赖于像素强度的线性插值。如果用于混合的两个源图像之间存在显著的领域差异（例如不同的扫描仪或采集协议），可能会导致修复的病灶不符合实际。
未来方向： 作者建议未来的工作可以将 OTLesMix 的掩码生成程序与掩码调节（mask-conditioned）的深度学习生成模型相结合，以进一步提高合成强度的真实感。

“完美融合”的魔力

OTLesMix 如何运作

它真的有效吗？

局限性

OTLesMix 技术摘要：用于合成病灶生成的 Wasserstein Barycenter 与 Optimal Transport Map

类似论文