💻 computer science

Synthetic Data Generation for Long-Tail Medical Image Classification: A Case Study in Skin Lesions

本文提出了一种由扩散模型驱动的合成数据增强流程，该流程包含一种新颖的图像修复模型和一种分布外后选择机制，以有效解决医学图像分类中的长尾类别不平衡问题，并在 ISIC2019 皮肤病变数据集上实现了显著的性能提升，尤其是在罕见类别上。

原作者： Jiaxiang Jiang, Mahesh Subedar, Omesh Tickoo

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaxiang Jiang, Mahesh Subedar, Omesh Tickoo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一名学生识别不同类型的皮肤斑点。在现实世界中，有些斑点非常常见（例如“头部”类别），而另一些则极其罕见但危险（例如“尾部”类别）。

问题在于，你的学生只能学习 10,000 张常见斑点的图片，却只有 50 张罕见且危险斑点的图片。自然而然地，这名学生在识别常见斑点方面成为了专家，但一旦遇到罕见斑点，就会彻底失败。这就是医疗人工智能中的“长尾”问题。

本文提出了一种巧妙的解决方案：不要仅仅更努力地学习；而是创造更多的学习材料。

以下是他们如何做到的，通过简单的类比进行解释：

1. 问题：不平衡的图书馆

将医疗数据集想象成一座图书馆。“头部”类别拥有摆满书籍（图片）的整排书架，而“尾部”类别在底层书架上只有一本积满灰尘的书。当人工智能尝试学习时，它会忽略底层书架，因为那里没有什么可阅读的。但在医学领域，那本孤零零的书可能描述了一种致命疾病，因此忽略它是危险的。

2. 解决方案：“魔法复印机”（扩散模型）

作者没有等待更多真实患者出现，而是建造了一台“魔法复印机”（扩散模型），能够生成那些罕见皮肤斑点的新颖、逼真的图片。

图像修复（Inpainting）技巧：想象你有一张皮肤斑点的照片，但你擦除了斑点本身，只留下周围的皮肤。人工智能的任务就是在这个空白区域“绘制”一个新的斑点。
转折：他们训练这台人工智能观察周围的皮肤以及他们想要创建的特定疾病类型，然后在空白空间中“绘制”出该罕见疾病的全新、逼真版本。

3. 安全检查：“质量控制检查员”（分布外过滤）

这里有个陷阱：当你要求人工智能想象它很少见过的东西时，它有时会感到困惑并画出荒谬的内容（例如蓝色的皮肤斑点，或者看起来像卡通的斑点）。这些被称为分布外（OOD）样本——不属于现实世界的虚假数据。

如果你将这些虚假、怪异的图片喂给你的学生，他们可能会感到困惑并学到错误的东西。

因此，作者添加了一名质量控制检查员。在将新图片加入学生的学习堆之前，这名检查员会进行检查。如果一张图片看起来太怪异，或者不符合该疾病“现实世界”的规则，检查员就会将其丢弃。只有干净、逼真且“分布内”的图片才能留下。

4. 结果：更优秀的学生

作者在著名的皮肤病变数据集（ISIC2019）上测试了这种方法。

设置：他们选取了罕见疾病（样本极少的疾病），利用他们的“魔法复印机”生成了数百张高质量合成图像，过滤掉劣质图像，并将它们与原始照片混合。
结果：他们在这一新的、平衡的数据堆上训练了一个标准的人工智能分类器。
- 总体得分：人工智能在识别所有类型斑点方面有了显著提升。
- 重大胜利：罕见疾病的表现得到了巨大改善。对于最罕见的类别（皮肤纤维瘤），准确率提升了超过 28%。
- 对比：他们的方法击败了其他试图通过改变数学方法（损失函数）或构建复杂的团队式人工智能模型来解决该问题的顶级方法。他们仅仅是通过为人工智能提供更好、更平衡的学习材料就做到了这一点。

5. “甜蜜点”的发现

他们还发现了质量控制的一个“金发姑娘”（Goldilocks）区域。

如果他们保留太多生成的图像（包括那些怪异的图像），人工智能就会感到困惑。
如果他们保留太少，就无法为罕见疾病提供足够的帮助。
他们发现，在过滤后保留约**20% 到 60%**的生成图像，是在不增加噪声的情况下提升性能的最佳平衡点。

总结

简而言之，这篇论文指出：“不要试图用一本微小且不平衡的教科书来教导学生。使用一台经过智能安全检查的复印机，为那些稀有的章节打印更多页面，你的学生就会学得更好。”

这种方法不需要为人工智能构建一个超级复杂的新大脑；它只是为现有的大脑提供了一套更公平的学习材料。

技术摘要：用于长尾医学图像分类的合成数据生成

问题陈述
长尾类别分布在多类别医学数据集中普遍存在，给深度学习模型带来了重大挑战。在这些场景中，少数主导的“头部”类别包含了大部分样本，而众多具有临床关键意义的“尾部”类别（通常对应罕见的高风险疾病）则严重代表性不足。在此类偏斜数据上训练的模型通常能实现具有竞争力的整体准确率，但无法泛化到尾部类别。现有的解决方案——分为损失函数设计、模型架构改进和类别重平衡——仅提供边际改进。这些方法通常依赖于繁琐的超参数调整，在不同模型间的泛化能力有限，并且由于手工数据增强的确定性本质而难以扩展。此外，尽管扩散模型在生成自然图像方面已显示出成功，但其在特定领域、长尾医学成像中的应用仍探索不足，特别是在生成多样化且具有临床意义的样本方面。

方法论
作者提出了一种专为长尾医学图像分类（LTMIC）定制的扩散模型驱动的合成数据增强流程，并在皮肤损伤分类中进行了具体演示。该方法包含三个主要阶段：

修复扩散模型架构：
该方法的核心是一种新颖的修复扩散模型。与不适用于高度专业化医学描述的标准文本嵌入模型不同，作者训练了一个简单的全连接类别嵌入网络。该模型接收四个输入：原始皮肤镜图像（ $x$ ）、二值感兴趣区域掩码（ $b$ ）、皮肤镜图像的背景（ $d$ ）以及类别标签（ $y$ ）。图像和背景通过预训练的变分自编码器（VAE）编码到潜在空间。二值掩码被重新缩放以匹配潜在维度。这些组件被拼接后输入到由 $\theta_d$ 参数化的 UNet 中，以估计前向扩散过程中添加的噪声。由 $\theta_c$ 参数化的类别嵌入网络提供标签条件。
基于样本选择的微调：
为了确保扩散模型能同等良好地学习每个类别的分布，在微调过程中采用了一种过采样策略。作者利用了先前研究的发现，即“近似分布内”（AID）样本（那些略微偏离分布中心的样本）对训练生成模型最为重要。因此，使用一种自监督医学异常检测方法为每个样本计算异常分数。根据样本与其类别中位数异常分数的距离分配权重；靠近 AID 区域的样本被赋予更高的权重，并被重复以平衡所有类别的微调数据集。
合成生成与分布外（OOD）过滤：
微调后的模型通过输入原始训练集的背景图像和类别标签来生成合成图像。由于扩散模型的随机性，初始合成数据集（ $D_{syn}$ ）包含“噪声”样本，包括可能不具备临床有效性的分布外（OOD）图像。为了解决这一问题，对 $D_{syn}$ 应用医学 OOD 过滤机制，以生成干净的合成数据集（ $D_{clean}^{syn}$ ）。最终的训练数据集由原始长尾数据集（ $D_{LT}$ ）与 $D_{clean}^{syn}$ 组合而成。超参数 $\gamma$ 控制从合成集中为每个类别保留的干净样本的百分比。

主要贡献
本文概述了三项主要贡献：

新颖流程： 一个合成数据生成流程，集成了修复扩散模型与 OOD 过滤，专门设计用于解决 LTMIC 问题。
专用架构： 一种专为医学图像生成定制的修复扩散模型架构，利用专用的类别嵌入网络和背景条件，而非通用的文本嵌入。
采样策略： 一种基于 OOD 的采样策略，用于在医学长尾数据集上微调扩散模型，该策略优先考虑 AID 样本，以提高尾部类别生成数据的质量。

实验结果
该方法在 ISIC2019 皮肤损伤分类数据集上进行了评估，该基准包含 8 个类别的 25,331 张图像，存在严重的不平衡（从痣的 12,875 个样本到血管病变的仅 62 个样本）。实验采用了 5 折交叉验证和一个简单的基于 CNN 的分类器（未使用集成或外部数据），以隔离数据生成方法的影响。

整体性能： 所提出的方法实现了 0.802 的平衡多类别准确率（BMA），显著优于当前的最先进（SOTA）方法，包括多模型集成（MRE）和其他基于扩散的方法（例如 CBDM、Dreambooth）。值得注意的是，该方法无需外部数据，在 BMA 上就比 MRE 方法高出约 4%。
尾部类别改进： 最显著的增益出现在尾部类别中。对于样本最少的类别（皮肤纤维瘤，DF），与没有合成数据的基线相比，该方法的准确率提高了 28% 以上。
OOD 过滤的影响： 研究发现，OOD 过滤对于平衡性能至关重要。虽然未经过滤的合成数据显著改善了尾部类别，但它引入了噪声，略微降低了头部类别的性能。过滤过程在保持尾部类别增益的同时，恢复了头部类别的性能。
超参数敏感性： 关于 $\gamma$ （干净合成样本的保留率）的消融研究表明，即使少量合成数据也能使性能急剧提升，但随着 $\gamma$ 接近 1（无过滤），性能趋于平稳或下降。 $\gamma$ 的最佳范围被确定为 0.2 到 0.6 之间。

意义与主张
作者声称，他们的结果证明了基于扩散的增强在缓解长尾不平衡和增强医学分类鲁棒性方面的有效性。通过生成多样化、逼真且具有临床意义的合成样本，该方法解决了罕见疾病的数据稀缺问题，而无需依赖对超参数敏感的复杂模型集成或专用损失函数。本文得出结论，虽然当前方法将数据生成和分类视为独立过程，但未来的工作将专注于这些组件的联合优化，以进一步提升 LTMIC 性能。该方法被呈现为与模型无关，能够与任何分类架构集成。