💻 computer science

DiffuSAM: Diffusion-Based Prompt-Free SAM2 for Few-Shot and Source-Free Medical Image Segmentation

DiffuSAM 是一种无需提示的医学图像分割框架，它通过基于空间一致性条件的轻量级扩散先验合成类掩码嵌入来适配 SAM2，从而在无需用户提示或大量微调的情况下实现有效的少样本和无源域适应。

原作者： Tal Grossman, Noa Cahan, Lev Ayzenberg, Hayit Greenspan

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Tal Grossman, Noa Cahan, Lev Ayzenberg, Hayit Greenspan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文DiffuSAM的解释，将其拆解为简单概念并辅以日常类比。

核心问题：“聪明却茫然”的机器人

想象你有一个名为SAM2的超级智能机器人。这个机器人在数百万张猫、狗和汽车的图片上接受过训练。它非常擅长看着图片，只需你手指一点（即“提示”），就能说出“那是只狗！”或“那是辆车！”。

然而，当你向这个机器人展示X 光片或 MRI 扫描图时，它会感到困惑。医学图像与宠物照片截然不同；它们是灰度的，具有不同的纹理，并且显示的是内部器官而非毛发。

问题所在： 为了让 SAM2 在医学扫描上发挥作用，医生通常必须花费大量时间和金钱对其进行“重新训练”，并且他们仍然需要手动指向每一个器官，以便机器人理解要切除什么。这既缓慢，又需要人类持续在屏幕前操作。

解决方案：DiffuSAM（“魔法翻译器”）

作者们创建了一个名为DiffuSAM的新系统。把它想象成一个专业翻译器，位于原始医学图像和机器人（SAM2）之间。

DiffuSAM 不再要求人类去指向肝脏或肾脏，而是承担了繁重的工作。它观察医学图像，并构想出应有的“指令”，然后将该指令提供给 SAM2。

以下是其工作原理，分步说明：

1. “猜谜游戏”（扩散）

DiffuSAM 的核心是一个扩散模型。

类比： 想象一个充满雪花噪点、模糊不清的电视屏幕（纯噪声）。一位技艺精湛的艺术家（扩散模型）一层接一层地慢慢去除噪点，直到清晰的画面浮现出来。
在论文中： 系统从随机噪声开始。它利用医学图像作为“指南”，慢慢清理这些噪声，直到形成一张完美的数字指令卡（称为“记忆嵌入”）。这张卡片告诉 SAM2 器官的确切位置，而无需人类触碰屏幕。

2. “冻结的大脑”（SAM2）

作者们没有重新教导整个机器人（SAM2）如何“看”。那就像试图从头教一个成年人识字一样。

类比： 他们让 SAM2 的大脑保持冻结（锁定在其原始状态）。他们只训练了“翻译器”（扩散模型）去说 SAM2 的语言。
结果： 翻译器接收医学图像，生成“指令卡”，并将其交给冻结的 SAM2。随后，SAM2 立即勾勒出器官的轮廓。

3. “三维拼图”（体积一致性）

医学扫描不仅仅是单张图片；它们是切片堆叠（像一条面包）。如果你切一条面包，第 5 片面包的形状应该与第 4 片和第 6 片非常相似。

类比： 如果你在纸上画一个三维物体，你不希望顶层切片的画看起来像个圆圈，而下面一层的切片看起来像个正方形。
在论文中： DiffuSAM 会观察当前正在处理的切片旁边的切片。它利用“邻居”切片来确保器官在穿过三维体积时保持一致。这防止了机器人感到困惑，避免在切片之间出现肾脏突然消失或形状改变的情况。

为什么这很重要？（结果）

该论文在两个主要挑战上测试了此方法：

少样本学习（用极少数据学习）：
- 场景： 想象你只有 3 个特定器官的示例来教导系统，但你希望它能处理 27 个新的扫描图。
- 结果： DiffuSAM 能够从这些微小的示例中学习，并且表现优于其他需要大量数据或手动指向的方法。它实现了**87.24%**的平均准确率（Dice 分数）。
无源域适应（“陌生人”测试）：
- 场景： 你在CT 扫描（一种医学图像类型）上训练系统，然后要求它在MRI 扫描（一种完全不同的图像类型）上工作，而在训练期间从未向它展示过任何 MRI。
- 结果： 通常，机器人会在这个测试中失败。但由于 DiffuSAM 在抽象空间中学习了器官的“形状”，它能够适应新的 MRI 风格，而不再需要原始的 CT 图像。其表现与针对此特定任务的最佳现有方法一样出色。

总结

DiffuSAM是一个巧妙的技巧，它让通用人工智能（SAM2）能够在医学图像上工作，而无需人类去指向每一个器官。它利用一个“去噪”AI 自动生成指令，并检查相邻切片以确保三维解剖结构的合理性。即使在你训练数据很少，或者在不同类型的医学扫描仪之间切换时，它也能很好地工作。

以下是论文《DIFFUSAM: DIFFUSION-BASED PROMPT-FREE SAM2 FOR FEW-SHOT AND SOURCE-FREE MEDICAL IMAGE SEGMENTATION》的详细技术总结。

1. 问题陈述

医学图像分割对于临床诊断至关重要，但当前的最先进基础模型（如 Segment Anything Model 及其继任者 SAM2）面临着重大障碍。

领域差距：SAM 和 SAM2 是在自然图像上训练的，由于纹理、对比度和解剖结构的差异，它们难以泛化到医学数据。
提示依赖：这些模型需要用户提供提示（点、框或文本）才能运行，这对于自动化的临床工作流来说是不切实际的。
数据稀缺：监督微调需要大量由专家标注的数据集，其创建成本高昂且耗时。
现有适应方案的局限性：此前尝试将 SAM/SAM2 适应于医学数据的方案通常需要计算量巨大的微调，或者仍然依赖提示。此外，现有的无提示变体未能利用 SAM2 的体积记忆能力。

2. 方法论：DiffuSAM

作者提出了DiffuSAM，这是一个利用条件潜在扩散模型将 SAM2 适配用于无提示医学分割的框架。其核心思想是合成"memory embeddings"（记忆嵌入），SAM2 可利用这些嵌入生成掩码，从而有效取代对用户提示的需求。

核心架构

冻结骨干网络：SAM2 的图像编码器和记忆编码器在训练期间保持冻结。模型仅学习一个轻量级的扩散先验。
扩散先验训练：
- 输入：模型接收来自冻结 SAM2 图像编码器的图像嵌入（ $z_{img}$ ）和类别标签（ $l$ ）。
- 目标：它学习生成相应的记忆嵌入（ $z_{mem}$ ），即 SAM2 在给定提示时通常会产生的嵌入。
- 过程：基于 UNet 的扩散模型在去噪扩散概率模型（DDPM）调度下训练。它学习根据图像嵌入和标签对加噪的记忆嵌入进行去噪。
- 损失函数：训练目标结合了先验损失（重构记忆嵌入）和分割损失（确保生成的嵌入在通过 SAM2 的掩码解码器时能产生准确的掩码）。
推理（无提示生成）：
- 在推理阶段，扩散模型从纯噪声和图像嵌入开始。
- 它迭代去噪以合成记忆嵌入（ $\hat{z}_{mem}$ ）。
- 该合成的嵌入被注入到 SAM2 的记忆注意力和掩码解码器中，从而在不进行任何用户输入的情况下生成最终的分割掩码。

体积一致性（3D 条件）

为了解决医学体积数据（CT/MRI）的 3D 特性，DiffuSAM 强制跨切片的空间一致性：

当生成特定切片 $i$ 的记忆嵌入时，模型以相邻切片的分割预测（$adj$）为条件。
相邻切片的预测通过记忆编码器进行编码，并与当前切片的数据融合。
这确保了 3D 体积中切片间的解剖连续性，并防止了不一致性。

无源无监督域适应（SF-UDA）

该框架专为 SF-UDA 设计，即模型在源域（例如 CT）上训练，并在目标域（例如 MRI）上测试，且在目标适应期间无法访问源图像。

该方法利用了特征亲和性属性：同一类别的 SAM2 图像嵌入倾向于紧密聚类，即使在不同域之间也是如此。
源域训练的扩散先验直接应用于目标域切片，无需进一步微调，为目标域生成伪记忆嵌入。

3. 主要贡献

新颖框架：提出了 DiffuSAM，这是首个用于无提示医学图像分割的基于扩散的 SAM2 适配方案。
潜在空间操作：模型在 SAM2 的潜在嵌入空间中运行，使其能够在不修改庞大骨干网络的情况下捕捉高级特征分布。
体积集成：与 SAM2 的记忆注意力机制集成，通过跨切片条件确保 3D 切片间的解剖连续性。
效率：该方法仅需训练轻量级 UNet，而非微调整个基础模型，从而实现了低显存占用（<5GB GPU）和快速推理（仅需 2 个扩散步）。

4. 实验结果

该方法在两个主要数据集上进行了评估：BTCV（CT 扫描）和CHAOS（MRI 扫描），重点关注脾脏、肾脏和肝脏的分割。

少样本设置（BTCV）

设置：在 10% 的数据（3 个体积）上训练，在 90% 的数据（27 个体积）上测试。
性能：DiffuSAM 实现了平均 87.24% 的 Dice 分数。
对比：其表现优于依赖提示的原生 SAM/SAM2，以及在相同小数据集上训练的监督 UNet/UNETR 模型。它与 FATE-SAM（需要在测试时提供真实切片）具有竞争力，但无需手动提示或测试时监督。
消融实验：添加体积跨切片条件将平均 Dice 从 82.72%（DiffuSAM-no 3D）提升至 87.24%。

无源 UDA 设置（CT $\to$ MRI）

设置：在 BTCV（CT）上训练，在 CHAOS（MRI）上测试，且无法访问源图像。
性能：DiffuSAM 实现了平均 85.2% 的 Dice 分数。
对比：其表现显著优于其他无源基线（DPL: 56.0%），并与 DFG（85.2%）这一基于强特征亲和性的方法表现相当。
消融实验：体积条件将性能从 80.4% 提升至 85.2%。

5. 意义与结论

临床适用性：通过消除对用户提示的需求，DiffuSAM 弥合了基础模型与自动化临床工作流之间的差距。
数据效率：该方法证明，仅需少量训练数据（少样本）且在目标适应期间无需访问源数据（SF-UDA）即可实现高质量分割。
计算效率：与大型模型的全量微调不同，DiffuSAM 训练轻量级扩散先验，使其适用于资源受限的环境。
未来工作：作者承认，虽然 MedSAM（端到端训练并带有提示）表现更好，但 DiffuSAM 通过避免提示和全量微调提供了独特的优势。未来的工作将探索集成额外的 SF-UDA 技术。

总之，DiffuSAM 成功利用扩散模型的生成能力来“幻觉”出 SAM2 所需的记忆嵌入，实现了鲁棒的、无提示的、且具备域适应能力的医学图像分割。