💻 computer science

A Novel Approach for Integrating Mamba and Diffusion in 3D Medical Imaging

本文介绍了 MedMamba3D，这是一种创新的混合架构，它集成了具有线性复杂度的 3D Mamba 编码器、一个确定性 U-Net 分支，以及一个由不确定性估计引导的条件扩散模型，旨在实现具有卓越解剖一致性、对缺失数据具有鲁棒性以及提升下游分割性能的最先进 3D 医学图像重建。

原作者： afifa khaled, Said Jadid Abdulkadir, Majdy Mohamed Eltayeb Eltahir

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： afifa khaled, Said Jadid Abdulkadir, Majdy Mohamed Eltayeb Eltahir

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图完成一个巨大的三维拼图，但有人撕掉了其中大块的图像，只留下了一些零散的碎片。这就是医生在使用 MRI 和 CT 等 3D 医学扫描影像时的日常现实。有时，患者移动了、机器出现了故障，或者扫描本身未能捕捉到整个身体，从而留下了数据的“空洞”。填补这些缺失的部分极其困难，因为人体非常复杂；如果你猜错了，你可能会凭空捏造出一个肿瘤，或者掩盖了一个真实的肿瘤。多年来，科学家们一直尝试使用不同类型的“智能”计算机程序来解决这个问题。有些程序像是“局部侦探”，只观察彼此相邻的像素（CNN）；而另一些则像是“全局规划师”，试图理解整个画面，却又被海量的数据所拖累（Transformer）。还有一些程序表现得像“艺术家”，随机猜测缺失部分可能长什么样（扩散模型），但它们有时会搞错解剖结构，或者无法告诉你对自己的猜测有多大的把握。核心问题在于：我们能否构建一个既快速、又能理解全身结构、能创造逼真细节，并且明确知道自己在何时进行猜测的单一系统？

本文介绍了一种名为 MedMamba3D 的新系统，它试图通过将四种不同的技术组合成一个“超级团队”来回答这个问题。你可以把它想象成一个建筑施工队，其中的每一位成员都有其特定的、至关重要的职责。首先是 Mamba 编码器，它是一个“智能扫描仪”，可以从各个角度读取 3D 体积数据。与那些在处理巨大 3D 块时会变得缓慢且混乱的旧方法不同，这个扫描仪极其高效，它以线性复杂度处理数据，同时仍能记住身体不同部位之间的远程连接。这就像一位图书管理员，无需走遍每一个过道，就能瞬间回忆起庞大图书馆中任何一本书的位置。

接着，施工队分为两个专门的分支。第一个是 确定性 U-Net，即“建筑师”。它的任务是确保身体的基本结构符合逻辑。它观察部分扫描结果，并构建出缺失部分的稳固且符合解剖学正确的骨架，确保心脏不会突然出现在肺部里面。第二个分支是 条件扩散模型，即“艺术家”。当建筑师构建出结构时，这个分支负责添加精细的细节——纹理、边缘以及使扫描看起来真实的细节噪声。它利用来自智能扫描仪的信息来引导其艺术性的猜测，确保细节符合上下文环境。

但这里最关键的部分是 融合模块。在许多之前的尝试中，这些不同的方法只是简单地被平均化在一起，就像混合颜料颜色并寄希望于运气一样。MedMamba3D 则更加聪明。它扮演着“置信度评判员”的角色。它会询问建筑师和艺术家：“你们对这个特定位置有多大的把握？”如果建筑师很有信心而艺术家却不确定，那么最终的图像就会更多地倾向于建筑师的猜测；反之亦然。这个过程被称为“逆方差加权”，它确保了最终结果是结构完整性与逼真细节的完美结合，同时还能生成一张“忧虑图”，向医生展示计算机在哪些地方不太确定。

作者在真实的医学数据集上测试了这个新系统，包括脑肿瘤扫描（BraTS 2021）、膝盖 MRI 扫描（fastMRI）和胸部 X 光片（MIMIC-CXR）。结果表明，MedMamba3D 是一个重大的进步。在脑肿瘤测试中，它实现了 28.34 ± 0.26 的 PSNR（一种衡量图像清晰度的指标），以明显的优势击败了次优的方法。它还提高了肿瘤分割（寻找肿瘤精确形状）的准确度，比以往的方法提升了 8.9%。更令人印象深刻的是，即使在 90% 的数据缺失情况下，该系统依然保持了鲁棒性，仍能生成可用的重建图像，其 PSNR 为 24.6 ± 0.4。该系统也比其他高质量方法快得多；某些扩散模型生成一张图像需要超过 3 秒，而 MedMamba3D 仅需 0.52 秒。

论文明确反对依赖单一方法的解决方案。它指出，仅使用“建筑师”（标准的 CNN）会导致图像模糊且细节有限；而仅使用“艺术家”（纯扩散模型）则面临创造出解剖学上不可能存在的结构或无法估计不确定性的风险。作者发现，仅靠其中任何一种方法都不够；只有当它们与基于不确定性的融合相结合时，奇迹才会发生。他们还否定了 Transformer 是 3D 体积最佳解决方案的观点，指出其计算成本增长过快（二次复杂度），无法实际应用于高分辨率 3D 扫描，而他们的 Mamba 方法则保持了高效（线性复杂度）。

在这些实验中，新模型不仅看起来更好，而且更加可靠。它实现了 0.08 的校准得分（ECE），这意味着其置信度水平非常接近现实，相比之下，标准 3D U-Net 的得分为 0.21，这是一个巨大的进步。作者总结道，虽然该方法需要配对数据且对内存要求较高，但它成功证明了将状态空间建模、扩散过程和不确定性估计相结合，可以创造出一种不仅更准确，而且由于能告诉医生何时该信任图像、何时该保持谨慎，从而在临床应用中更加安全的工具。

技术摘要：一种用于 3D 医学成像中集成 Mamba 与扩散模型的创新方法

问题陈述
本文解决了 3D 医学体积重建中的关键挑战，特别是针对由于运动伪影、视野受限或采集约束导致的局部体积数据缺失（补全）问题。作者指出，现有的最先进方法存在以下特定局限性：

CNNs（如 3D U-Net）： 受限于较小的感受野，限制了其捕捉长程解剖依赖关系的能力。
Transformers（如 Swin-UNETR）： 虽然能够进行全局上下文建模，但面临二次方计算复杂度 $O(N^2)$ 的问题，使得处理高分辨率 3D 体积在计算上难以实现。
扩散模型（Diffusion Models）： 尽管在生成高频细节方面非常有效，但它们具有随机性，可能导致解剖学上不一致的输出，并且缺乏准确的不确定性估计能力。

方法论：MedMamba3D
作者提出了 MedMamba3D，这是一个混合架构，旨在将四种互补技术整合到一个由不确定性估计引导的单一框架中。该架构由以下部分组成：

3D 选择性状态空间编码器（Mamba）：
- 利用具有双向扫描机制的分层 Mamba 编码器。
- 采用选择性状态空间机制，其中系统参数（ $A, B, C$ ）是输入依赖的，使模型能够动态地记住相关信息并遗忘无关数据。
- 实现线性计算复杂度 $O(N)$ ，能够高效处理高分辨率 3D 体积（例如 $256^3$ 体素），相比之下，Transformer 的复杂度为 $O(N^2)$ 。
- 提取用于后续分支作为条件的潜在特征。
确定性 U-Net 分支（解剖先验）：
- 一个利用来自 Mamba 编码器跳跃连接（skip connections）的 3D U-Net 结构。
- 专注于维持全局解剖一致性和结构完整性。
- 使用 $L_1$ 和 $L_2$ 损失进行训练，以确保重建符合观测数据和解剖先验。
条件扩散分支（高频生成）：
- 一个生成分支，使用部分体积和来自 Mamba 编码器的潜在特征作为条件。
- 执行反向扩散过程，以生成确定性分支可能遗漏的高频细节和逼真纹理。
- 旨在预测添加到目标体积中的噪声（ $\epsilon$ ）。
不确定性感知贝叶斯融合模块：
- 区分偶然不确定性（aleatoric uncertainty，通过确定性路径中的逐体素方差以及跨随机扩散轨迹的方差来估计）和认知不确定性（epistemic uncertainty，通过 Monte Carlo Dropout 和随机种子来估计）。
- 使用逆方差加权将确定性分支（ $\hat{X}_d$ ）和生成性分支（ $\hat{X}_g$ ）的预测结合起来。这种理论上最优的融合方式根据其估计的置信度对预测进行加权，从而产生最终的体积（ $\hat{X}_{fused}$ ）及相应的置信度图（uncertainty map）。

核心贡献

架构集成： 提出了一种专门用于 3D 医学体积补全的新型集成方法，将 Mamba（状态空间模型）、扩散模型和贝叶斯不确定性融合相结合，构建于近期状态空间与扩散混合模型的发展基础之上。
效率： 证明了基于 Mamba 的编码器可以处理具有线性复杂度的 3D 体积数据，克服了 Transformer 的可扩展性问题。
可靠性： 引入了一种估计并利用偶然不确定性和认知不确定性的机制，以引导确定性预测与随机性预测的融合，解决了纯扩散模型存在的“解剖学不一致”问题。
鲁棒性： 该模型设计用于在显著数据丢失（高达 90% 的数据缺失）的情况下仍能稳健运行。

实验结果
模型在三个数据集上进行了评估：BraTS 2021（脑部 MRI）、fastMRI 和 MIMIC-CXR。

定量性能： MedMamba3D 在所有指标上均达到了最先进水平（SOTA）。
- 在 BraTS 上，它实现了 28.34 dB 的 PSNR，优于 Swin-UNETR (24.62 dB) 和 LDM (24.94 dB)。
- 相比 Transformer，其 PSNR 提升了 3.7 dB；相比扩散模型，提升了 3.4 dB。
- 它实现了卓越的校准度，预期校准误差（ECE）为 0.08。
- 分割性能相比基准模型提升了 8.9%（Dice 系数）。
缺失数据鲁棒性： 即使在 90% 数据缺失的情况下，该模型仍保持了高性能，达到 24.6 dB 的 PSNR，显著优于 3D U-Net (17.6 dB) 和 Swin-UNETR (20.1 dB)。
效率： 在 fastMRI 数据集上，MedMamba3D 的推理时间仅需 0.52 秒，比 LDM (3.1 s) 和 Swin-UNETR (1.38 s) 更快，同时提供了更高的 PSNR 和 SSIM。
消融实验： 实验证实，通过完整集成 Mamba 编码器、扩散分支和贝叶斯融合，可以获得最佳结果，其中融合模块特别提高了校准度并减少了感知误差（LPIPS）。

意义与主张
论文声称 MedMamba3D 成功解决了解剖一致性（由确定性模型提供）与高频细节生成（由扩散模型提供）之间的权衡问题，同时确保了 3D 体积处理的计算可行性。通过引入不确定性估计，该模型为临床医生提供了置信度图，使其能够识别重建过程中高不确定性的区域。

作者承认了该方法的局限性，指出该方法对内存要求较高，需要配对数据集，并且涉及漫长的训练过程和昂贵的扩散采样过程。然而，他们断言该方法在创建可靠、高保真 3D 医学体积以用于临床分析、分割和治疗规划方面，提供了显著的进展。

技术摘要：一种用于 3D 医学成像中集成 Mamba 与扩散模型的创新方法

类似论文