💻 computer science

Selective State Space Models in Medical Imaging: A Systematic Review of Mamba-Based Architectures and Clinical Applications

这项针对445项近期研究（2024–2026年）的系统综述指出，由于具有线性计算复杂度，CNN-Mamba混合架构是医学成像中最有效的架构，同时也强调了必须通过原生3D模块来解决空间信息丢失和内存消耗等关键挑战，以实现临床集成。

原作者： Ali Emre Gök, Mustafa Yurdakul, Şakir Taşdemir

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Emre Gök, Mustafa Yurdakul, Şakir Taşdemir

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“大到装不下”的问题

想象一下，你正试图阅读一本关于人体结构的宏大 3D 百科全书（比如一份完整的 MRI 扫描图像），目的是为了寻找一个微小的肿瘤。

长期以来，医生们一直使用 CNN（卷积神经网络）。你可以把它们想象成一只手电筒。它们擅长扫描局部的小区域以观察精细细节（比如细胞的纹理），但它们无法同时看到整个房间。它们会错过全局大局。

随后出现了 Transformers (ViT)。它们像是超级眼睛，可以同时看到整个房间，理解天花板是如何与地板连接在一起的。然而，这其中有一个代价：你试图看到的细节越多，它们消耗的能量就越大。如果你尝试用 Transformer 去处理高分辨率的 3D 扫描，就像是背着一个沉重的背包去跑马拉松。电脑会耗尽内存（“背包”变得太重），导致整个过程停滞不前。

新英雄：Mamba

Mamba（及其家族——选择性状态空间模型）登场了。论文将 Mamba 描述为一位聪明且高效的图书管理员。

与其试图同时记住图书馆里的每一本书（这需要占用太多空间），这位图书管理员会逐一走过书架。但神奇之处在于：这位管理员是具有选择性的。在行走的过程中，他能瞬间决定哪些信息应该保留在短期记忆中，哪些应该丢弃。

优势： 他们可以处理庞大的图书馆（巨大的 3D 医学扫描图像），而不需要一个巨大的仓库（昂贵的计算机硬件）。无论图书馆变得多么大，他们的处理速度始终保持线性（稳定），而“超级眼睛”（Transformers）则会呈指数级变慢且变得越来越沉重。

这篇论文实际做了什么

作者们并没有发明新的 Mamba，而是扮演了侦探的角色。他们收集了 445 项近期研究（发表于 2024 年至 2026 年间），以观察 Mamba 在医学领域是如何被应用的。他们将这些研究分成了四个主要的“团队”或策略：

混合团队 (CNN-Mamba)： 这是最受欢迎的团队。他们将用于局部细节的手电筒（CNN）与用于全局大局的图书管理员（Mamba）结合在一起。
- 类比： 这就像是一位既使用放大镜观察指纹，又拥有整座城市地图的侦探。
- 结果： 这种方法目前是文献中的“冠军”，在脑肿瘤、皮肤病变和眼部扫描方面表现出色。
纯 Mamba 团队： 这些研究人员尝试只使用图书管理员，而不使用手电筒。
- 类比： 他们试图在不停止观察任何单个词汇的情况下，读完整本书。
- 结果： 对于巨大的 3D 数据，这种方式非常快速且高效，但有时会因为将 3D 图像压平为 1D 线条而错过微小的精细细节。
Transformer-Mamba 团队： 他们试图将超级眼睛与图书管理员结合起来。
- 类比： 他们试图制造一个既有超强视觉能力，又具备选择性记忆能力的机器人。
  ️ * 结果： 这对于复杂任务非常有效，但这个机器人通常太重、太贵，难以在标准的医院计算机上运行。
新扫描器团队： 由于 Mamba 是为 1D 列表（如文本）设计的，将其用于 2D 或 3D 图像比较困难。这些研究人员发明了新的“扫描”图像的方法。
- 类比： 不仅仅是从左到右阅读书籍，他们发明了对角线阅读、螺旋式阅读或同时从四个角落阅读的方法，以确保不会漏掉任何一页。

好消息

论文声称 Mamba 是一个游戏规则改变者，因为它解决了“背包问题”。它允许计算机处理高分辨率的 3D 医学图像（如完整的脑部扫描），其速度比旧的 Transformer 模型更快，且占用的内存更少。它正在成为处理大型医学数据的全新标准。

坏消息（瓶颈）

尽管令人兴奋，但论文指出了阻碍 Mamba 在明天就能进入每家医院使用的三个主要障碍：

“压平”问题： 为了让 Mamba 工作，我们通常不得不把一个器官的 3D 立方体压平成一条 1D 线条（就像铺开地毯一样）。
- 问题所在： 当你铺开地毯时，在 3D 世界中原本紧挨着的邻居，在直线中可能会变得相距甚远。这会导致模型失去关于组织如何连接的“空间感”。
“沉重背包”问题（内存）： 即便 Mamba 很高效，但流行的“混合”模型（结合了 CNN 和 Mamba）仍然需要大量的内存。
- 问题所在： 许多医院使用的是较旧的计算机。这些模型往往太重，无法在手术过程中进行实时运行，也无法在便携式超声设备上运行。
“一刀切”问题： 大多数研究都在公开的、完美的数据库（就像一个干净的标准图书馆）上测试这些模型。
- 问题所在： 真实的医院拥有杂乱的数据（嘈杂的超声波、不同类型的机器、缺失的扫描件）。论文指出，这些模型尚未在来自不同医院的真实、杂乱的数据上进行足够的测试，以证明它们在做出关键决策时足够可靠。

结论

论文得出结论：Mamba 不仅仅是一个转瞬即逝的趋势；它很可能是下一代医学 AI 的核心支柱。然而，在它能被完全信任并应用于临床之前，研究人员需要：

构建“原生 3D”版本，使其不再需要将图像压平为线条。
使模型变得更轻量化，以便适配小型设备。
在来自不同医院的杂乱、真实数据上进行测试。

简而言之：Mamba 是那位聪明且高效的图书管理员，终于可以不用感到疲惫地读完整本医学百科全书，但我们仍需教会它如何在杂乱的现实世界图书馆中导航，而不至于迷失方向。

技术摘要：医学影像中的选择性状态空间模型

1. 问题陈述

医学图像分析面临着建模局部特征与捕捉全局上下文之间的关键权衡。卷积神经网络（CNN）由于其归纳偏置和空间局部性，在局部特征提取方面表现出色；然而，它们难以处理大型解剖结构中固有的长程依赖关系。相反，视觉 Transformer（ViT）通过自注意力机制解决了全局上下文问题，但其计算复杂度相对于 Token 数量呈二次方增长（ $O(N^2)$ ）。这种二次方缩放在处理高分辨率 2D 图像以及更关键的 3D 体积医学数据（如 MRI、CT）时，会产生严重的硬件和内存瓶颈，从而阻碍其临床部署。

尽管选择性状态空间模型（Selective SSMs），特别是 Mamba 架构，通过以线性计算复杂度（ $O(N)$ ）处理序列数据提供了解决方案，但将其直接应用于医学影像仍面临新挑战。标准的 Mamba 架构是为 1D 序列设计的；将 2D 或 3D 医学图像展平为 1D 序列会破坏空间连续性、拓扑一致性和方向依赖性。此外，将这些模型适配到 2D/3D 数据时，通常需要多方向扫描机制，这会增加内存消耗，可能抵消其相对于 Transformer 的效率优势。

2. 研究方法

本研究是一项按照 PRISMA 指南进行的系统综述，旨在评估 Mamba 架构在医学人工智能领域的集成情况。

检索策略： 在四个数据库（Web of Science, IEEE Xplore, Scopus, ACM Digital Library）中进行了全面检索，针对 2024 年至 2026 年间发表的同行评审期刊文章。
筛选标准： 本综述侧重于使用 Mamba 或选择性 SSM 进行医学/生物医学成像任务（分割、分类、合成等）的研究。非同行评审作品、非医学应用以及缺乏实质性方法论贡献的研究被排除在外。
数据合成： 从最初的 1,259 篇文章中，有 445 项研究符合纳入标准。随后选取了具有代表性的 60 项研究（每个架构类别 15 项）进行详细的定性合成。
定性批判性评估： 作者并未进行定量元分析（因任务和指标的异质性被认为不可行），而是采用了侧重于以下三个标准的定性评估：
1. 方法论透明度与可复现性（开源代码、与 SOTA 的对比）。
2. 数据集鲁棒性与验证（公开 vs 私有、交叉验证）。
3. 计算可行性与临床适用性（参数负载、内存瓶颈、泛化能力）。

纳入的 445 项研究被分为四种架构类型：

纯 Mamba 适配型： 直接应用 Mamba 主干网络而不进行杂化。
CNN-Mamba 混合型： 将用于局部特征提取的 CNN 与用于全局上下文的 Mamba 相结合。
Transformer-Mamba 集成型： 将 ViT/Swin-Transformer 模块与 Mamba 进行杂化。
新型扫描机制： 在扫描路径（如交叉扫描、分形、双向扫描）方面的创新，以保持空间拓扑结构。

3. 主要贡献与发现

3.1 架构主导地位

综述指出，CNN-Mamba 混合型是当前文献中最为主导且高效的方法。这些模型成功地将 CNN 的局部特征提取能力与 Mamba 的全局上下文建模能力相结合。它们在需要微观组织细节和宏观器官拓扑结构的任务中（如脑肿瘤分割、皮肤病变检测和病理分析）尤为盛行。

3.2 模态与任务

模态： 该架构对 MRI 和 CT（分别为 18% 和 15% 的研究）以及多模态数据（27%）表现出最高的适应性。Mamba 的线性复杂度为处理这些模态的高分辨率、3D 体积特性提供了天然优势。
任务： 虽然医学图像分割是主要关注点，但该架构也越来越多地应用于分类、图像合成、重建和报告生成。

3.3 性能与局限性

性能： 基于 Mamba 的模型（尤其是混合模型）展示了极高的诊断准确度，并且在 Dice 分数和 IoU 方面通常优于标准的 CNN 和 Transformer，尤其是在 Transformer 在处理 3D 体积任务时面临内存困境的情况下。
方法论瓶颈：
- 空间信息丢失： 必须将 2D/3D 图像展平为 1D 序列的需求导致了空间连续性和拓扑一致性的丧失。
- 内存开销： 多方向扫描机制（如 VMamba/SS2D 中的机制）和混合架构（双分支结构）往往会导致过高的参数量和内存消耗，限制了在资源受限的临床硬件上的部署。
- 泛化能力： 许多研究依赖于标准的开放获取数据集（如 BraTS, ISIC），缺乏多中心外部验证，这引发了对针对现实世界临床变化（噪声、低剂量采集、患者运动）的鲁棒性的担忧。

3.4 质量评估

综서指出，虽然方法论透明度普遍较高（许多研究发布了代码），但由于缺乏领域泛化能力，数据集的鲁棒性普遍处于低到中等水平。计算可行性仍然是一个重大障碍，很少有研究展示了成功的实时或边缘设备部署。

4. 意义与未来方向

本文认为，Mamba 通过在数学上调和 Transformer 的全局上下文与 CNN 的线性效率，代表了医学图像分析的一次变革性转变。然而，作者保持了审慎的态度，强调 Mamba 尚未成为临床集成的“即插即用”解决方案。

意义：

Mamba 为应对 ViT 的二次方瓶颈提供了一个可行的替代方案，能够在不产生 Transformer 那样高昂内存成本的情况下，处理高分辨率和 3D 医学数据。
CNN-Mamba 混合方法是目前平衡局部与全局特征提取的最具前景的路径。

作者确定的未来方向：

原生 3D 选择性 SSM： 开发能够直接处理 3D 体积而不进行展平的 Mamba 模块，以保留空间拓扑和像素间的邻域关系。
医学基础模型： 利用 Mamba 的效率，在无标签临床数据上构建大规模自监督基础模型，以解决医疗数据集标注稀缺的问题。
边缘集成： 应用模型压缩技术（剪枝、量化、知识蒸馏）来降低参数密度，从而实现向便携式设备和实时手术导航系统的部署。

文章总结道，虽然基于 Mamba 的架构正迅速成为下一代医学 AI 的骨干，但在其能够完全集成到临床决策支持系统中之前，克服空间信息丢失和内存瓶颈至关重要。