🤖 AI

SegMaFormer: A Hybrid State-Space and Transformer Model for Efficient Segmentation

本文提出了 SegMaFormer，一种结合 Mamba 与 Transformer 的轻量级混合架构，通过在高分辨率阶段利用 Mamba 降低计算开销并在低分辨率阶段使用自注意力机制，实现了在显著减少参数量和计算成本的同时，在多个 3D 医学图像分割基准上达到与大型模型相媲美的性能。

原作者： Duy D. Nguyen, Phat T. Tran-Truong

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Duy D. Nguyen, Phat T. Tran-Truong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SegMaFormer 的新 AI 模型，它的主要任务是像医生一样，在 3D 医学影像（比如 CT 或 MRI 扫描）中精准地“圈”出肿瘤、心脏或器官。

为了让你轻松理解，我们可以把做医学图像分割想象成在一张巨大的、复杂的 3D 地图中找特定的地标。

1. 以前的难题：要么太慢，要么太笨

在深度学习出现之前，AI 看医学图像主要靠两种“老方法”：

CNN（卷积神经网络）： 就像拿着放大镜看地图。它很擅长看清局部的细节（比如一个细胞长什么样），但因为视野太窄，很难理解整个地图的全局关系（比如这个肿瘤和远处的血管有没有联系）。
Transformer（注意力机制）： 就像拥有上帝视角的无人机。它能一眼看清整个地图，理解全局关系。但是，如果地图太大（3D 医学图像数据量巨大），无人机要计算所有点之间的关系，耗电量（计算资源）和内存会爆炸，普通电脑根本跑不动。

现状是： 想要既看清细节又懂全局，以前的模型要么太笨重（参数太多，像背着一座山在跑），要么在 3D 数据上跑不动。

2. SegMaFormer 的绝妙创意：聪明的“分工合作”

SegMaFormer 就像是一个精明的团队指挥官，它把任务分给了两个性格不同的助手，让它们在最合适的时候出场：

助手 A：Mamba（高效的“快递员”）

角色： 负责早期、高分辨率的阶段（也就是刚拿到图像，细节还很多的时候）。
特点： Mamba 是一种新的技术，它像快递分拣员。它不需要把每个包裹都互相比较，而是按顺序快速处理，速度极快，计算量很小（线性复杂度）。
作用： 在图像还很大、细节很多的时候，用 Mamba 快速扫描，既省资源又能捕捉到重要的空间信息。

助手 B：Transformer（全局的“战略家”）

角色： 负责后期、低分辨率的阶段（图像已经被缩小，变成了几个大的“区块”）。
特点： Transformer 擅长全局思考，但计算量大。
作用： 当图像被缩小后，数据量变小了，这时候再让“战略家”出场，用它的“上帝视角”去分析各个大区块之间的关系，既准确又不会让电脑死机。

比喻总结：
这就好比你要整理一个巨大的图书馆：

Mamba 先上场，快速把成千上万本书按顺序整理好（处理高分辨率细节），因为它速度快、不累。
等书被打包成几个大箱子后，Transformer 再上场，站在高处分析这几个大箱子之间的逻辑关系（处理全局上下文）。
最后，通过一个轻量级的“解码器”（就像把整理好的书重新摆回书架），生成最终的分割结果。

3. 它的“秘密武器”：3D-RoPE

为了让模型更好地理解 3D 空间（比如上下、左右、前后），作者给模型加了一个**“空间指南针”（3D-RoPE）**。

以前的模型可能分不清“上面”和“下面”，或者在旋转图像时容易迷路。
这个指南针让模型无论怎么旋转或移动视角，都能清楚地知道每个部分在 3D 空间中的确切位置，就像给模型戴上了3D 眼镜，让它对解剖结构更敏感。

4. 成绩如何？“小身材，大能量”

这个模型最厉害的地方在于**“性价比”**：

以前的大模型： 像一辆重型坦克，参数多（比如 1.5 亿个参数），计算量大，跑起来很慢，需要昂贵的显卡。
SegMaFormer： 像一辆高性能的跑车，只有200 万个参数（比坦克轻了 75 倍！），计算量也极小。

实验结果：
在三个著名的医学图像测试集（脑肿瘤、多器官、心脏）上，这辆“跑车”的表现竟然和那些“重型坦克”一样好，甚至在某些情况下更好。

它不需要预先训练（不用先吃遍天下数据再上岗）。
它能在普通的电脑硬件上运行，这意味着发展中国家的医院、设备有限的诊所也能用上这种顶尖的 AI 技术。

总结

SegMaFormer 的核心思想就是：不要试图用一把大锤去敲所有的钉子。
它通过**“早用 Mamba（快），晚用 Transformer（准）”的混合策略，加上“空间指南针”，成功地在速度、精度和资源消耗**之间找到了完美的平衡点。它证明了在医疗 AI 领域，不需要越重越好，小而美、聪明高效才是未来的方向。

SegMaFormer 技术总结

1. 研究背景与问题 (Problem)

3D 医学图像分割是医疗诊断和治疗规划（如肿瘤检测、多器官识别）中的核心任务。尽管基于卷积神经网络（CNN）的架构（如 nnU-Net）长期占据主导地位，但其感受野受限，难以捕捉全局上下文信息。

近年来，Transformer 和基于状态空间模型（SSM，如 Mamba）的架构通过引入全局注意力机制或线性复杂度的序列建模，显著提升了性能。然而，现有最先进的模型面临以下主要挑战：

计算复杂度高：Transformer 的自注意力机制具有 $O(N^2)$ 的二次复杂度，对于 3D 体数据（Token 数量 $N$ 极大），导致显存消耗和计算延迟过高。
参数量巨大：许多高性能模型参数量巨大（如 nnFormer 约 150M），难以在计算资源受限的医院或边缘设备上部署。
数据稀缺：医学图像标注数据有限，大模型容易过拟合，且难以泛化。
混合架构的局限性：现有的 CNN-Transformer 混合模型往往未能充分发挥注意力机制的优势，或者过度依赖卷积组件，导致性能提升有限。

2. 方法论 (Methodology)

本文提出了 SegMaFormer，一种轻量级的混合架构，结合了 Mamba（状态空间模型） 的高效序列建模能力和 Transformer 的全局上下文建模能力，专门针对 3D 医学图像分割进行了优化。

核心架构设计

模型采用分层编码器 - 解码器结构：

混合编码器 (Hybrid Encoder)：
- 早期阶段（高分辨率）：使用 Mamba 模块。
  - 原因：在高分辨率阶段，Token 数量巨大。Mamba 具有线性复杂度 $O(N)$ ，能有效捕捉长距离依赖，同时大幅降低计算开销。
  - 机制：利用 Mamba 进行序列混合，保留数据依赖的局部偏差和长距离依赖，加速收敛。
- 晚期阶段（低分辨率）：使用 自注意力 (Self-Attention) 模块。
  - 原因：经过下采样后，Token 数量 $N$ 显著减少，而嵌入维度 $d$ 增加。此时 $N \ll d$ ，自注意力的二次复杂度 $O(N^2)$ 变得可接受，且能更好地在低分辨率下精炼特征表示，捕捉全局解剖依赖。
- 位置编码增强：在嵌入层后引入 3D 旋转位置编码 (3D-RoPE)。这为模型提供了旋转一致的位置线索，同时保持了局部体素结构，增强了 Mamba 和 Transformer 对复杂解剖区域空间关系的捕捉能力。
轻量级解码器 (Lightweight Decoder)：
- 摒弃了传统的连续 3D 卷积，采用基于线性层（MLP）的解码器。
- 将多尺度特征聚合、上采样、拼接，并通过线性变换融合，最后通过线性预测头生成分割掩码。这种设计避免了过参数化，提高了效率。
训练策略：
- 不使用外部预训练数据，完全在监督学习下训练。
- 使用加权 Dice 损失和交叉熵损失。
- 针对小器官任务，实验发现深度监督（Deep Supervision）辅助头可能不利于细粒度特征学习，因此未强制使用或需仔细调整权重。

3. 主要贡献 (Key Contributions)

混合 Transformer-Mamba 编码器：创新性地提出了一种分层策略，在早期高分辨率阶段利用 Mamba 进行高效的序列混合，在晚期低分辨率阶段利用自注意力进行全局建模。这种设计在捕捉全局解剖依赖的同时，显著降低了 3D 注意力机制的计算负担。
3D-RoPE 集成：改进了基线模型的 3D 重叠块嵌入，集成 3D 旋转位置编码。这不仅增强了模型对空间关系的感知能力，还提升了 Mamba 和 Transformer 组件在复杂解剖结构中的表现。
极致的效率与性能平衡：
- 模型仅包含 200 万 (2M) 参数和 15 GFLOPs 的计算量。
- 相比当前最先进的模型（如 nnFormer, U-Mamba），参数量减少了高达 75 倍。
- 在三个基准数据集上，其性能（Dice 系数）与参数量大得多的模型相当，甚至在某些指标上超越了基线模型 SegFormer3D。

4. 实验结果 (Results)

模型在三个公共基准数据集上进行了评估，均未使用外部预训练：

数据集	任务	关键结果
BraTS (脑肿瘤)	肿瘤分割 (WT, ET, TC)	平均 Dice 达到 83.79%，优于 SegFormer3D (82.1%) 和 TransUNet (64.4%)，且参数量仅为后者的 1/40 到 1/50。
Synapse (多器官)	8 种腹部器官分割	平均 Dice 达到 83.33%，排名第三（仅次于 U-Mamba 和 nnFormer）。尽管参数量比它们少 75 倍以上，但表现优异，特别是在大器官上。
ACDC (心脏)	左心室、右心室、心肌	平均 Dice 达到 91.11%，略低于 nnFormer (92.06%) 但显著优于 SegFormer3D (90.96%)。证明了 3D-RoPE 有效弥补了 Mamba 在局部空间偏差上的不足。

对比分析：

效率：相比 nnFormer (150.5M 参数) 和 U-Mamba (172.6M 参数)，SegMaFormer 在保持竞争力的同时，将计算成本降低了两个数量级。
泛化性：在没有预训练的情况下，SegMaFormer 在数据有限的场景下表现出强大的泛化能力，证明了轻量级架构在医学成像中的可行性。

5. 意义与局限性 (Significance & Limitations)

意义

资源友好型部署：为计算资源有限的地区（如发展中国家的公立医院）提供了一种高性能、低成本的 3D 医学图像分割解决方案，使得在普通 GPU 甚至边缘设备上运行复杂分割任务成为可能。
架构范式创新：证明了在 3D 医学图像分割中，通过合理分层（Mamba 处理高分辨率，Transformer 处理低分辨率）并结合位置编码，可以完全替代传统的 CNN 或纯 Transformer 架构，实现效率与精度的双赢。
参数效率启示：研究结果表明，盲目增加参数量（过参数化）并不一定能带来显著的性能提升，精心设计的轻量级混合架构更具价值。

局限性

小器官与边界细节：模型在分割小器官（如 Synapse 中的胆囊、胰腺）和锐利解剖边界时，性能仍有提升空间。这可能是因为 Mamba 缺乏 CNN 固有的局部归纳偏置，尽管 3D-RoPE 有所缓解，但在数据有限时捕捉细粒度空间细节仍具挑战。
深度监督的敏感性：对于不同任务，深度监督的权重需要仔细调整，不当的设置可能影响训练稳定性或特征学习。

总结：SegMaFormer 通过巧妙结合 Mamba 的线性效率和 Transformer 的全局建模能力，成功解决了 3D 医学图像分割中计算成本高和参数量大的痛点，为未来的临床部署提供了高效、可扩展的技术路径。