💻 computer science

USEMA: a Scalable Efficient Mamba Like Attention for Medical Image Segmentation

本文介绍了 USEMA，这是一种混合 UNet 架构，它集成了一种新颖的可扩展且高效的类 Mamba 注意力（SEMA）机制，通过将局部特征提取与全局上下文建模有效结合，以实现卓越的医学图像分割性能和计算效率。

原作者： Elisha Dayag, Nhat Thanh Tran, Jack Xin

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Elisha Dayag, Nhat Thanh Tran, Jack Xin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试拼凑一幅巨大的人体拼图，但拼图碎片微小、模糊，且数量成千上万。这正是医生在查看医学影像（如 MRI 或显微镜切片）以寻找肿瘤或器官时所面临的困境。为了帮助他们，计算机科学家构建了能够自动勾勒这些身体部位轮廓的"AI 侦探”。这一过程被称为医学图像分割。

你分享的这篇论文介绍了一种名为USEMA的新型 AI 侦探。以下是其工作原理的简明解释：

问题：“邻居太多”的困境

要理解一张图像，AI 需要关注两件事：

细节：特定像素紧邻处发生了什么？（这是肝细胞还是肾细胞？）
全局：这个像素与图像其余部分有何关联？（这是身体左侧的肿瘤吗？）

旧有的 AI 模型（称为Transformer）擅长把握“全局”。它们能瞬间连接图像中的任意两个像素。然而，它们存在一个重大缺陷：运行速度极慢且成本高昂。这就像试图在拥有 10 万人的体育场中，将每个人逐一介绍给其他所有人。其数学计算量过于庞大（二次复杂度），以至于在大型医学扫描上无法快速完成。

更新的模型（称为Mamba）速度更快，因为它们像阅读书籍一样按顺序扫描图像。但有时，它们会变得有些“近视”，过度关注直接邻居而忽略了全局上下文。

解决方案：USEMA（“智能混合体”）

作者创建了USEMA（一种经典"U-Net"形状与新注意力机制SEMA的混合体）。他们通过一个巧妙的两步策略解决了速度与准确性的矛盾，并使用了**“窗户与口哨”**的类比：

窗户（局部聚焦）：
想象你身处拥挤的房间。为了理解你周围的环境，你只观察你周围 5 英尺范围内的人。这就是窗口注意力。它快速且高效，因为你并非试图与体育场里的每个人交谈，而只是关注你的邻居。这负责处理精细细节。
口哨（全局聚焦）：
但如果你需要知道房间另一头是否有人在喊叫呢？论文指出，当 AI 模型同时观察太多事物时，任何单一物品的重要性都会被稀释（就像飓风中的低语）。为了解决这个问题，他们添加了一个简单且经数学证明的技巧：算术平均。
将此想象为 AI 对其所见之物进行快速的“平均”处理。这不是与每个像素进行的深入复杂对话，而是一个快速总结。论文认为，这种简单的平均实际上足以捕捉图像的“全局”感觉，而无需付出沉重的数学计算代价。

USEMA 将这两者结合：它利用“窗户”来观察细节，并利用“平均”来把握整幅图像的整体氛围。

测试方法

团队并非凭空猜测；他们在三个截然不同的“拼图房间”中对 USEMA 进行了测试：

腹部 MRI：内部器官（肝脏、肾脏等）的 3D 扫描。
内窥镜：体内摄像头拍摄的手术器械视频。
显微镜：单个细胞的微小图像。

结果

在每一次测试中，USEMA 都胜出：

更高的准确性：它描绘器官和细胞轮廓的准确度超过了之前的最佳模型（包括缓慢的 Transformer 模型和快速的 Mamba 模型）。
更小的体积：它用比重型 Transformer 模型更少的“脑细胞”（参数）实现了这些结果，使其更轻量、运行更快。
高效性：它证明了无需进行将每个像素与其他所有像素连接的繁重数学运算也能获得优异结果。"局部窗口”与“简单平均”的巧妙混合效果更佳。

核心结论

该论文声称，USEMA是一种让计算机理解医学图像的新方法，它更快、更准确。通过结合观察邻居的“局部聚焦”与整个场景的“全局平均”，它避免了多年来阻碍医学 AI 发展的计算瓶颈。这就像找到了一种理解整座城市的方法：既了解你所处的街道，又拥有一张整个区域的快速地图，而不必试图一次性记住城市里的每一栋建筑。

技术摘要：USEMA——一种用于医学图像分割的可扩展高效 Mamba 类注意力机制

问题陈述
准确的医学图像分割对于诊断流程至关重要，但面临着独特的挑战，包括训练数据有限以及复杂、重叠的物体几何结构。虽然视觉 Transformer（ViT）能够通过自注意力机制捕捉全局依赖关系，但其在医学成像中的应用受到两个主要问题的阻碍：

二次方计算复杂度：原始自注意力机制相对于序列长度产生 $O(n^2)$ 的代价，使其在处理高分辨率医学图像时计算上不可行。
注意力分散：随着序列长度增加，注意力矩阵（softmax 输出）中的分数倾向于均匀分散至零。这一现象在理论上基于弱大数定律，阻碍了模型选择重要键（keys）和值（values）的能力，有效地将注意力机制简化为均匀平均过程。

方法论
作者提出了 USEMA，这是一种混合 UNet 架构，整合了一种名为 可扩展高效 Mamba 类注意力（SEMA） 的新型注意力机制。该方法通过以下组件解决了纯 Transformer 和现有基于 Mamba 模型的局限性：

SEMA 机制：SEMA 结合了局部和全局近似，以模仿完整自注意力的行为，同时保持线性复杂度。
- 局部组件：它利用 窗口注意力 来保持 Token 的局部化和聚焦，避免长序列中固有的分散问题。
- 全局组件：为了在不产生二次方成本的情况下捕捉全局上下文，SEMA 采用 理论一致的算术平均。这一项近似了注意力的全局方面，反映了分散不等式中观察到的 $O(1/n)$ 界限。全局项被定义为所有值向量的平均值，并在序列上进行广播。
- 集成：SEMA 块被插入到 Mamba 宏观结构中，利用条件位置嵌入、层归一化以及类似于 Mamba 的门控机制（例如 SiLU 激活和深度卷积）。
USEMA 架构：该模型采用对称的 U 形结构（UNet）。
- 编码器：由残差块后接 SEMA 块组成。特征在进入注意力机制之前从 $(B, C, H, W)$ 重塑为 $(B, C, HW)$。使用旋转位置嵌入和局部增强位置编码来增强空间感知能力。
- 瓶颈层：由于空间压缩，瓶颈层利用 完整自注意力 而非窗口注意力，因为序列长度足够小，计算上可管理。
- 解码器：由残差块和转置卷积组成，利用跳跃连接融合来自编码器的分层特征。

主要贡献

混合注意力设计：本文介绍了 SEMA，它在理论上论证了将算术平均作为自注意力的全局近似是合理的，并辅以局部窗口注意力以防止分数分散。
架构集成：USEMA 成功地将 CNN 的局部特征提取效率与 UNet 框架内 Mamba 类注意力的全局建模能力相结合。
全面基准测试：该模型在三种不同的医学成像模态（腹部 MRI、内窥镜和显微镜）上进行了评估，具有不同的分辨率和分割目标（器官、仪器和细胞分割）。

实验结果
USEMA 在三个数据集上与最先进的基于 Transformer 的模型（UNETR, Swin-UNETR, nnFormer）以及基于/受 Mamba 启发的模型（U-Mamba, Swin-UMamba, Mamba UNet, MLLA-UNet）进行了基准测试：

腹部 MRI（MICCAI 2022 AMOS）：USEMA 实现了 0.7704 的 Dice 相似系数（DSC）和 0.8345 的归一化表面距离（NSD）。这比最佳 Transformer 基线（nnFormer）在 DSC 上高出 5.83%，比最佳 Mamba 基线（U-Mamba Enc）在 DSC 上高出 10.53%。值得注意的是，USEMA 仅用 5200 万参数 就取得了这些结果，比表现最佳的 Transformer 模型少 13%。
内窥镜（MICCAI 2017）：USEMA 实现了 0.6463 的 DSC 和 0.6621 的 NSD，在 DSC 上比 Transformer 基线高出约 5.6%，比 Mamba 基线高出约 13.5%。
显微镜（NeurIPS 2022）：在这个实例分割任务中，USEMA 实现了 0.5791 的 F1 分数，超过最佳 Transformer 基线 8.61%，超过受 Mamba 启发的 MLLA-UNet 19.23%。其使用的参数也比 U-Mamba Enc 少 43%。

消融研究
消融研究证实了全局注意力近似的必要性。移除算术平均项（仅使用窗口注意力）导致所有数据集上的性能下降（例如，腹部 MRI 数据集的 DSC 下降了 0.013），验证了全局项的贡献。

意义与主张
作者声称，USEMA 有效地平衡了计算效率和分割精度。通过利用原始自注意力的分散特性和 Mamba 的线性复杂度，USEMA 提供了一种可扩展的解决方案，能够：

在多样化的 2D 医学图像基准测试中，优于纯卷积、基于 Transformer 和基于 Mamba 的模型。
与完整自注意力 Transformer 相比，降低了计算成本。
证明了理论上有据可依的高效全局近似（算术平均）可以成功补充医学图像分析中的局部注意力机制。

论文最后计划将平均机制扩展到学习或加权平均，并将 USEMA 应用于大规模病理图像，但并未声称在这些特定的未来领域已取得当前成功。

问题：“邻居太多”的困境

解决方案：USEMA（“智能混合体”）

测试方法

结果

核心结论

技术摘要：USEMA——一种用于医学图像分割的可扩展高效 Mamba 类注意力机制

类似论文