💻 computer science

Patch-MoE Mamba: A Patch-Ordered Mixture-of-Experts State Space Architecture for Medical Image Segmentation

本文提出了 Patch-MoE Mamba，这是一种新颖的医学图像分割架构，通过引入分层块序扫描机制以保留局部空间结构，并采用混合专家模块自适应融合多方向特征，从而克服了现有 Mamba 模型的局限性，在多种息肉和皮肤病变分割基准测试中实现了卓越性能。

原作者： Diego Adame, Fabian Vazquez, Jose A. Nunez, Huimin Li, Jinghao Yang, Erik Enriquez, DongChul Kim, Haoteng Tang, Bin Fu, Pengfei Gu

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Diego Adame, Fabian Vazquez, Jose A. Nunez, Huimin Li, Jinghao Yang, Erik Enriquez, DongChul Kim, Haoteng Tang, Bin Fu, Pengfei Gu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试绘制一幅复杂城市（医学图像）的极其详细的地图，以寻找特定的地标，如隐藏公园或小桥（医学病变）。为此，你需要一个艺术家团队，他们既能纵观全城，又能聚焦于细微之处。

本文介绍了一个名为Patch-MoE Mamba的新型艺术家团队。以下是其工作原理的简明解释：

问题所在：旧有的观察方式

在尝试绘制这些城市地图时，以往的艺术家团队（AI 模型）主要存在两个问题：

“逐像素”行走： 旧模型像是一个人按照严格的网格模式（从左到右、从上到下）穿越城市一样，一次只查看图像中的一个像素。
- 缺陷： 如果你沿直线行走，街道上紧挨着的两栋房子在你的行走路径中可能相距甚远。这破坏了“邻里”感。如果你只盯着一块砖看，同时跳来跳去，就很难看清建筑物的形状。
“一刀切”的混合： 当这些模型从不同角度（北、南、东、西）观察城市时，它们只是将所有视角简单地等量相加。
- 缺陷： 有时你需要聚焦于一条微小而棘手的巷弄（小病变），而有时你需要看清整个街区（大器官）。将所有内容等量相加，就像试图以相同的音量同时听低语和呐喊；你可能会错过重要的细节。

解决方案：Patch-MoE Mamba

作者创建了一个更智能的系统，包含两项主要升级：

1. “邻里分组”策略（Patch-Ordered Scanning，块序扫描）

该新团队不再逐像素行走，而是将城市划分为小的邻里（块）。

工作原理： 想象艺术家在城市中穿行，但他们不是踏在每一块人行道上，而是一次访问整个街区。他们在移动到下一个街区之前，会一起查看该街区内的所有房屋。
为何有效： 这使邻居保持在一起。如果两个像素相邻，它们在艺术家的记忆中也会保持相邻。这有助于模型更好地理解边界（如息肉或皮肤病变的边缘）的形状。
多尺度转折： 他们对城市的不同部分使用不同大小的街区。使用小街区来观察微小细节（如墙上的小裂缝），使用大街区来观察大局（如整个区域的布局）。

2. “专家小组”策略（Mixture-of-Experts，混合专家）

该模型不再简单地将不同方向的视角相加，而是使用**混合专家（MoE）**系统。这就像是一个由五位专业顾问组成的小组：

四位方向专家： 一位从左侧观察，一位从右侧，一位从上方，一位从下方。
一位“大局”专家： 这位顾问查看所有视角的整合，以理解它们如何相互连接。

智能管理者（门控网络）：
在旧模型中，管理者只是平均每个人的意见。而在 Patch-MoE Mamba 中，管理者是智能且自适应的。

如果图像显示一个微小而棘手的区域，管理者会说：“嘿，让我们更多地听取关注细微细节的专家的意见。”
如果图像显示一个庞大而复杂的区域，管理者会说：“让我们专注于那些能看到大局的专家。”
管理者会当场决定信任每位专家的程度，确保最终生成的地图完美契合该特定区域。

结果：更优质的地图

作者在五个不同的结肠息肉数据集和两个皮肤病变数据集上测试了这个新团队。

结果： 新团队绘制的地图始终优于旧团队。它们在发现棘手、低对比度的区域以及绘制清晰、准确的边界方面表现尤为出色。
权衡： 这个更智能的团队需要更多的计算能力（就像聘请更多顾问），但论文表明，准确性的提升值得付出额外的努力。

简而言之： Patch-MoE Mamba 通过将邻里分组在一起，解决了“四处走动”的问题；通过使用智能管理者挑选最适合任务的专家，解决了“平均化”的问题。这带来了更准确的医学图像分割。

技术摘要：Patch-MoE Mamba

问题陈述

医学图像分割严重依赖卷积神经网络（CNN）和 Transformer。然而，CNN 本质上受限于局部感受野，难以建模长程依赖关系，而 Transformer 通常会产生二次方的计算和内存复杂度。最近，状态空间模型（SSM），特别是基于 Mamba 的架构，作为一种具有线性序列复杂度的高效替代方案应运而生。

尽管前景广阔，现有的基于 Mamba 的分割模型仍面临两个关键局限：

局部空间结构的破坏：大多数模型使用像素级光栅扫描将 2D 特征图转换为 1D 序列。这一过程可能导致序列中空间上相邻的像素被分离，从而削弱局部 2D 空间连贯性。这对需要精确边界定位和局部结构保持的密集预测任务是有害的。
方向融合的不灵活性：当前方法通常通过简单求和来融合多个扫描方向的输出。这种固定的聚合方式假设所有方向在每个空间位置的重要性均等，无法适应医学目标（例如小尺寸、低对比度的病变与大尺寸、不规则的结构）在尺寸、形状、纹理和边界复杂性方面的多样性。

方法论

作者提出了Patch-MoE Mamba，这是一种基于块排序的混合专家（MoE）状态空间架构，旨在解决上述局限。该架构遵循 U-Net 风格的设计，用新的Patch-MoE VSS 块替换了 VM-UNetV2 中的标准视觉状态空间（VSS）块。

1. 分层块排序扫描

该方法不再对单个像素进行光栅扫描，而是将特征图划分为局部块，并以块排序的方式进行方向扫描。

机制：给定一个特征图，将空间网格划分为大小为 $p \times p$ 的不重叠块。在每个块内，像素按行主序枚举，然后再移动到下一个块。
优势：这确保了块内的所有像素在序列中保持连续，在保留局部空间邻域的同时，仍能实现跨块的长程依赖建模。
分层策略：为了捕捉多尺度上下文，模型采用了一组块大小 $\{p^{(1)}, p^{(2)}, \dots\}$ 。较小的块捕捉细粒度的边界细节，而较大的块建模更粗糙的结构。不同的扫描方向（前向、反向、宽 - 高前向、宽 - 高反向）可以利用不同的块大小来处理各向异性结构。

2. 基于 MoE 的方向融合

为了替代固定的求和，作者引入了一个自适应融合模块，将方向输出视为“专家”。

专家构建：该模块利用五个专家：
- 四个方向特定专家（ $E_1$ 到 $E_4$ ）：四个方向 Mamba 扫描器的归一化输出。
- 一个拼接专家（ $E_{concat}$ ）：将四个归一化图沿通道维度拼接，并通过 $1\times1$ 卷积将其投影回来。该专家捕捉跨方向的相关性，并提供一种全局的、与方向无关的视图。
空间感知门控：路由器网络计算依赖于位置的权重，以自适应地融合这些专家。路由器由局部上下文（通过深度卷积）和全局上下文（通过自适应平均池化）的混合驱动，并由一个可学习的标量 $\alpha$ 控制。
残差稳定：残差旁路将原始方向输出加回融合结果（ $Z_l = \hat{Y}_l + \sum Y_l^{(i)}$ ）。这确保了鲁棒的基线响应并保留了强方向信号，从而稳定训练。

3. 语义与细节注入（SDI）

编码器输出由 SDI 模块（改编自 U-Net v2）处理，通过从更高层注入语义信息并通过哈达玛积（Hadamard product）整合来自更低层的更精细细节，来增强特征图。

主要贡献

块排序扫描：一种新颖的扫描机制，用块排序遍历替代像素级光栅扫描，在保持状态空间模型效率的同时，有效保留了局部 2D 空间连贯性。
基于 MoE 的方向融合：一个自适应融合模块，用可学习的门控网络替代简单求和。它根据空间上下文动态加权多个方向专家和一个拼接专家，使模型能够适应不同尺度和复杂度的病变。
分层多尺度建模：分层块大小的集成使网络能够同时捕捉细粒度的边界细节和粗糙的语义结构。
残差稳定：包含原始方向输出的残差路径确保了训练稳定性，并防止关键方向信号的丢失。

实验结果

作者在五个公共息肉分割数据集（Kvasir-SEG, ClinicDB, ColonDB, ETIS, CVC-300）和两个皮肤病变分割数据集（ISIC 2017, ISIC 2018）上评估了 Patch-MoE Mamba。

性能：Patch-MoE Mamba 在所有数据集上均取得了最先进的性能，持续优于基于 CNN 的（U-Net, U-Net v2）和基于 Mamba 的基线模型（VM-UNet, VM-UNetV2）。
- 在具有挑战性的ETIS数据集（以低对比度和小息肉著称）上，该模型将 Dice 分数从 72.56%（VM-UNetV2）提升至74.04%。
- 在ISIC 2018上，它达到了**89.34%**的 Dice 分数，超过了此前 88.36% 的最佳成绩。
消融研究：
- 仅将光栅扫描替换为块排序扫描，就将平均 Dice 分数从 83.46% 提升至 84.02%。
- 添加 MoE 融合模块进一步将平均值提升至84.30%。
- 分层块大小（早期阶段使用粗糙块，深层阶段使用精细块）产生了最佳结果。
计算复杂度：虽然块排序扫描本身并未增加计算成本（Token 数量保持不变），但包含拼接专家使参数量增加至约 7000 万，FLOPs 增加至约 280 亿。作者指出，由于 MoE 机制需要更密集的通道交互，这种开销是预期的。

意义与主张

本文声称 Patch-MoE Mamba 为医学图像分割提供了一种通用且有效的解决方案。通过解决现有 Mamba 模型的具体局限——即局部空间结构的丢失和方向融合的僵化——所提出的架构展现出对具有不同尺寸、形状和边界复杂性的多样化医学目标的卓越适应性。结果表明，通过块排序扫描保留局部空间邻域，结合自适应专家融合，显著增强了边界定位和分割精度，特别是在涉及低对比度或小病变的挑战性场景中。