💻 computer science

MFil-Mamba: Multi-Filter Scanning for Spatial Redundancy-Aware Visual State Space Models

本文提出了 MFil-Mamba，一种基于多滤波扫描机制的新型视觉状态空间模型，旨在通过捕捉独特且上下文相关的空间信息并减少冗余，在图像分类、目标检测及分割等多项基准任务中超越现有最先进模型。

原作者： Puskal Khadka, KC Santosh

发布于 2026-03-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Puskal Khadka, KC Santosh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 MFil-Mamba 的新型人工智能模型，它专门用来让计算机“看懂”图片。

为了让你轻松理解，我们可以把计算机看图片的过程想象成**“阅读一本没有页码的立体书”**。

1. 以前的难题：怎么读这本“立体书”？

CNN（卷积神经网络）： 就像是一个拿着放大镜的老花眼读者。他只能看清眼前的几个字（局部细节），要理解整本书的意思，他得一步步挪动放大镜，非常慢，而且很难一下子看到书的全局（比如书里相隔很远的两个词有什么关系）。
Transformer（视觉 Transformer）： 像是一个超级速读天才。他一眼就能扫完整页书，理解所有词之间的关系。但他有个缺点：书越厚（图片越清晰），他读得越慢，消耗的大脑能量（计算量）是爆炸式增长的，甚至读不完。
Mamba（状态空间模型）： 这是一个新晋的高效速读者。他读得很快，而且能量消耗很低（线性增长）。但是，Mamba 原本是为读一维的线（比如文字序列）设计的。
- 问题所在： 图片是二维的（有长有宽，像一张网）。以前的方法为了强行让 Mamba 读图片，就像把一张网剪成几根绳子，然后按固定的方向（比如从左到右、从上到下、或者像贪吃蛇一样走"Z"字形）一根根读。
- 后果： 这种“剪绳子”的读法，不仅剪断了原本紧密相连的像素点（破坏了空间关系），而且因为要读好几遍不同方向的绳子，造成了大量的重复劳动（冗余），就像为了看一张桌子，你非要围着它走四圈，每圈都看一遍，效率其实不高。

2. MFil-Mamba 的绝招：多滤镜扫描（Multi-Filter Scanning）

这篇论文的作者提出了一个聪明的办法，不再把图片剪成绳子，而是给 Mamba 配上了**“多副智能眼镜”**。

以前的做法（方向遍历）： 就像你为了看清一个物体，非要绕着它走四圈（上、下、左、右），每走一圈都记一遍笔记。这既累又容易记混。
MFil-Mamba 的做法（多滤镜）： 它不需要绕着走，而是同时戴上四副不同的眼镜，一次性把物体看清楚：
1. 普通眼镜： 直接看原图。
2. 水平滤镜眼镜： 专门捕捉横向的线条（比如地平线）。
3. 垂直滤镜眼镜： 专门捕捉纵向的线条（比如柱子）。
4. 动态智能眼镜： 这是一副会“学习”的眼镜，它能根据图片内容自动调整，捕捉那些特殊的、复杂的纹理。

核心比喻：
想象你在观察一个复杂的乐高城堡。

旧方法：你围着城堡走，先看左边，再看右边，再看前面，最后看后面，把看到的拼起来。
MFil-Mamba 方法： 你站在原地，手里拿着四个不同颜色的滤镜（红色看结构，蓝色看阴影，绿色看纹理，黄色看轮廓），同时看过去。这四个视角的信息是互补的，没有重复，而且瞬间就拼出了城堡的全貌。

3. 聪明的“融合大师”（自适应加权）

有了四副眼镜看到的四张图，怎么把它们合在一起呢？
MFil-Mamba 还有一个**“聪明的融合大师”**。它不是简单地把四张图叠在一起，而是会根据当前看的内容，动态调整每副眼镜的“音量”。

如果图片里主要是水平线条（比如大海），它会自动调大“水平滤镜”的音量，调小其他眼镜的音量。
如果图片里主要是复杂的纹理（比如树叶），它会让“动态智能眼镜”发挥最大作用。
这样，模型就能提取出最精华的信息，去粗取精。

4. 效果如何？（实战表现）

这个新模型在几个著名的“考试”中都拿了高分：

图片分类（ImageNet）： 就像让 AI 在几千种动物里认出哪只是猫。MFil-Mamba 的“小个子”版本（Tiny）准确率高达 83.2%，比很多更庞大的旧模型都要好。
找东西（目标检测）： 在一张复杂的街景图里，不仅能认出“车”，还能画出框框把它圈出来。它的表现也是顶尖的。
分割图片（语义分割）： 能把图片里的每一块像素都标上标签（比如这块是路，那块是树）。在 ADE20K 数据集上，它的表现也超越了之前的冠军。

总结

MFil-Mamba 的核心思想就是：别再死板地绕着图片走圈圈了！

它通过**“多副智能眼镜”（多滤镜）同时从不同角度捕捉图片特征，再用“聪明的融合大师”（自适应加权）把这些信息完美拼合。这种方法既保留了 Mamba 模型“读得快、省资源”的优点，又解决了处理图片时“容易断片、重复劳动”**的缺点。

这就好比以前我们为了理解一个人，非要让他从四个方向走一遍给我们看；现在，我们直接给他戴上四副不同功能的智能眼镜，让他站在原地，我们就能瞬间、全面、精准地理解他了。

论文技术总结：MFil-Mamba

1. 研究背景与问题 (Problem)

背景：状态空间模型（SSMs），特别是 Mamba 架构，在序列建模任务中取得了巨大成功。然而，将其扩展到计算机视觉领域面临挑战，因为视觉数据具有非序列的二维（2D）空间结构，且包含复杂的空间依赖关系。
现有方法的局限性：
- 早期的视觉 SSM 研究（如 ViM, VMamba 等）主要通过多方向遍历策略（如双向扫描、四向交叉扫描、希尔伯特曲线等）将 2D 图像强制线性化为 1D 序列，以适配 Mamba 的有序处理机制。
- 核心问题：这种固定的方向性遍历引入了信息冗余，并扭曲了图像中原本精细的空间依赖关系（Spatial Dependencies）。它只是对现有空间协方差结构的重新排序，而非提取新的结构特征，导致局部与全局的一致性较差。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 MFil-Mamba，一种基于多滤波器扫描（Multi-Filter Scanning） 的新型视觉状态空间架构。

核心创新：多滤波器扫描策略 (Multi-Filter Scanning Strategy)
- 摒弃固定遍历：不再依赖预定义的方向性扫描路径，而是直接在输入特征图上应用一组动态的空间滤波器。
- 滤波器组成：
  1. 原始输入 ( $I$ )：保留原始视觉线索。
  2. 正交特征图 ( $F_h, F_v$ )：使用基于 Sobel 的核（水平和垂直）提取一阶梯度空间中的边缘信息，形成正交基。
  3. 动态特征图 ( $F_{k,l,t}$ )：使用深度可分离卷积块生成，用于捕捉任务特定的高级判别性模式。
- 处理流程：将原始图与三个滤波后的特征图拼接（Concatenate），形成四倍通道表示，然后输入到选择性状态空间（Selective SSM）模块中。这种方法允许模型在不强制重排序的情况下，并行提取互补的空间特征。
自适应融合机制 (Adaptive Merging)
- 引入轻量级的自适应加权机制。通过可学习的标量权重（经 Softmax 归一化），动态聚合来自不同扫描（滤波器）的输出。
- 该机制使模型能够自适应地强调最具信息量的空间特征，同时抑制不相关的表示，确保融合后的特征位于变换特征的凸包内，实现数据驱动的多视角插值。
架构设计
- 采用四阶段分层架构（类似 Swin Transformer 或 VMamba）。
- 用卷积前馈网络 (ConvFFN) 替代传统 MLP，以更好地捕捉空间视觉线索。
- 设计了三个变体：Tiny (T), Small (S), Base (B)，参数规模从 33.5M 到 93.1M。
理论依据
- 论文从理论上证明，传统的方向遍历只是通过置换矩阵重排空间协方差矩阵（ $\Sigma_{ij} = P_i \Sigma_x P_j^T$ ），无法捕捉新的二阶依赖。
- 而多滤波器扫描通过线性算子（滤波器）将输入投影到不同的子空间（ $\Sigma_{ij} = F_i \Sigma_x F_j^T$ ），能够重新加权并重定向底层协方差，从而捕捉独特的空间依赖并保留局部连贯性。

3. 关键贡献 (Key Contributions)

提出 MFil-Mamba 架构：首创了基于多滤波器扫描的视觉状态空间模型，克服了现有模型依赖方向性遍历策略的局限性。
引入自适应融合机制：结合轻量级自适应加权模块，有效增强了空间特征的整合能力，提升了视觉表示质量。
全面的性能验证：开发了三种模型变体，并在图像分类、目标检测、实例分割和语义分割等多个基准测试中实现了最先进（SOTA）的性能。

4. 实验结果 (Results)

模型在 ImageNet-1K、MS COCO 和 ADE20K 数据集上进行了广泛评估：

图像分类 (ImageNet-1K)：
- MFil-Mamba-T (33.5M 参数) 达到 83.2% Top-1 准确率。
- 优于同量级的 Swin-T (81.3%)、VMamba-T (82.6%)、EffVMamba-B (81.8%) 以及 Mamba®-S (81.4%)。
- MFil-Mamba-B 达到 84.2%，优于 Swin-B 和 VMamba-B。
目标检测与实例分割 (MS COCO)：
- MFil-Mamba-T 在 Mask R-CNN 框架下达到 47.3% Box AP 和 42.7% Mask AP。
- 相比 Swin-T 和 PlainMamba-L1 等基线模型有显著提升（例如 Box AP 提升约 4.6%）。
语义分割 (ADE20K)：
- MFil-Mamba-T 在单尺度（SS）下达到 48.5% mIoU，多尺度（MS）下达到 48.9% mIoU。
- 显著优于 Swin-T、ConvNeXt-T 和 VMamba-T。
可视化分析：
- 有效感受野 (ERF)：MFil-Mamba 展现出平滑的全局感受野，且没有 VMamba 中常见的“十字形”伪影，表明其能更自然地建模全局依赖。
- Grad-CAM：模型能准确聚焦于图像中的主要物体，背景干扰少。

5. 意义与影响 (Significance)

范式转变：MFil-Mamba 证明了在视觉 SSM 中，不需要通过强制性的方向遍历来线性化图像。通过多滤波器机制，模型可以在保持 2D 空间结构完整性的同时，利用 SSM 的高效性。
效率与性能的平衡：在参数量和计算量（FLOPs）与现有 SOTA 模型相当的情况下，MFil-Mamba 实现了更高的精度，特别是在处理复杂空间关系时表现优异。
通用性：该架构被证明是通用的视觉骨干网络，适用于从分类到密集预测（检测、分割）的多种下游任务。
未来方向：为 SSM 在视觉领域的应用开辟了新的研究方向，即探索替代预定义方向扫描的表示策略，有望推动医疗成像、超分辨率等特定领域模型的发展。

总结：MFil-Mamba 通过用“多滤波器”替代“多方向遍历”，解决了视觉数据中空间冗余和结构扭曲的问题，在保持 Mamba 线性复杂度的同时，显著提升了视觉任务的性能，是目前基于 SSM 的视觉模型中的佼佼者。