MFil-Mamba: Multi-Filter Scanning for Spatial Redundancy-Aware Visual State Space Models

以下は、提示された論文「MFil-Mamba: Multi-Filter Scanning for Spatial Redundancy-Aware Visual State Space Models」の技術的な詳細な要約です。

1. 背景と課題 (Problem)

背景:
State Space Models (SSM)、特に最近の「Mamba」アーキテクチャは、シーケンスモデリングタスクにおいて驚異的な成功を収めています。Mamba は線形時間計算量を実現し、Transformer の計算コストの課題を解決する有望な代替手段として注目されています。

課題:
しかし、Mamba をコンピュータビジョン（画像処理）へ拡張する際には、以下の根本的な課題が存在します。

1. 非構造的なデータ: 画像データは 2 次元空間に存在し、自然な順序（シーケンシャル構造）を持っていません。一方、Mamba は本質的に 1 次元のシーケンスを処理するように設計されています。
2. 既存手法の限界: 従来の Vision Mamba 系モデル（VMamba, ViM など）は、画像を 1 次元シーケンスに変換するために、双方向スキャン、4 方向クロススキャン、ヒルベルト曲線、スパイラルパスなどの「方向性のある走査戦略（Directional Traversal）」を採用しています。
3. 冗長性と空間的歪み: これらの固定された走査経路は、画像内の複雑な 2 次元空間的依存関係を歪めたり、不要な情報冗長性を導入したりします。これにより、局所的な関係と大域的な関係の整合性が損なわれる可能性があります。

2. 提案手法 (Methodology)

著者らは、これらの課題を解決するためにMFil-Mamba（Multi-Filter Scanning Mamba）という新しい視覚用 State Space アーキテクチャを提案しました。その核心は、事前定義された「方向性のある走査」に代わる「マルチフィルタースキャン」戦略にあります。

主要な構成要素

1. マルチフィルタースキャン戦略 (Multi-Filter Scanning Strategy):

   • 画像を特定の方向に走査するのではなく、入力特徴マップに対して複数の動的な空間フィルタを適用します。
   • 直交特徴マップ: ソーベルフィルタ（Sobel kernels）を用いて、水平（$F_h$）と垂直（$F_v$）の勾配情報を抽出します。これにより、エッジ情報を捉える直交基底を形成します。
   • 動的特徴マップ: 学習可能な深度分離畳み込み（Depthwise Separable Convolution）を用いて、タスク固有のパターンを捉える動的なフィルタ（$F_{k,l,t}$）を生成します。
   • 結合: 元の入力画像（$I$）と、これら 3 つのフィルタリングされた特徴マップを結合し、4 つの異なる表現（$I, F_h, F_v, F_{k,l,t}$）を生成します。これにより、重複を最小化しつつ、多角的な空間情報を並列に抽出します。

2. 適応的融合メカニズム (Adaptive Merging):

   • 複数のスキャン（フィルタリングされたパス）から得られた出力を単純に結合するのではなく、学習可能な重み付け（Softmax を通じた $\alpha_i$）を用いて適応的に融合します。
   • これにより、モデルは最も情報量の多い空間特徴を強調し、関連性の低い表現を抑制することが可能になります。

3. アーキテクチャ設計:

   • 階層的構造: 4 つのステージからなる階層的なバックボーンを採用しています。
   • ConvFFN: 従来の MLP（Multi-Layer Perceptron）を、空間情報をよりよく捉えるための畳み込みベースの Feed-Forward Network（ConvFFN）に置き換えています。
   • MFil-SSM ブロック: 各ブロック内で、フィルタリングされた特徴を Selective SSM に通し、その後適応的融合を行います。

4. 理論的根拠:

   • 従来の方向性走査は、既存の空間共分散構造を単に並べ替える（Permutation）に過ぎず、新しい 2 次依存関係を捉えられないことを理論的に示しています。
   • 対照的に、マルチフィルタースキャンは入力特徴を異なる部分空間に射影し、空間的共分散を再重み付け・再配向することで、冗長性を回避しつつ局所的な整合性を保ったまま、多様な空間依存性を捉えることを示唆しています。

3. 主な貢献 (Key Contributions)

1. MFil-Mamba の提案: 既存の視覚用 SSM における方向性走査戦略の限界を克服する、新しいマルチフィルタースキャンアーキテクチャを提案しました。
2. 適応的融合とアーキテクチャ改良: 軽量な適応的融合メカニズムとアーキテクチャの最適化を組み合わせることで、空間特徴の統合を強化し、視覚表現の質を向上させました。
3. 広範な性能向上: 画像分類、物体検出、インスタンスセグメンテーション、セマンティックセグメンテーションなど、多様なビジョンタスクにおいて、同規模の最先端モデル（SOTA）を上回る性能を達成しました。

4. 実験結果 (Results)

ImageNet-1K、MS COCO、ADE20K などの主要ベンチマークで評価が行われました。

• 画像分類 (ImageNet-1K):

  • MFil-Mamba-T (Tiny): Top-1 精度 83.2%。Swin-T (81.3%) や VMamba-T (82.6%)、Mamba-Vision-T1/T2 などを上回りました。
  • MFil-Mamba-S (Small): Top-1 精度 83.9%。
  • MFil-Mamba-B (Base): Top-1 精度 84.2%。Swin-B や VMamba-B を上回る結果を達成しました。
  • 同パラメータ数・同 FLOPs のモデルと比較して、高い効率性と精度を示しています。

• 物体検出・インスタンスセグメンテーション (MS COCO):

  • MFil-Mamba-T: Box AP 47.3%, Mask AP 42.7%。
  • Swin-T や PlainMamba-L1 などの既存モデルを大幅に上回る性能を示しました。

• セマンティックセグメンテーション (ADE20K):

  • MFil-Mamba-T: mIoU 48.5% (Single-Scale)。
  • Swin-T や VMamba-T などの競合モデルと比較して、高い精度を達成しました。

• 可視化分析:

  • 有効受容野 (ERF): MFil-Mamba は、方向性走査に起因する人工的なパターン（クロス状のアーティファクト）がなく、滑らかで密な大域的受容野を持つことを示しました。
  • Grad-CAM: 画像の主要な対象物に正確に焦点を当てており、背景ノイズに惑わされないことを確認しました。

• アブレーション研究:

  • マルチフィルタースキャンの導入、適応的重み付けの導入、モデル構成（$d_{state}$ や $ssm_{ratio}$）の最適化が、それぞれ性能向上に寄与していることが実証されました。

5. 意義と結論 (Significance)

この論文は、Vision Mamba の分野において重要な転換点となる研究です。

• パラダイムシフト: 画像を 1 次元シーケンスに変換するための「方向性走査」という既存の前提を捨て、画像の 2 次元空間構造をより自然に扱う「マルチフィルタースキャン」という新しいアプローチを確立しました。
• 効率性と表現力の両立: 計算コストを増大させることなく、SSM の線形スケーラビリティの利点を活かしつつ、Transformer に匹敵する、あるいはそれを超える表現能力を視覚タスクで実現しました。
• 将来への展望: 医療画像解析、画像超解像、その他の専門的なコンピュータビジョンタスクへの応用可能性を示唆しており、SSM ベースの視覚モデルの発展に新たな道筋を開いています。

総じて、MFil-Mamba は、視覚データの空間的冗長性を意識し、構造的に整合性の高い表現を学習することで、Mamba アーキテクチャのビジョン分野における限界を突破した画期的なモデルです。