技術概要：ビジョン状態空間モデル向け GraphScan

1. 問題定義

ビジョン状態空間モデル（SSM）、特に Mamba アーキテクチャに基づくモデルは、線形計算量で効率的な長距離モデリングを提供する。しかし、その性能は、2 次元の視覚特徴マップが処理のためにどのように 1 次元のトークン列に直列化されるかに決定的に依存する。

既存のビジョン SSM における走査演算子は、一般的に以下の 2 種類に分類される：

1. 固定幾何学的走査：ラスタ、双方向、フラクタルなど、2 次元格子を 1 次元列に直列化する事前定義された経路。これらはモデルを、意味内容と整合しない可能性のある固定された順序に晒す。
2. 動的座標ベース走査：オフセットやサンプリング位置を予測し、補間（例：双線形補間）を介してトークンを再経路する手法。これらは適応的であるが、主に幾何学に基づいて「どこ」をサンプリングするかを調整するだけであり、グローバルな混合の前に、意味的関連性に基づいて「どの」ローカルパッチが情報を交換すべきかを明示的にモデル化するわけではない。

著者は、現在のメカニズムは経路やサンプリング座標を適応させるが、選択的状態空間ミキサーに入る前にトークンを条件付けるためにローカルな意味的近傍を明示的にモデル化していないというギャップを特定している。提示された中心的な問いは、グラフベースのルーティングが、グローバルな伝播の前に意味的接続を確立することで、ビジョン SSM が「より良く見る」のを助けることができるかどうかである。

2. 手法：GraphScan

本論文は、選択的 SSM に先行するように設計された、グラフ誘起型の動的走査演算子であるGraphScanを導入する。SSM をグラフニューラルネットワーク（GNN）で置換する手法とは異なり、GraphScan はトークンをローカルな意味的コンテキストで豊かにする、軽量かつ入力適応型の前処理器として機能する。

中核メカニズム

特徴マップ内の各トークン $x_i$ に対して：

1. ローカルグラフ構築：トークンの格子座標の周りに、固定半径 $r$ を持つ空間的に制限されたローカル候補集合 $S_r(i)$ を定義する。
2. 特徴条件付き親和性：幾何学的補間ではなく、GraphScan はクエリトークンとその近傍との間で、特徴の類似性と相対的位置バイアスに基づいてアテンション類似の親和性を計算する。
   • クエリ、キー、値の射影を計算する：$q_i, k_j, v_j$。
   • 親和性スコア $s_{ij}$ を、ドット積と学習可能な相対的位置バイアス $b_{rel}(g_j - g_i)$ を用いて計算する。
   • ソフトマックス正規化により重み $\alpha_{ij}$ を得る。
3. 1 ステップメッセージパッシング：出力トークン $x'_i$ は、意味的近傍からの値特徴を集約し、残差接続を追加することで生成される：
   $$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$$
   これにより、孤立したパッチ表現が、近傍の視覚的証拠の意味的混合に置き換えられる。

バックボーンへの統合

GraphScan は、SSM 前ルーティング層として、階層的なビジョン Mamba バックボーン（GraphScan-Mamba）に統合される。

• アーキテクチャ：バックボーンは、重複する畳み込みステムとステージごとのダウンサンプリングを備えた標準的な 4 ステージ設計に従う。
• 配置：各ブロック内でのフローは、Depthwise Conv（固定ローカル）→ GraphScan（学習済みローカル） → 選択的 SSM（グローバル）となる。
• 適応性：グラフ半径 $r$ はステージの深さに伴って増加する（例：初期ステージでは $r=1$、後期ステージでは $r=3$）。これにより、受容野がローカルから実質的にグローバルへと成長しつつ、線形スケーリングを維持できる。

理論的含意

著者は、GraphScan をスパースで入力適応型の前処理器として分析する。SSM 前にトークン列 $X$ を $X'$ に変更することで、GraphScan は SSM に 2 つの側面で影響を与える：

1. 値の注入：再帰状態に書き込まれる値を変更する。
2. パラメータ変調：Mamba 様 SSM は現在のトークンから再帰パラメータ（$\Delta, B, C$）を生成するため、トークンを変更することは、状態伝播と読み出しを支配する選択的パラメータも変更する。
   これにより、「ローカル - グローバルカーネル」が生成され、ソースパッチはローカルな意味的親和性 $\alpha_{ij}$ とグローバルな選択的伝播因子 $K'_{t,i}$ を介して出力に影響を与える。

3. 主要な貢献

1. GraphScan 演算子：走査を幾何学的な直列化や座標選択ではなく、「学習済みローカル意味ルーティング」として扱う新しい走査メカニズム。トークン数と線形スケーリングを維持しつつ、意味的意識を導入する。
2. GraphScan-Mamba バックボーン：コア SSM 再帰ロジックを変更することなく、複数のタスクにおいてビジョン SSM 間で最先端（SOTA）の性能を達成する GraphScan の階層的実装。
3. 直交性：この手法は、再帰側の改善（例：SSD、非因果的定式化）と直交することが示されており、ビジョン SSM に対する補完的な設計レバーを提供する。
4. 解釈可能性：この手法はトークン格子上の解釈可能な変位場を誘起し、モデルが固定幾何学ではなく意味内容に基づいて情報をどのようにルーティングするかを可視化する。

4. 実験結果

著者は、GraphScan-Mamba を 3 つの標準ベンチマークで評価し、同様のパラメータ数と FLOP 予算を持つ ConvNet、Transformer、既存のビジョン SSM（VMamba、DAMamba、Spatial-Mamba など）と比較した。

• ImageNet-1K 分類：
  • GraphScan-Mamba-B は 86.5% のトップ 1 精度を達成し、最強のビジョン SSM ベースライン（Spatial-Mamba-B の 85.3%）を +1.2%、VMamba-B を +2.6% 上回った。
  • また、同規模の強力な ConvNet および Transformer バックボーン（ConvNeXt-B、Swin-B など）も上回った。
• COCO 物体検出およびインスタンスセグメンテーション（Mask R-CNN）：
  • 1x スケジュールにおいて、GraphScan-Mamba-B は 51.9 のボックス mAP および 46.0 のマスク mAP に達し、すべてのビジョン SSM ベースラインをリードした。
  • gains は密な予測タスクへも効果的に転移し、学習されたトークンが検出スケールの空間構造に対して堅牢であることを示している。
• ADE20K セマンティックセグメンテーション（UperNet）：
  • GraphScan-Mamba-B は（単一スケールで）53.2% の mIoU を達成し、最高のビジョン SSM ベースライン（DAMamba-B の 51.9%）を +1.3% 上回った。
  • 多スケール結果は、一貫した改善（53.6% 対 52.3%）を示した。

アブレーション研究：

• 配置：SSM 前の配置は決定的であり、GraphScan を SSM 後に移動させると精度が 0.7% 低下する。
• 半径スケジュール：増加する半径スケジュール $(1, 1, 2, 3)$ は、計算量と精度の間の最良のパレートフロントを提供する。
• 相対的位置バイアス：学習可能な相対的位置バイアスを含めることは、一貫した（わずかながら）改善をもたらす。

5. 意義と主張

本論文は、グラフはビジョン SSM がより良く見るのを助けると結論付けている。この研究の意義は、ビジョン SSM の設計パラダイムを転換することにある：

• 幾何学から意味へ：走査は、単に幾何学的な直列化（経路や座標の選択）として扱われるべきではなく、グローバルな状態空間モデリング前の学習済みローカル意味ルーティングとして扱われるべきである。
• 入力側の補完：GraphScan は、再帰側の進歩を補完する入力側の解決策を提供する。これにより、選択的ミキサーに入るトークンは、すでにローカルに接地され、意味的に意識されたものとなり、SSM の内部ダイナミクスを変更することなく、グローバルな列の条件付けを改善する。
• 汎用性：このアプローチは、特定の SSM コア（例：Mamba-1/S6）と直交しており、将来の SSM 変種にも適用可能であることを示唆している。

著者は控えめに、GraphScan は性能と解釈可能性を向上させるが、さらなる仮定なしに形式的な制御理論の観点から汎化を保証するものではないと主張しつつも、より豊かなローカル意味入力のための構造的メカニズムを提供していると述べている。