💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

本論文は、方向性のあるトークンスキャニングを排除することで方位に依存しない表現を実現し、低推論レイテンシを維持しながら様々なビジョンタスクにおいて優れた性能を達成する、第2次非因果的台形Mamba（Vision Non-Causal Trapezoidal Mamba: VNCT）という第2次非因果的状態空間モデルを導入するものである。

原著者： Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

公開日 2026-07-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、何千もの小さな画像の断片（トークン）で構成された、巨大で複雑なパズルの仕組みを理解しようとしていると想像してください。長い間、コンピュータビジョンモデルは、非常に厳格な一方通行の道路のように振る舞ってきました。それらは、左から右へ、あるいは上から下へと、特定の順序や固定された経路に沿ってピースを見なければなりませんでした。これは、本を読んでいるようなもので、先読みしたりページを戻したりすることはできず、次の行に進む前にその行のすべての単語を読み終えなければならない状態です。これを**方向性スキャン（directional scanning）**と呼びます。

この論文は、Vision Non-Causal Trapezoidal Mamba (VNCT) と呼ばれる新しいモデルを紹介しています。その主な発見は、この厳格な「一方通行のルール」は、優れた視覚を得るために必ずしも必要ではないということです。実際、このルールを取り除くことで、モデルはより速く、より賢くなります。

旧来の手法 vs 新しい手法

従来のモデル（多くのVision Transformerや初期の「Mamba」モデルなど）を、美術館の展示室を一列縦隊で歩かなければならない探偵チームだと考えてみてください。彼らは目の前にある絵画だけを見ることができ、次にその次の絵を見る、というように進まなければなりません。もし右側に集中しているせいで左側の詳細を見逃してしまったら、再び戻ってくるまでに余計な時間がかかってしまいます。これによってバイアスが生じます。モデルは、特定の方向に見ていくことに「慣れて」しまうのです。

VNCT は、そのルールブックを投げ捨てます。一列になって歩く代わりに、すべての画像断片が一度に、かつ単一のパスですべての他の断片と対話できるようにします。これは、美術館の部屋全体を一瞬で照らし出す、巨大で即時的なスポットライトを点灯させるようなものです。すべての探偵は、順番を待つことなく、すべての絵画を即座に見ることができます。この「一度にすべて」というアプローチが、列を作って歩くことによって生じる奇妙なバイアスを排除することを、論文は示しています。

秘訣：二次のダイナミクス

しかし、混乱することなく、どうやってこれほど速く全員と対話できるのでしょうか？著者たちは、二次のダイナミクス（具体的には「台形型（trapezoidal）」ダイナミクス）と呼ばれる巧妙な数学的トリックを使用しています。

あなたが部屋の温度を推測しようとしている場面を想像してください。

一次（旧来のやり方）： 温度計を一度チェックし、その単一の数値に基づいて推測します。
二次（VNCTのやり方）： 温度計をチェックしますが、同時に、ほんの一瞬前には温度がどのように変化していたかも確認します。つまり、「今」と「直前の状態」の平均を取るのです。

この「台形」メソッド（ステップの開始点と終了点の平均を取ること）により、モデルはより豊かで詳細な画像の理解を得ることができます。論文は、この追加の情報の層が、従来のモデルで使用されていた単純なシングルステップの方法よりも、形状や境界線の理解をはるかに向上させると示唆しています。

この論文が否定したもの

この論文は、ビジョンモデルがうまく機能するために方向性スキャンが必要であるという考えに対して、明確に反対しています。多くの従来のモデルは、ジグザグやスパイラル状に歩くといった、より複雑な経路を追加することで「一方通行の道」の問題を解決しようとしましたが、著者らは、経路を修正する必要さえなく、単に経路自体を削除すればよいのだと示しました。彼らは、高性能なビジョンを実現するために逐次的なスキャニングが必要であるという説を否定しました。

結果：より速く、より強く、より堅牢に

著者らはいくつかの大きな課題でモデルを測定しましたが、その結果は極めて明白でした。

速度： 列を作るのを待つ必要がないため、VNCTは高速です。単一の画像に対して、予測を行うのに「Micro」バージョンは5.25ミリ秒、「Tiny」バージョンは7.31ミリ秒かかりました。これは、以前の非因果的モデル（VSSD）がそれぞれ5.80 msおよび8.01 msかかったのと比較して高速です。
精度： 標準的なテストでより高いスコアを獲得しました。ImageNet-1Kテストにおいて、「Tiny」バージョンは**84.2%の精度に達し、以前の最高スコアを持つ非因果的モデル（VSSD-Tiny）の83.7%**を上回りました。
回転と反転： 最も興味深い発見の一つは、「方向の堅牢性（orientation robustness）」についてです。画像を上下逆さまにしたり回転させたりすると、従来のモデルは少し混乱し、精度が低下します。VNCTはこれに対して非常に落ち着いています。画像が回転または反転した場合、平均的な精度の低下は、VSSDの**0.9%や方向性スキャニングモデルの1.6%に対し、VNCTではわずか0.3%**でした。これは、モデルが単なるピクセルのシーケンスとしてではなく、物体を一つの全体として捉えていることを示唆しています。
境界線： 物体の輪郭を描く際（例えば、車と道路を分離する場合）、VNCTはより鮮明でした。Cityscapesデータセットにおいて、VSSDと比較して「Boundary IoU」（エッジがどれだけ一致しているかのスコア）を最大3.7ポイント向上させました。

結論

この論文は、これが機能する可能性があると示唆しているだけでなく、分類、物体検出、およびセグメンテーションのタスクを通じてそれを測定しました。著者らは、「方向性スキャン」という一方通行のルールは、シーケンスモデルを画像に無理やり当てはめようとした結果生じたアーティファクト（人工的な産物）であり、二次の非因果的アプローチこそが、ビジョンAIを構築するためのよりシンプルで効率的、かつ堅牢な方法であると結論付けています。彼らは単に古いシステムを微調整したのではなく、交通ルールそのものを置き換えたのです。そして、その車はより速く、より真っ直ぐに走っています。

技術要約：Vision Non-Causal Trapezoidal Mamba (VNCT)

1. 問題提起

状態空間モデル（SSM）は、線形時間の計算量で長距離依存関係をモデル化するための、Vision Transformer（ViT）に代わる効率的な選択肢として台頭しています。しかし、既存の多くのビジョンSSM（例：ViM、VMamba）は、因果的シーケンスモデリングから引き継いだ**方向性のあるトークンスキャン（directional token scanning）**を継承しています。1DのSSMを2D画像に適用するためには、トークンを定義されたパス（水平、垂直、または多方向）に沿ってシリアル化する必要があります。

著者らは、このアプローチにおける3つの決定的な制限を特定しています：

空間的バイアス（Spatial Bias）： 方向性のあるスキャンは、視覚データに固有ではない人工的な走査順序を課すため、方向に敏感な特徴量の相互作用を生み出します。
非効率性（Inefficiency）： 双方向のコンテキストを集約するには、多くの場合、複数のスキャンパスが必要となり、推論レイテンシを増加させます。
不一致（Misalignment）： 視覚的なシーンは非因果的（non-causal）であり、空間的な関係はトークンの順序とは独立して存在します。

VSSD（Vision State Space Duality）のような最近の研究は非因果的な集約を導入しましたが、それは依然として**一次のダイナミクス（first-order dynamics）**に限定されています。本論文は、高性能なビジョンSSMにとって方向性のあるスキャンが必要なのか、それともそれは単にシーケンスモデルを画像に適応させた際のアリファクト（副産物）に過ぎないのかという疑問を投げかけています。

2. 手法：Vision Non-Causal Trapezoidal Mamba (VNCT)

著者らは、二次の非因果的状態空間定式化に基づいた階層的なビジョンバックボーンであるVNCTを提案しています。その中核となる革新は、NC-M3 (Non-Causal Mamba-3) レイヤーです。

2.1. コアメカニズム：NC-M3

NC-M3レイヤーは、Mamba-3の**指数台形ダイナミクス（exponential-trapezoidal dynamics）**を、グローバルな非因果的集約オペレータへと再定式化します。

二次のダイナミクス（Second-Order Dynamics）： 単一ステップの更新を使用する標準的なSSMとは異なり、Mamba-3は、両端（左側と右側）の積分端点を平均化する台形求積則を利用します。これは以下のように表現されます：
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
ここで、 $\beta$ と $\gamma$ は左端および右端の観測値を重み付けします。
非因果的リフト（Non-Causal Lift）： 著者らは、この因果的な回帰を**置換不変（permutation-invariant）**なオペレータへと変換します。逐次的な状態伝播の代わりに、下三角の因果的遷移行列を、完全な高密度かつ正規化された相互作用カーネルに置き換えます。
グローバル集約（Global Aggregation）： 相互作用は、グローバルな十分統計量を用いて計算されます。出力トークン $i$ $i$ に対して、状態は、相互作用空間に投影されたデータ依存パラメータ（ $\alpha, \beta, \gamma$ $α, β, γ$ ）によって重み付けされた、すべての入力トークン $j$ $j$ のグローバルな総和から導出されます。
- 集約ルールは、 $L \times L$ の相互作用行列を構築することを避けるために因数分解されており、線形時間計算量（ $O(L)$ ）を維持しています。
- これにより、方向性のあるスキャンを行うことなく、すべての画像トークンがシングルパスで相互作用することが可能になります。

2.2. アーキテクチャ構成要素

低ランクMIMOパラメータ化（Low-Rank MIMO Parameterization）： VNCTは、空間的およびチャネル方向の相互作用を効率的に共同モデル化するために、低ランクのMulti-Input Multi-Output（MIMO）メカニズムを組み込んでいます。
2D回転位置エンコーディング（2D RoPE）： 集約は順序に依存しないため、ソースおよびクエリの射影に適用される2D RoPEを通じて空間情報が注入され、相対的な空間変位がエンコードされます。
階層的バックボーン： モデルは、段階的なダウンサンプリングを伴う4ステージのアーキテクチャ（SwinやConvNeXtに類似）に従います。ステージ1〜3はNC-M3ブロックを使用し、ステージ4では、二次的なコストが無視できる低解像度の特徴マップに対してMulti-Head Self-Attention (MHSA) を採用してグローバルなコンテキストを処理します。
局所的知覚（Local Perception）： 局所的な空間的帰納バイアスをグローバル集約の前に注入するために、Depth-wise Convolutionを用いたLocal Perception Unit (LPU) を使用します。

3. 主な貢献

NC-M3 レイヤー： 方向性のあるスキャンを排除し、すべての画像トークン間のシングルパスでの相互作用を可能にする、二次の非因果的状態空間レイヤー。
VNCT バックボーン： 二次の非因果的ダイナミクスと低ランクMIMOパラメータ化を組み合わせた階層的ビジョンバックボーン。
実証的検証： 方向性のあるスキャンを排除することで、推論レイテンシ、方位へのロバスト性、および境界保持能力が向上し、方向性スキャン型SSMおよび一次非因果的SSMを一貫して上回ることを実証。

4. 実験結果

著者らは、ImageNet-1K（分類）、COCO（物体検出およびインスタンスセグメンテーション）、およびADE20K（セマンティックセグメンテーション）においてVNCTを評価しました。

分類 (ImageNet-1K)： VNCTは、Micro、Tiny、Small、Baseの各スケールにおいて、最先端（SOTA）のTop-1精度を達成しています。
- 例： VNCT-Tinyは**84.2%**のTop-1精度を達成し、VSSD-T (83.7%) や VMamba-T (82.5%) を上回っています。
- 効率性： VNCTは、Micro、Tiny、Smallのスケールにおいて、VSSDよりも低いシングルイメージ推論レイテンシを示しています。
高密度予測 (COCO & ADE20K)：
- 検出/セグメンテーション： VNCT-Tは、COCOにおけるBox APおよびMask APのすべてにおいてベースラインを凌駕しており、特にAP75において顕著な利点（位置精度の向上を示す）が見られます。
- セマンティックセグメンテーション： VNCTは、すべてのモデルスケールにおいてADE20Kで最高のmIoUを達成しています（例：VNCT-Sは50.1% mIoUに対し、VSSD-Sは49.2%）。
境界保持（Boundary Preservation）： VNCTはBoundary IoU (BIoU) を大幅に改善しています。
- ADE20Kにおいて、VNCT-TはVSSD-Tに対してBIoUを**+2.3**ポイント向上させています。
- Cityscapesにおいて、その向上は**+3.7**ポイントです。
- 定性的分析により、VNCTはより完全で幾何学的に正確な輪郭を生成することが示されています。
方位ロバスト性（Orientation Robustness）： VNCTは、再学習なしでの幾何学的変換（反転および回転）に対して優れたロバスト性を示します。
- ImageNet-1Kにおいて、VNCT-Tは4つの変換全体で平均精度低下がわずか**0.3%**であり、VSSD-Tの0.9%、VMamba-Tの1.6%と比較して極めて低い値となっています。
受容野解析（Receptive Field Analysis）： 有効受容野（ERF）の可視化により、VNCTは、VMambaに見られる方向性のアーティファクトやVSSDの不規則なカバレッジとは異なり、滑らかで対称的かつグローバルに均一な受容野を生成することが明らかになりました。

5. 意義と主張

本論文は、高性能なビジョンSSMにとって方向性のあるスキャンは不要であると主張しています。著者らは、従来のビジョンSSMの限界は、状態空間モデリングそのものではなく、因果的な方向性スキャンに起因すると述べています。

因果的なスキャンの代わりに二次の非因果的状態空間モデリングを採用することで、VNCTは、視覚的認識タスクのためのシンプルで効率的、かつ堅牢な代替案を提供します。結果は以下のことを示唆しています：

グローバルな非因果的集約と二次のダイナミクスの組み合わせは、高密度予測タスクに対してより強力な空間表現を生み出す。
方向性バイアスを取り除くことで、より方位にロバストな特徴量と、より優れた境界保持を実現できる。
高性能なビジョンバックボーンは、（最終ステージを除いて）複数のスキャンパスによる計算オーバーヘッドや、フルアテンションの二次的な計算量なしに実現可能である。

著者らは、このアプローチが、将来のビジョンバックボーンに向けた有望な方向性として、非因果的かつ高次の状態空間オペレータを動機付けるものであると結論付けています。