💻 computer science

MambaPanoptic: A Vision Mamba-based Structured State Space Framework for Panoptic Segmentation

MambaPanoptic は、Vision Mamba 構造を活用して線形計算複雑性でグローバルに整合したマルチスケール特徴表現を実現する新規のパン옵ティックセグメンテーションフレームワークであり、これにより既存の畳み込みおよびトランスフォーマーベースの手法を精度と効率の両面で凌駕する。

原著者： Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

カメラのレンズを通して賑やかな都市の街並みを見ていると想像してください。コンピュータにとって、この画像は単に何百万もの小さな色付きのドット（ピクセル）のグリッドに過ぎません。パンオプティックセグメンテーションとは、コンピュータにそのグリッドを見て、同時に以下の 2 つのことを行わせるタスクです：

個々の物体を数える：「あれは 1 台の車、あれは別の車、あれは歩行者だ。」（これらは「things（個体）」と呼ばれます）。
背景を描き分ける：「あの全体は空、あの広範囲は道路、あれは芝生の区画だ。」（これらは「stuff（領域）」と呼ばれます）。

両方を完璧に行うのは困難です。コンピュータは、車のタイヤの微細な詳細（局所的な詳細）を見つつも、道路が遠くまで伸びているという理解（長距離の文脈）も必要とするからです。

従来の方法の問題点

この論文は、従来のコンピュータビジョン手法には「どちらか一方を選ぶ」という問題があったと説明しています：

「局所的」な専門家（CNN）：これらは小さな拡大鏡を通して見る人のようなものです。細部やエッジを見るのが得意ですが、遠くで何が起こっているかは見ることができません。全体像を見失ってしまいます。
「大域的」な専門家（Transformer）：これらは巨大な望遠鏡を持った人のようなものです。一度に街全体を見渡すことができますが、高解像度の画像でこれを使うのは信じられないほど遅く、高価です。まるで本を 1 ページずつめくって読もうとするようなものです。

新しい解決策：MambaPanoptic

著者らは、Vision Mambaと呼ばれる技術に基づいた新しいシステム、MambaPanopticを紹介しています。Mamba は、全体像も微細な詳細も見るだけでなく、望遠鏡を使う専門家よりもはるかに速く、エネルギー効率よく行うことができる「スマートスキャナ」と考えてください。

以下に、このシステムの仕組みを簡単な部分に分解して示します：

1. スマートスキャナ（バックボーン）

標準的なカメラレンズの代わりに、このシステムはSegMAN エンコーダを使用します。これは画像をスキャンする非常に効率的なロボットだと想像してください。これは単に左から右を見るだけでなく、4 つの方向（上、下、左、右）を同時にスキャンします。これにより、遅い計算に巻き込まれることなく、遠くの道路と車の関係を理解することが可能になります。

2. 多層マップ（MambaFPN）

小さな鳥から巨大なビルまで、さまざまなサイズの物体を処理するために、システムは特徴量ピラミッドを構築します。

アナロジー：都市の地図を作成すると想像してください。都市全体のレイアウトを示す引き伸ばされたビュー、地区を示す中間のビュー、個々の家を示す拡大されたビューがあります。
革新点：この論文は、このスマートスキャナを使ってこの地図を構築するMambaFPNを導入しています。引き伸ばされた層が微細な詳細を記憶し、拡大された層が大きな文脈を理解することを保証します。これは「線形複雑性」で行われます。つまり、画像サイズを 2 倍にしても、作業量は 2 倍になるだけで、古い方法が行っていたように 4 倍に爆発することはありません。

3. 「クッキーカッター」アプローチ（ヘッド）

システムが多層マップを構築したら、最終的な輪郭を描く必要があります。

従来の方法：一部のシステムは、まずすべての物体がどこにあるかを推測し、その後それらを枠で囲もうとします。これはまるで網で魚を 1 匹ずつ捕まえようとするようなものです。
MambaPanoptic の方法：これはカーネルジェネレータを使用します。これは「クッキーカッター」だと考えてください。物体を探し回る代わりに、システムは目にするすべての「thing」や「stuff」の種類に対して特定の「形状」（カーネル）を生成します。
- 「車」が見えれば、「車型の」クッキーカッターを生成します。
- 「空」が見えれば、「空型の」クッキーカッターを生成します。
- その後、これらのカッターを画像に押し当てて、最終的なマスクを瞬時に作成します。これは高速であり、事前に物体がどこにあるかを推測する必要もありません。

4. 詳細仕上げ職人（QuadMamba）

時には、「クッキーカッター」の縁が少し荒れていることがあり、特に複雑な形状の場合に顕著です。システムは「詳細仕上げ職人」としてQuadMamba モジュールを使用します。

アナロジー：シェフがケーキを切るのを想像してください。最初の切り込みは良いですが、QuadMamba はケーキの形状に適応する、より精密な 2 回目の切り込みのようなものです。これは画像をさまざまなサイズの断片（フラクタルのように）で見て、車や道路の縁が完全に鋭くなるようにします。

彼らは何を見つけましたか？

著者らは、この新しいシステムを 2 つの有名なデータセットでテストしました。Cityscapes（都市の街並みの画像）と、一般的な物体の膨大なコレクションであるCOCOです。

Cityscapes において：MambaPanoptic は、古い「局所的」な専門家（CNN）を打ち負かし、精度において「大域的」な専門家（Mask2Former などの Transformer）と同等か、わずかに上回る結果を出しました。
効率性の勝利：これは、重い Transformer モデルよりも少ないパラメータ（少ないメモリと計算能力）を使用しながら、これらの高いスコアを達成しました。
COCO において：これは旧来の方法よりも非常に良い結果を出しましたが、最も強力な Transformer モデルにはわずかに劣りました。著者らは、COCO データセットは数百のカテゴリーを持つ非常に複雑なものであり、「クッキーカッター」方式は、そのような多様性に対して「望遠鏡」方式と比較すると、時には苦労すると説明しています。

結論

この論文は、MambaPanopticが、この特定の二重タスク（個体を数える＋領域を描き分ける）に対して、この新しい「スマートスキャニング」技術を成功裏に使用した最初のシステムであると主張しています。これは「両方の世界の最良のもの」を提供する解決策です。古い方法の速度と効率性、そして新しい方法の長距離の理解力を兼ね備えており、都市での運転のような複雑なシーンを理解するための有望なツールとなっています。

言及された限界：著者らは、このシステムが全体像を見るのが得意である一方で、非常に細い線や物体の正確な縁については時に苦労することを認めています。これはおそらく、「スキャニング」動作が高周波の詳細を捉えるのに完璧ではないためです。彼らは、将来的な作業として、このスキャナとより専門的な「エッジ検出器」を組み合わせてこれを修正することを提案しています。

技術サマリー：MambaPanoptic

問題定義
パンopticセグメンテーションは、数えられる「物（thing）」のインスタンスと、非定型的な「物（stuff）」の領域を同時に認識することを要求する。このタスクは、正確な境界のために微細な局所的细节を保持しつつ、複雑なシーンレイアウトのために長距離の文脈を捉える特徴表現を必要とする。既存のアプローチはトレードオフに直面している：畳み込みニューラルネットワーク（CNN）は効率的であるが、有界な受容野により長距離依存性のモデル化に限界があり、一方、Transformer ベースの手法はグローバルな推論を提供するが、高解像度入力に対しては禁止的な二次的な計算コストを伴う。さらに、Transformer はしばしば強力な帰納的バイアスを欠いており、大規模なデータと広範なトレーニング時間を必要とする。

手法
本論文は、線形計算複雑性と効率的な長距離モデル化を通じてこれらの限界に対処するために設計された、完全な Mamba ベースのエンドツーエンドフレームワークであるMambaPanopticを提案する。アーキテクチャは 3 つの主要コンポーネントから構成される：

Mamba マルチスケール特徴エンコーダ：
- バックボーン： 階層的ハイブリッドネットワークであるSegMANエンコーダを利用する。これは、局所的な空間精度のための近隣注意（Neighbourhood Attention）と**2 次元選択的スキャン（SS2D）メカニズムを組み合わせた局所注意と状態空間（LASS）**ブロックを採用する。SS2D は、平坦化された特徴シーケンスを 4 つの直交方向にスキャンすることで、線形複雑性で長距離依存性をモデル化する。
- MambaFPN： 標準的な FPN を置き換える新しいトップダウン特徴ピラミッドネットワーク。SS2D ブロックを使用してバックボーンの異なる段階から特徴を融合し、線形計算複雑性を持つグローバルに整合したマルチスケール特徴表現（ $F'_1$ から $F'_4$ ）を生成する。
パンopticヘッド（プロポーザルフリー）：
- PanopticFCN スタイルのカーネルベースのアプローチを採用し、重い Transformer デコーダを回避する。これはカーネルジェネレータと高解像度特徴エンコーダから構成される。
- カーネルジェネレータ： 物と_stuff_の両方の統一されたカーネルを生成する。位置ヘッド（物の中心のためのヒートマップと_stuff_領域のためのスコアマップを予測）とカーネルヘッド（空間的に意識されたカーネル特徴を生成）を含む。
- カーネル融合： 異なる解像度からのカーネル推定を集約する。物カーネルは特徴のコサイン類似度でグループ化され、_stuff_カーネルは意味クラスでグループ化される。
- 高解像度特徴エンコーダ： 最高解像度の特徴マップ（ $F'_1$ ）を精緻化し、微細な境界を保持するためにカーネル特徴に注入する。
Mamba 特徴精緻化モジュール（MFRM）：
- 複数の段階（カーネルジェネレータおよび高解像度エンコーダ内）に統合され、このモジュールはQuadMambaブロックを利用する。学習可能なクアッドツリーベースのスキャン戦略を用いて特徴マップを適応的に分割し、全方位ウィンドウシフトメカニズムを採用する。これにより、固定ウィンドウ分割と比較して、さまざまなスケールや不規則な形状を持つ物体により適した粗から細への適応的処理が可能となる。

トレーニング戦略
モデルは 2 つの相補的な損失項でトレーニングされる：

カーネル損失（ $L_k$ ）： カーネルスコアマップ（物のためのヒートマップ、_stuff_のためのスコアマップ）の最適化に焦点損失（Focal Loss）を使用する。物の正解ラベルは、2 次元ガウスカーネルを使用して連続的なヒートマップとして形式化される。
マスク損失（ $L_{seg}$ ）： 密なセグメンテーションにおける不均衡なラベル分布を処理するために、最終的なマスク予測ブランチにダイス損失（Dice Loss）を使用する。
総損失は、これら 2 つの項の重み付き組み合わせである。

主な貢献

初のエンドツーエンド Mamba パンopticアーキテクチャ： MambaPanoptic は、既存のフレームワークのバックボーンを単に置き換える先行研究（例：SegMAN による Mask DINO 内の ResNet の置き換え）とは異なり、パンopticセグメンテーションのために特別に設計された完全な Mamba ベースのアーキテクチャとして提示される。
MambaFPN： グローバルな文脈と微細な空間的詳細を同時に提供する線形時間のマルチスケール特徴ピラミッドであり、Transformer の二次コストと CNN の局所性バイアスを克服する。
QuadMamba ベースの精緻化： 適応的かつ粗から細へのスキャンを使用して、ネットワークの複数の段階にわたって特徴表現を効率的に強化する MFRM の導入。
包括的な評価： Cityscapes および COCO ベンチマークにおける広範な実験により、最先端の CNN および Transformer ベースラインとの競争力のある性能を実証。

実験結果

Cityscapes： MambaPanoptic は、すべての指標において CNN ベースのベースライン（Panoptic-DeepLab、PanopticFCN）を上回る。パンoptic品質（PQ）は64.89、平均精度（AP）は39.91を達成し、大幅に少ないパラメータ数（35.7M 対 47.4M）を使用しながら、Transformer ベースの Mask2Former（PQ 63.9、AP 39.1）を上回る。
COCO： モデルは CNN ベースライン（PanopticFCN の PQ 41.0 対 45.6）を一貫して上回るが、Mask2Former（PQ 53.2）との性能差を示す。著者らはこれを、COCO の高いカテゴリ複雑性（133 クラス）に起因すると帰着させ、永続的でカテゴリ固有の表現を持つクエリベースの手法が、動的カーネル生成よりも優位性を持つ可能性があると指摘する。
アブレーション研究： 各 Mamba ベースのコンポーネント（エンコーダ、FPN、精緻化モジュール）が最終性能に独立してかつ積極的に貢献することを確認。

意義と主張
本論文は、MambaPanoptic が**構造化状態空間モデル（SSM）**が、パンopticセグメンテーションのための畳み込みおよび Transformer ベースのアーキテクチャの両方に対する有望な代替手段であることを実証していると主張する。このフレームワークは、長距離文脈モデル化の必要性と計算効率性のバランスを成功裡に取っており、削減されたパラメータ数で最先端または競争力のある結果を達成する。

著者らは控えめに限界を認めている：

境界精度： モデルは物体の境界や細い構造で時折苦労する。これは、高周波の局所的细节よりも長距離依存性を優先する Mamba のスキャンメカニズムのトレードオフであると仮説立てられている。
複雑なシーン： COCO のような非常に複雑なデータセットでは、カーネルベースのアプローチはクエリベースの Transformer よりも遅れをとっており、Mamba 特徴モデル化と軽量なクエリベースのデコーディングを組み合わせたハイブリッド設計が、将来の研究にとって有望な方向であることを示唆している。

将来の研究として、より大規模なバックボーンの調査、境界処理の改善、およびフレームワークを航空および 3D パンopticセグメンテーションタスクへ拡張することが提案されている。