BuildMamba: A Visual State-Space Based Model for Multi-Task Building Segmentation and Height Estimation from Satellite Images

「BuildMamba：衛星画像からのマルチタスク建物セグメンテーションおよび高さ推定のための視覚的状態空間ベースモデル」の技術的概要

問題定義
単一の視点からの RGB 衛星画像を用いた正確な建物セグメンテーションおよび高さ推定は、都市計画、インフラ監視、リスク評価を含む都市分析において極めて重要である。しかし、このタスクは、3 次元構造を隠蔽するほぼ垂直上方からの撮影幾何学と、テクスチャや影といった間接的な外観手がかりへの依存により、本質的に不適切な問題（ill-posed problem）である。単眼深度アーキテクチャを適応させた既存のアプローチは、いくつかの限界に苦しんでいる：

• 構造的弱点： 画像のテクスチャと高さの間の暗黙的な相関に頻繁に依存しており、建物の形状に対する明示的な構造的理解が欠如している。
• アーティファクト： 境界の滲み、高層構造物の系統的な過小評価、均質な屋根テクスチャおよび照明変化に対する感度といった一般的な問題が含まれる。
• 補助データへの依存： 多くの堅牢な手法は、推論時に利用できないことが多い補助モダリティ（SAR、LiDAR、または DSM など）または補助的監督（土地利用マスクなど）を必要とし、RGB のみの設定におけるスケーラビリティを制限している。
• 計算上のトレードオフ： トランスフォーマーによる従来のグローバルモデリングは二次的な計算複雑性を招く一方、CNN は長距離依存関係の処理に苦慮する。

手法：BuildMamba
著者は、RGB 入力のみを使用して建物のセグメンテーションと高さ推定を同時に行うように設計された統合マルチタスクフレームワークであるBuildMambaを提案する。このアーキテクチャは、グローバルコンテキストモデリングと計算効率のバランスを取るために、視覚的状態空間バックボーン（VMamba）に基づいている。フレームワークは 4 つの主要なコンポーネントで構成される：

1. 視覚的状態空間バックボーン（VMamba）：
   標準的なアテンション機構の代わりに、モデルは 2 次元視覚データに対して一般化された選択的状態空間モデル（S6）を利用する。これは、画像パッチを 4 つの異なるシーケンスに展開し、特徴マップを異なる方向に走査する**クロススキャンモジュール（CSM）**を採用する。これにより、モデルはトランスフォーマーの効率性のボトルネックに対処しつつ、空間的局所性を維持しながら線形計算複雑性（$O(N)$）で長距離のグローバル依存関係を捉えることができる。

2. Mamba アテンションモジュール（MAM）：
   各エンコーダステージの出力に統合された MAM は、空間的重要性を動的に再較正する。これは適応平均プーリングを介して高さおよび幅の次元に沿って特徴を処理し、有益な領域を強調しノイズを抑制するアテンションマップを生成する。これにより、デュアルパスエンコーダによって抽出された局所およびグローバル特徴の融合が強化される。

3. 空間認識型 Mamba-FPN（S-MambaFPN）：
   長距離依存関係の伝達における標準的な特徴ピラミッドネットワーク（FPN）の限界に対処するため、著者は精緻化演算子をゲート付き状態空間スキャンに置き換える。このモジュールは、ベースラインの Mamba ブランチと、局所的および中距離の手がかりを捉えるために深度方向畳み込み（3×3 および 7×7）を使用する空間認識型スキャンブランチを組み合わせる。出力は要素ごとの乗算によって結合され、ネットワークが各ピラミッドレベルで空間的証拠と長距離コンテキストを融合することを可能にする。

4. マスク認識型高さ精緻化（MHR）：
   このモジュールは、セグメンテーションと高さ推定の間の非対称性を利用する。セグメンテーションマスクは通常、より速く収束し、より信頼性の高い構造的境界を提供する。MHR モジュールは、セグメンテーションマスクを構造認識型の信頼性事前分布として扱う。これは、生の高さ予測とセグメンテーションマスクを 2 チャンネル入力として受け取り、残差の高さ補正を予測する。ゲート付き更新関数がセグメンテーションの信頼性に基づいてこの残差を調節し、低テクスチャ領域での高さアーティファクト（斑点ノイズ）を効果的に抑制するとともに、マスクの単純な関数として高さ推定が崩壊することなく境界を鮮明にする。

損失関数
フレームワークは、複合目的関数を用いて訓練される：

• セグメンテーション損失： クロスエントロピー、クラス不均衡を処理するための Dice ロス、および構造的整合性を強制するためのラプラシアンエッジマップを用いた境界認識項のハイブリッド。
• 回帰損失： 外れ値および建物の高さの長尾分布を処理し、微分可能性を確保しながら極端な値が勾配を不安定化することを防ぐために、高さ推定には Huber ロスが使用される。

主要な貢献
本論文は以下の貢献を主張する：

• 統合された RGB のみのフレームワーク： 構造的制約を通じてセグメンテーションと高さ回帰を明示的に結合するマルチタスクモデルであり、DSM や SAR のような補助モダリティの必要性を排除する。
• 新規アーキテクチャモジュール： グローバル - ローカル特徴の相互作用およびマルチスケール集約を強化するための Mamba アテンションモジュール（MAM）および空間認識型 Mamba-FPN（S-MambaFPN）の統合。
• マスク認識型精緻化： 回帰アーティファクトを除去し高さ残差を補正するために、セグメンテーション出力を信頼性事前分布として使用する特定のモジュール。
• 境界認識戦略： 建物のエッジに沿った高さの不連続性を強調し、境界の平滑化を軽減する損失戦略。

実験結果
BuildMamba は、3 つのベンチマーク、すなわちDFC19、DFC23、および多様な都市環境、誤ラベル付け、欠損データを特徴とする挑戦的なHuawei BHEデータセットで評価された。

• セグメンテーション性能： BuildMamba は、DFC19 で0.90、DFC23 で0.93の最先端の IoU スコアを達成した。複雑な Huawei BHE データセットでは、IoU が0.60に達し、2 番目に優れたモデル（UANet）を 7.0% 上回った。
• 高さ推定性能： このモデルは、DFC19 で1.06 m、DFC23 で1.77 mの RMSE を達成した。Huawei BHE データセットでは、RMSE が9.23 m、$\delta_1$精度が 0.806 であった。
• 比較： このモデルは、UANet、FarSeg++、DSMNet、HTC-DC などのベースラインを一貫して上回った。特に、DFC23 における RMSE で、以前の RGB のみの最良手法（HTC-DC）を約 31.6% 上回った。
• アブレーション研究： 実験により、各コンポーネント（VMamba バックボーン、MAM、S-MambaFPN、および MHR）が性能に段階的に寄与することが確認された。Mamba バックボーンは、ResNet-101 および Swin-S バックボーンと比較して、より優れた精度 - 複雑性のトレードオフを提供することが示された。

意義と主張
著者は、BuildMamba を、特にグローバルコンテキストと計算効率の間のトレードオフである、単眼衛星ベースの高さ推定の特定の課題に対する解決策として位置づけている。本論文は、視覚的状態空間モデルを活用することで、BuildMamba が RGB のみの手法に対する新しい性能上限を確立すると主張している。その意義は、補助データに依存することなく、多様でラベルが薄い現実世界のシナリオにおいて、堅牢で構造的に整合性の取れた予測を提供する能力にあり、これにより単一視点画像からのスケーラブルな 3 次元都市再構築を可能にする。著者は、この研究が以前の予備的なフレームワークの大幅に拡張されたバージョンであり、複数のデータセットにわたるスケーラビリティと堅牢性のより厳密な分析を提供していると指摘している。