Selection, Not Fusion: Radar-Modulated State Space Models for Radar-Camera Depth Estimation

技術的概要：選択、融合ではない：レーダー変調型状態空間モデルを用いたレーダー・カメラ深度推定

問題定義
高密度なピクセル単位のメトリック深度推定は、自動運転やロボティクスにおいて不可欠であるが、単眼カメラはスケール曖昧性や悪天候（雨、霧、低照度）における性能低下に悩まされている。一方、LiDAR は正確なメトリック深度を提供するが、コストと電力要件により高級システムに限定される。ミリ波自動車レーダーは、安価で全天候型のメトリック代替手段を提供するが、前方カメラの視野内でフレームあたり 40〜100 回の返却点という極度の疎性と、角度・高さの曖昧性により深刻な制限を受ける。

既存のレーダー・カメラ深度推定手法は、通常、バックボーンのシーケンス演算子の「外側」で特徴レベル（例：連結、ゲーティング、グラフベースの抽出）においてレーダーと画像特徴を融合させる。Selective State Space Models (SSM) の最近のクロスモーダル変種である Mamba であっても、共有スキャンの前にモダリティ固有のストリームを積み重ねる傾向があり、選択メカニズムそのものは単一モーダルなままとなっている。著者らは、この「スキャン外融合」アプローチが、選択メカニズムが長距離情報伝播を支配する SSM の固有の能力を活用できていないと主張する。

手法：SemoDepth
本論文は、レーダーデータを別の特徴ストリームとして融合するのではなく、Mamba バックボーンの選択的スキャンメカニズムに直接統合する、単一ステージのレーダー・カメラ深度推定器「SemoDepth」を提案する。

1. レーダー変調選択 (RMS):
   中核的な革新は、レーダー信号を Mamba ブロックの選択的スキャンパラメータに注入することである。標準的な Mamba ブロックでは、再帰は入力依存のステップサイズ $\Delta_t$（メモリホライズン）と読み出しベクトル $C_t$ によって支配される。

   • メカニズム: レーダーは、$\Delta_t$ と $C_t$ に対して加法的なゼロ初期化の摂動を提供する。入力投影 $B_t$ と状態ダイナミクス行列 $A$ は画像のみに留まる。
   • ホライズン変調: レーダーは学習されたゲートを通じて $\Delta_t$ を変調し、情報がシーケンスに沿ってどの程度遠くまで伝播するかを局所的に調整可能にする。
   • 読み出し変調: レーダーは $C_t$ に項を追加し、保存された再帰を変更することなく、隠れ状態から抽出されるものを再構成する。
   • 初期化: すべてのレーダー投影はゼロ初期化される。初期化時（$t=0$）、ブロックは数学的に純粋な画像のみの Mamba と同等となる。これにより、モデルは事前学習された画像のみの性能を維持し、レーダー勾配が精度を向上させる場合のみ流れることを保証する。

2. マルチビュースキャンピラミッド (MVSP):
   計算効率と異なるスケールにおけるレーダーの空間的到達範囲のばらつきに対処するため、デコーダーは 3 段階の融合戦略を採用する。

   • 最粗スケール (ティア 3): 全画像、4 方向 RMS。これは線形コストで 2 次元受容野を近似し、シーン全体の文脈を統合する。
   • 中スケール (ティア 2): 投影されたレーダー返却点を中心としたウィンドウ付き RMS。スキャン容量は、レーダーが画像を支援する場所にのみ集中する。
   • 最細スケール (ティア 1): 定数コストのフィーチャごとの線形変調 (FiLM)。これは、スキャンの二次コストを伴わずに、フル解像度でアクティブなレーダー信号を維持する。

3. 訓練目的:
   モデルは、蓄積された LiDAR による堅牢な高密度教師信号と、単一スweep LiDAR による正確な疎な教師信号のバランスを取る複合損失（対数空間、線形、勾配損失を含む）で訓練される。

主要な貢献

• スキャン内選択: 本論文は、レーダーが SSM の再帰ダイナミクス（$\Delta$ と $C$）を変調する原理的なメカニズム（RMS）を導入する。これは単に特徴を組み合わせる方法を変えるのではなく、情報がどのように保存され伝播されるかを根本的に変える。
• 3 つの理論的利点:
  1. 線形コスト結合: レーダーは $O(L)$ のコストで各トークンにおいて再帰を形成し、クロスアテンションの $O(L^2)$ コストを回避する。
  2. 損失を保持する初期化: ゼロ初期化により、モデルは純粋な画像バックボーンとして開始され、事前学習された重みが保持される。
  3. 画像のみのフォールバック: レーダーがない場合、モデルはアーキテクチャの再構成なしに自然に画像のみの挙動に劣化する。
• MVSP アーキテクチャ: 各解像度においてレーダーの有効な空間的到達範囲に融合演算子を一致させ、最も効果的な場所に計算を集中させるデコーダー。

結果
nuScenes および ZJU-4DRadarCam データセットで評価された SemoDepth は、最先端の性能を達成した。

• nuScenes: SemoDepth は、従来最高（TacoDepth）と比較して、平均絶対誤差 (MAE) を 0–50m で 34.0%、0–70m で 29.9%、0–80m で 29.9% 削減した。また、公開されている手法の中で最低の単一フレーム推論遅延（26.8 ms）を達成した。
• ZJU-4DRadarCam: SemoDepth は、すべての評価範囲で最良の MAE を達成した。
• アブレーション調査:
  • MVSP の Mamba ベースのスキャンを均一な FiLM 変調に置き換えると、MAE@80 が 18% 悪化し、スキャンティアのアーキテクチャ的必要性が確認された。
  • RMS 上に「スキャン外」特徴ブレンド（スキャン前融合）を追加しても精度向上は得られず、スキャン内選択が従来のスキャン外融合を代替できることが実証的に裏付けられた。
  • 性能差は画像証拠が強い昼間条件で最も顕著である。夜間（カメラに敵対的な）条件では差は縮まり、短距離ではアテンションベースの融合が依然として競争力を持つ。

意義と主張
本論文は、入力依存の再帰を持つシーケンスモデルにおいて、選択メカニズムそのものが、特徴レベルの融合に比べてクロスモーダル相互作用のための優れた基盤であると主張する。再帰ダイナミクスを直接変調することで、モデルは疎なレーダー返却点の「メトリックアンカー」を活用し、局所的な近傍だけでなく、シーケンス全体を通じて情報を伝播させる。

著者らは、この研究を概念的な転換として位置づけている。クロスモーダル学習は、表現ではなく選択の観点から再考されるべきである。このアプローチは、他の疎＋密のモーダルペア（例：LiDAR-カメラ、レーダー-熱画像）や、深度推定以外のタスクにも拡張可能であると示唆している。

限界
著者らはいくつかの限界を認めている。

• モダリティの範囲: 本手法はフロントカメラ＋自動車レーダーでのみ検証されており、他のモダリティへの転用は仮説段階であり、実証的には検証されていない。
• レーダーの疎性: 性能の余裕は、より高密度な ZJU-4DRadarCam データセットでは nuScenes に比べて縮小しており、この手法の利点はレーダーが極めて疎な場合に最も顕著であることを示唆している。
• ノイズ感受性: ゼロ初期化は保護を提供するが、論文はスキャンを通じて伝播する可能性がある体系的に誤ったレーダーアンカー（ノイズ）に対してモデルをストレステストしていない。
• データバイアス: 使用されたデータセットは地理的に狭い（ボストン、シンガポール、ZJU キャンパス）ため、過小評価されている環境における堅牢性に関する主張は制限される。