技術要約: RbFT-Net

問題提起

高密度なメトリック深度予測は自律走行システムにとって極めて重要であるが、カメラのみに依存する方法はメトリックなスケールを欠き、一方でLiDARはコストが高い。ミリ波レーダーは直接的なメトリック距離測定と照明変化への堅牢性を提供するが、極端な疎性、クラッタ、マルチパス反射、および投影誤差という課題を抱えている。複数のレーダーフレームを累積（時間的融合）することで測定密度を高めることは可能だが、従来のアプローチでこれらのフレームを直接蓄積または幾何学的にワーピング（歪み補正）する手法は、以下のような重大な問題を引き起こす：

1. 時間的不整合 (Temporal Misalignment): 硬直的なワーピングは、キャリブレーションの不確かさや動的な物体を考慮しないため、不正確なアンカーを生じさせる。
2. 誤差の伝播 (Error Propagation): 検証なしにノイズの多いリターンを蓄積すると、特に物体の境界や細い構造の周囲において、深度マップの広範囲を汚染する可能性がある。
3. 依存性 (Dependency): 既存の高精度な手法の多くは、補助的な単眼深度モデルを必要とする「プラグイン」アーキテクチャに依存しており、パイプラインの複雑さとモデルサイズを増大させている。

解決すべき核心的な課題は、いかにして、レーダー固有のノイズや不整合によって最終的な深度予測が劣化することを防ぎつつ、より高密度なマルチフレーム・レーダー・データを活用するかである。

手法: RbFT-Net

著者らは、蓄積されたマルチフレームのレーダーリターンをグラウンドトゥルースとしてではなく、ノイズを含む時間的アンカー候補として扱うエンドツーエンドのフレームワークである RbFT-Net (Rectify-Before-Fuse Temporal Radar Anchors) を提案している。このアーキテクチャは「融合前の修正（rectify-before-fuse）」パラダイムに従い、主に以下の3つのステージで構成される。

1. 画像条件付きアンカー修正 (Image-Conditioned Anchor Rectification)

伝播の前に、ネットワークは生の時間的アンカー ($A_t$) を画像条件付きモジュールを用いて処理し、その位置と深度を補正するとともに信頼性を推定する。

• レーダークエリサンプラー (Radar Query Samper: RQS): 不正確な可能性がある投影されたレーダー位置で画像特徴をサンプリングする代わりに、RQSはレーダー条件付きのサンプリングオフセットを予測する。これにより、ネットワークは周囲の領域から視覚的なエビデンスを集め、アンカーを修正することが可能になる。
• レーダー中心アテンション (Radar-Centered Attention: RCA): このモジュールは、自己注意機構と重み付きプーリングを用いて、レーダー候補間の局所的な一貫性をモデル化する。その後、プーリングされたレーダー特徴とサンプリングされた画像特徴との間のクロスアテンションを通じて、適合する視覚的エビデンスを抽出する。
• マルチスケールアンカー融合 (Multi-Scale Anchor Fusion: MAF): 局所的な境界とグローバルなコンテキストの両方を保持するために、複数のスケールの特徴が統合される。
• 予測ヘッド: 以下の3つを予測する軽量なヘッドを備える：
  • 空間オフセット ($\Delta p_i$): 画像平面上の位置を補正するため。
  • 深度残差 ($\Delta z_i$): メトリック深度を補正するため。
  • ポイントワイズ信頼性 ($c_i \in [0, 1]$): アンカーの信頼性を推定するため。
    出力は、補正された座標、深度、および信頼性スコアを持つ修正済みアンカー ($\hat{A}_t$) の集合である。

2. 信頼性を考慮したアンカー伝播 (Reliability-Aware Anchor Propagation)

近傍のすべてのアンカーを伝播させるのではなく、ネットワークは2つの基準に基づいて、メトリックなエビデンスを密な画像領域へと選択的に転送する：

• ターゲットとアンカーの適合性 (Target–Anchor Compatibility): 学習された適合性スコアにより、アンカーの特徴と深度がターゲットとなる画像位置にどの程度一致するかを評価する。
• 信頼性による変調 (Reliability Modulation): 予測された信頼度 ($c_i$) が重みとして機能する。
  システムは、各ターゲットピクセルに対して最も適合性の高い上位 $K_s$ 個（4に設定）のアンカーを選択し、適合性と信頼性の両方から導出された重みを用いて、それらのメトリックエビデンスを集計する。これにより、ノイズの多いリターンが画像全体に広がる前に、信頼性の低い、あるいは不整合な測定の影響を抑制する。

3. マルチモーダル融合と精緻化 (Multi-Modal Fusion and Refinement)

伝播された特徴マップは、現在のフレームの生のレーダー測定値およびRGB特徴量と組み合わされ、CSPN++アーキテクチャに基づいた軽量なマルチモーダル融合ネットワーク (MFN) に入力される。このステージでは、高レベルの融合と密な精緻化を行い、最終的なメトリック深度マップ ($D_t$) を生成する。

主な貢献

1. Rectify-Before-Fuse フレームワーク: ノイズを含む時間的レーダーアンカー（位置、深度の補正、および信頼性の推定）を、伝播前に修正するエンドツーエンドのパイプラインを提供し、誤差の蓄積を防ぐ。
2. 画像条件付き修正モジュール: RQSとRCAを用いた新しいメカニズムにより、生の蓄積が正確であることを前提とせずに、視覚的コンテキストを用いてレーダーリターンの空間的およびメトリックな誤差を共同で補正する。
3. 信頼性を考慮した伝播戦略: 学習されたターゲット・アンカー適合性とポイントワイズ信頼性スコアを組み合わせた選択メカニズムにより、信頼できるエビデンスを選択的に伝播させ、ノイズの多いリターンによる密な領域の汚染を回避する。
4. 独立したパイプラインと新しいデータセット: 本手法は補助的な単眼深度モデルなしで動作し、コンパクトなソリューションを提供する。著者らはまた、クロスプラットフォームの汎用性を検証するために、異なるプラットフォームで収集された新しい4Dレーダー・カメラ・LiDARデータセットを導入している。

実験結果

本手法は ZJU-4DRadarCam ベンチマークおよび新しく収集されたデータセットを用いて評価された。

• ZJU-4DRadarCamにおける性能: RbFT-Netは、独立した手法の中で最高の総合性能を達成した。強力な独立系ベースラインと比較して、平均絶対誤差 (MAE) を約10%、逆MAE (iMAE) を約35%削減した。特筆すべきは、補助的な大規模単眼深度モデルを使用するプラグイン手法（TacoDepthなど）に対しても、パラメータ数が大幅に少ないにもかかわらず、同等の性能を維持、あるいはしばしばそれを上回った点である。
• クロスプラットフォームおよび転移性: ゼロショット転移（ZJU-4DRadarCamで学習し、新しいデータセットでテスト）において、RbFT-Netは他の手法を大幅に上回る性能を示した（JustDepthに対してMAEを約22.6%削減）。限定的なデータ適応（ターゲットデータの10%を使用）においても、すべての指標において最良の結果を得た。
• 効率性: 5フレームのレーダーを処理しているにもかかわらず、RbFT-Netは NVIDIA RTX PRO 5000 上で 44.88 FPS で動作し、パラメータ数は約44Mである（これを含むプラグイン・パイプラインのパラメータ数の約1/3）。
• アブレーション研究:
  • 空間的および深度の両方の修正が、それぞれ RMSE の減少（258.2 mm および 180.2 mm）に寄与した。
  • 信頼性を考慮した伝播は、直接的な4-NN集計よりも大幅に優れた性能を示した。
  • レーダーフレーム数を1から5に増やすことで、RbFT-Netは大幅な精度向上（RMSE 246.5 mmの減少）をもたらしたが、ベースライン手法は収穫逓減を示した。これは、時間的ノイズを扱う上での修正戦略の有効性を強調している。

意義と主張

本論文は、現在のレーダー・カメラ深度補完の根本的な限界、すなわち検証されていないノイズの多い時間的データを伝播させてしまう傾向に対処していると主張している。蓄積されたレーダーリターンを、画像条件付きの修正と信頼性推定を必要とする「候補」として扱うことで、本手法は精度を損なうことなくマルチフレーム・データの密度を効果的に活用することに成功している。

著者らは、RbFT-Netが複雑なプラグイン・パイプラインに匹敵するコンパクトで独立したソリューションを提供することを強調している。異なるセンシングプラットフォーム間でのゼロショット転移能力、および限定的なデータによる適応能力は、センサー構成やデータの可用性が変動し得る実世界の自動運転アプリケーションにおける堅牢性を示唆している。本研究は、単純な蓄積や幾何学的なワーピングよりも、「融合前に修正する」戦略の方が、時間的なレーダー統合においてより効果的であることを証明している。