SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions

技術的概要：SB-BEVFusion

問題定義
マルチモーダルセンサーフュージョン、特にカメラとLiDARデータの組み合わせは、視覚情報と幾何学的情報の相補性を活用することで、自動運転車両における3次元物体検出において最先端のパフォーマンスを確立しています。既存のフレームワーク、例えばBEVFusionなどは、通常、独立したセンサーデータを融合のために統合された鳥瞰図（BEV）表現に変換します。しかし、これらの手法は一般的に、すべてのセンサーから高品質なデータが存在することを前提としています。現実世界のシナリオでは、悪天候（例：霧、雨）、センサーの故障（例：LiDARビームの減少）、または空間的・時間的な不一致により、センサーデータが欠落、破損、またはノイズを含む場合、システムは著しい性能低下に直面します。現在の統一表現アプローチは、これらの特定の故障条件下において頑健性を維持することにしばしば苦労します。

手法
著者は、1つのモダリティが欠落または破損しているシナリオを処理するように設計された、フレームワーク非依存の融合モジュールであるSB-BEVFusion（Single-Branch BEVFusion）を提案します。このアプローチは、以下の主要コンポーネントを備えた標準的なBEVFusionパイプラインを修正します。

1. 統一アーキテクチャ: モデルは、両方のモダリティで共有される単一のダウンストリームネットワークと検出ヘッドを採用します。これを可能にするため、カメラとLiDARのBEV表現のチャネル幅は等しくなります（$C_{cam} = C_{lid} \triangleq C$）。
2. 適応的融合ロジック:
   • デュアルモダリティ（$L+C$）: 両方のセンサーが利用可能な場合、BEV特徴は融合演算子$\mathcal{F}$を使用して結合されます。本論文では、4つの演算子、すなわち重み付けなし平均、最大プーリング、クロスアテンション、およびプログレッシブモダリティ減衰（PMD）を調査します。
   • シングルモダリティ（$L$または$C$）: 1つのモダリティが欠落または破損している場合、融合演算子は恒等関数として機能し、欠落データの融合を試みることなく、利用可能なBEV表現を直接エンコーダに渡します。
3. トレーニング戦略: モデルは、LiDARのみ（$L$）、カメラのみ（$C$）、および両方（$L+C$）の3つのレジームのシャッフルされた混合でトレーニングされます。平均、最大プーリング、クロスアテンションなどの融合戦略については、すべての3つのレジームがサンプルごとに列挙されます。PMDの場合、トレーニングには「アンカー」モダリティが含まれ、2番目のモダリティは欠落データへの移行をシミュレートするために、減衰係数$\alpha$（1から0の範囲）を掛けて乗算されます。
4. 推論: 推論中、システムは両方のモダリティが存在する場合の融合演算子と、1つが欠落している場合の恒等関数の間で動的に切り替わります。これにより、ネットワークの構造的変更は不要です。

主な貢献

• 頑健な融合モジュール: $L+C$、$L$、および$C$のシナリオ下で明示的に動作するように設計された融合モジュールの導入により、センサー故障中にモデルがパフォーマンスを維持できるようにします。
• 融合戦略の分析: 欠落および破損したモダリティに対する頑健性を決定するために、さまざまな融合演算子（平均、最大プーリング、クロスアテンション、PMD）を包括的に調査しました。
• 実証的検証: 極端な気象条件やセンサー故障を含む広範なセンサー劣化シナリオ全体で改善された頑健性を示す、MultiCorruptデータセット（nuScenesに基づく）で実施された広範な実験。

結果
著者は、ビームの減少、空間的・時間的な不一致、霧、およびモーションブラーを3つの深刻度レベルで含むMultiCorruptベンチマークを使用して、nuScenes検証セット上でSB-BEVFusionをBEVFusionおよびUniBEVと比較評価しました。

• 破損に対する頑健性: さまざまな破損条件下において、重み付けなし平均戦略（SB-BEVFusion-Avg）は、BEVFusion（0.7490）およびUniBEV（0.7656）を上回る0.7683の最高平均抵抗能力（mRA）を達成しました。クロスアテンション（SB-BEVFusion-CA）は、特に空間的および時間的な不一致に対して優れた耐性を示しました。
• 欠落モダリティのパフォーマンス:
  • LiDARのみ: SB-BEVFusionはベースラインを大幅に上回り、BEVFusionの0.5639およびUniBEVの0.582と比較して、mAP0.6448を達成しました。
  • カメラのみ: UniBEVはカメラのみの設定でより高い頑健性を示しましたが（mAP 0.35対SB-BEVFusionの0.2002）、SB-BEVFusionは完全なセンサー設定（mAP 0.6737）で競争力のあるパフォーマンスを維持しつつ、LiDARのみの頑健性において優れていました。
• 定性的分析: 視覚的な比較により、重度の破損下（例：深刻度3の霧、深刻度2のモーションブラー）において、BEVFusionは大きな物体を検出できなくなったり、グランドトゥルースから著しく逸脱したバウンディングボックスを生成したりすることが確認されましたが、SB-BEVFusionはより正確な予測を維持しました。

重要性
本論文は、SB-BEVFusionが自動運転知覚システムの重要な脆弱性、すなわち理想的なセンサー条件への依存に対処していると主張しています。モダリティの利用可能性レジームの混合でトレーニングされた単一ブランチアーキテクチャが、欠落または破損したデータを効果的に処理できることを実証することで、この研究は現実世界の環境におけるより信頼性の高い3次元物体検出への道筋を提供します。著者は、標準的なBEVFusionで使用される単純な連結が破損データに対して最適ではないこと、および融合演算子の選択がセンサー故障の具体的なタイプに応じて頑健性に大きな影響を与えることを強調しています。本研究は、提案された手法がLiDARのみの故障シナリオおよび一般的な破損耐性において優れている一方で、将来的な研究ではトランスフォーマーベースの融合手法やレーダーなどの追加モダリティの統合を探求できる可能性があると結論付けています。