HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

本論文は、車両とインフラのセンサー構成が不均一な環境下でも高信頼な協働知覚を実現するため、異種センサー間の特徴融合を最適化する階層的融合メカニズムと適応的解像度調整を採用した新フレームワーク「HeCoFuse」を提案し、TUMTraf-V2X データセットおよび CVPR 2025 DriveX チャレンジにおいて最先端の性能を達成したことを報告しています。

要約

車と街が「チームワーク」で目が見えるようになる：HeCoFuse の仕組み

こんにちは。今日は、自動運転の未来を切り開く新しい技術「HeCoFuse（ヒーコフュース）」について、難しい専門用語を使わずに、わかりやすくお話しします。

🚗 問題：自動運転の「チーム」は、いつも同じメンバーじゃない

自動運転の車（V2X）は、自分だけのカメラやセンサーに頼らず、他の車や街の信号機（インフラ）と情報を共有して「見えない先」も見えるようにします。これを「協調知覚」と呼びます。

でも、現実の世界には大きな問題があります。
**「みんなが同じ装備を持っているとは限らない」**ということです。

• A さん（高級車）： 高性能なカメラも、距離を測るレーザー（LiDAR）も両方持っている。
• B さん（普通の車）： カメラしか持っていない。
• C さん（街の信号機）： 距離を測るレーザーしか持っていない。

これらがチームを組んで「前方に何があるか」を判断しようとしたとき、**「装備が違うから、情報の合わせ方がわからない」**という混乱が起きます。カメラの画像とレーザーの点群は、形も情報量も全く違うからです。

💡 解決策：HeCoFuse（ヒーコフュース）の登場

そこで登場するのが、今回の論文で提案された**「HeCoFuse」という仕組みです。
これは、「どんなメンバー（装備）が揃っても、最高のチームワークを発揮できる魔法の接着剤」**のようなものです。

HeCoFuse は、以下の 3 つの「魔法」を使って問題を解決します。

1. 「賢いリーダー」による情報の選別（階層的アテンション融合）

チームに集まった情報をただ足し合わせるのではなく、**「今、誰の情報が一番信頼できるか？」**を瞬時に判断します。

• アナロジー： 暗い夜道で歩いているとき、カメラ（目）は暗くて見にくいですが、レーザー（触覚のようなもの）は暗闇でも距離を正確に測れます。逆に、明るい昼間はカメラの「色」や「文字」の情報が役立ちます。
• HeCoFuse の働き： 「今は暗いから、レーザーさんの情報を 8 割、カメラさんの情報を 2 割で受け取ろう」とか、「ここは複雑な看板があるから、カメラさんの情報を重視しよう」と、状況に合わせて情報の重み付けを自動で変えるのです。

2. 「サイズ調整」で計算を楽にする（適応的解像度調整）

カメラの画像は高解像度（ピクセル数が多い）で重く、レーザーのデータは低解像度で軽いことがあります。これを無理やり同じサイズに合わせると、計算が重くなりすぎてしまいます。

• アナロジー： 大きなパズル（カメラ）と小さなパズル（レーザー）を一緒にやる際、無理に大きなパズルを小さく切り刻むのではなく、**「必要な部分だけ大きく、細かい部分は少し小さく」**と、計算の負荷を賢く調整します。
• HeCoFuse の働き： 装備によって情報の質が違うので、**「計算コストと精度のバランス」**を自動で取ります。これにより、スマホでも動くような軽さで、高性能な判断が可能になります。

3. 「どんな組み合わせでも戦える」練習法

HeCoFuse は、訓練中に「カメラだけ」「レーザーだけ」「両方」という 9 種類の異なるチーム編成をランダムに練習します。

• アナロジー： サッカーのチーム練習で、「ゴールキーパーがいない試合」「フォワードが 3 人だけという試合」など、どんな不揃いなメンバーでも勝てるように徹底的に練習しておくようなものです。
• HeCoFuse の働き： 本番で「あ、今日はレーザーが故障してカメラだけだ！」となっても、慌てずに対応できます。

🏆 結果：現実の世界で実力を発揮

この技術は、ドイツのミュンヘンという実際の街で収集されたデータ（TUMTraf-V2X データセット）でテストされました。

• 結果： 既存の最高峰の技術（CoopDet3D）よりも精度が向上しました。
• 驚きの事実： 車にレーザー、街の信号機に「カメラ＋レーザー」があるという、**不揃いな組み合わせ（L+LC）**で、最も高い精度を叩き出しました。
• 実績： この技術は、2025 年の CVPR（コンピュータビジョンのトップカンファレンス）で行われた「DriveX チャレンジ」という大会で優勝しました。

🌟 まとめ：なぜこれが重要なのか？

これからの自動運転社会では、高級車も安価な車も、街の設備も、すべてが混在します。
「みんなが同じ高級装備じゃないと動かない」というシステムは、現実では使えません。

**HeCoFuse は、「装備がバラバラでも、それぞれの強みを活かしてチームとして完璧に働く」ことを可能にしました。
暗い夜でも、雨の日でも、どんな車や信号機と出会っても、安全に目的地まで導くための「最強のチームワーク」**が完成したのです。

この技術が実用化されれば、自動運転はより安全で、より多くの場所で、より多くの車にとって身近なものになるでしょう。

技術概要

HeCoFuse: 異種センサーを備えた V2X 協調知覚のためのクロスモーダル補完的フレームワーク

技術的サマリー（日本語）

本論文は、車両と路側インフラが異なるセンサー構成（異種センサー）を持つ現実世界の Vehicle-to-Everything (V2X) 環境における協調知覚の課題を解決するため、HeCoFuse という新しい統一フレームワークを提案しています。

1. 背景と課題 (Problem)

既存の V2X 協調知覚研究の多くは、すべてのノード（車両・インフラ）が同一のセンサー構成（例：すべて LiDAR とカメラを備えている）を持っているという仮定に基づいています。しかし、現実の展開ではコスト制約や段階的なハードウェアアップグレードにより、以下のような**センサーの異種性（Heterogeneity）**が生じます。

• 車両やインフラが LiDAR のみ、カメラのみ、あるいは両方を備えている場合の組み合わせが多様である。
• 主要な課題:
  1. 非対称なセンサーモダリティ: LiDAR（空間情報に優れる）とカメラ（セマンティック情報に優れる）は、空間解像度や視野、情報密度が異なり、特徴量の整合性（アライメント）と融合が困難。
  2. 特徴量の不整合: 特定のノードでモダリティが欠落している場合、単純な融合戦略では性能が劣化する。
  3. システムロバスト性の欠如: センサーの故障や能力の異なるノードとの相互作用において、システムが柔軟に適応し、性能を維持するメカニズムが必要。

2. 提案手法：HeCoFuse (Methodology)

HeCoFuse は、9 つの異なるセンサー構成（例：車両が LiDAR+カメラ、インフラが LiDAR のみなど）を単一のモデルで学習・処理できる統一フレームワークです。

主要な技術的構成要素

1. モジュール型特徴抽出と PseudoFusion:

   • 各ノードでセンサー固有のエンコーダ（LiDAR 用：PointPillars 系、カメラ用：YOLOv8 系）を用いて Bird's Eye View (BEV) 特徴を抽出。
   • PseudoFusion: 単一センサー（LiDAR のみ、またはカメラのみ）の場合でも、特徴アダプター（1x1 畳み込み等）を用いて特徴次元を統一し、融合プロセスへの入力として互換性を保つ。

2. 階層的注意融合 (Hierarchical Attention Fusion: HAF):

   • チャネル注意: 異なるセンサーモダリティから得られる特徴チャネルの信頼性を評価し、重み付けを行う（例：距離推定には LiDAR 特徴を重視、外観認識にはカメラ特徴を重視）。
   • 空間注意: 空間領域ごとに、どのノードのセンサーがより信頼性の高い情報を提供するかを動的に判断し、重み付けを行う（例：遠距離の物体には LiDAR、視覚的に複雑な領域にはカメラを重視）。
   • これにより、クロスモーダルな特徴のミスマッチや、表現品質の偏りを克服する。

3. 適応的空間解像度調整 (Adaptive Spatial Resolution: ASR):

   • センサー構成に応じて特徴マップの解像度を動的に調整する。
   • カメラのみのノードは解像度を下げ、LiDAR のみのノードは解像度を調整するなど、計算コストと情報忠実度のバランスを取る。
   • 融合後に、最も高精度なセンサー構成に基づいて解像度を復元（アップサンプリング）する。

4. 協調学習戦略:

   • 訓練時に 9 つの異なるセンサー構成をランダムにサンプリングすることで、モデルが任意のセンサー組み合わせに対してロバストな融合戦略を学習できるようにする。

3. 主な貢献 (Key Contributions)

1. 初の統一フレームワーク: V2X ネットワークにおける異種センサー構成に特化した、最初の統一協調知覚フレームワークの提案。
2. 新規メカニズムの開発: 動的にクロスモーダル特徴を統合する「階層的注意融合 (HAF)」と、センサー利用状況に応じて特徴スケールを調整する「適応的空間解像度 (ASR)」の導入。
3. 実データでの検証: 実世界の TUMTraf-V2X データセットを用いた大規模実験により、ゼロから学習した場合でも最先端（SOTA）の性能を達成し、9 つの異種構成すべてでロバストな精度を維持することを示した。

4. 実験結果 (Results)

データセット: 実世界の TUMTraf-V2X データセット（ミュンヘンの都市交差点で収集）。
評価指標: 3D mAP（平均精度）、IoU、位置・回転 RMSE など。

• CVPR 2025 DriveX チャレンジでの優勝:
  • L+LC 構成（車両：LiDAR のみ、インフラ：LiDAR+カメラ）において、43.38% の 3D mAPを達成し、同チャレンジで 1 位を獲得。
  • LC+LC 構成（フルセンサー）では、43.22% の 3D mAPを記録し、ベースライン（CoopDet3D）の 42.05% を 1.17 ポイント上回った。
• 異種構成でのロバスト性:
  • 9 つの異なるセンサー構成すべてにおいて、3D mAP が 21.74% 〜 43.38% の範囲で安定した性能を示した。
  • 特に、LiDAR が車両に、カメラがインフラにある場合など、非対称な構成でも高い性能を維持。
  • 興味深いことに、L+LC 構成（車両 LiDAR のみ＋インフラ両センサー）は、フルセンサー構成（LC+LC）よりも高い mAP を記録したケースがあり、インフラ側の多様なセンサーがシステム全体のパフォーマンスに大きく寄与していることが示唆された。

5. 意義と結論 (Significance)

• 現実世界への適合: 理想化された「均一なセンサー構成」という仮定を捨て、現実の V2X 展開で避けられない「異種センサー」や「センサー欠落」に対応可能なシステムを提供した。
• 計算効率と性能の両立: 適応的解像度調整により、異種構成において 30-45% の計算コスト削減を実現しつつ、高い検出精度を維持。
• 将来展望: 本フレームワークは、低コストなカメラ中心のシステムや、部分的なセンサー故障に対しても柔軟に対応可能であり、実社会での V2X 協調知覚の実用化に向けた重要な一歩である。

本論文は、CVPR 2025 DriveX チャレンジでの優勝実績と実データでの検証を通じて、異種センサー環境における協調知覚の新しい基準（SOTA）を確立しました。