技術要約: CoAnchor

問題提起

協調型知覚（Collaborative perception）は、複数のエージェントからの観測を融合することで、単一の車両の視野を超えてセンシング範囲を拡張し、自動運転を強化する。しかし、実世界への導入においては、性能を低下させる2つの結合された課題に直面する：

1. 時間的ミスマッチ（Temporal Misalignment）: 通信遅延により、受信したコラボレーターからのメッセージが「古い（stale）」状態になる（エゴ車両の現在の時刻 $t$ に対して、より前のタイムスタンプ $u_j$ でキャプチャされたものになる）。
2. 空間的ミスマッチ（Spatial Misalignment）: 自己位置推定のノイズや相対ポーズのエラーにより、コラボレーターの観測がエゴフレーム内の誤った位置に配置される。

既存の手法は通常、これらの問題を個別に処理している。空間指向の手法はポーズを精緻化するが、観測が時間的に古い場合には失敗する。時間指向の手法は遅延を補償するが、空間的な参照が信頼できることを前提としている。本論文は、これらのモジュールを単にカスケード接続すること（例：空間補正の後に時間補償を行う）では不十分であると主張している。なぜなら、残留する空間エラーが時間的ステージへと伝播し、「モーション・ゴースト（motion ghosts）」、重複した応答、および検出のずれを引き起こすからである。さらに、高次元のBird's Eye View (BEV) 特徴量は、密な融合（dense fusion）において明示的なオブジェクトの対応関係を持たないため、ノイズの下でアライメントと伝播を共同で推論することが困難である。

手法: CoAnchor

著者らは、アンカー中心の時空間アライメント・フレームワークである CoAnchor を提案する。CoAnchorは、密なBEV特徴量に対して直接操作を行うのではなく、疎で低次元の オブジェクトレベルのインターフェース（時空間アンカー）を構築することで、空間的精緻化、時間的伝播、および信頼性検証を、統一されたクローズドループ内で緊密に結合させる。

パイプラインは主に4つのステージで構成される：

1. 時空間アンカーの初期化

• オブジェクトの状態表現: エージェントはオブジェクトを検出し、短期間の履歴から運動状態（位置、速度、方位）を推定する。
• 二部マッチング（Bipartite Matching）: 遅延した隣接検出は、エゴフレームへと大まかにワープされる。二部マッチングアルゴリズム（ハンガリアン法）を用いて、空間距離、速度の類似性、および局所的な近傍の一貫性に基づき、エゴのオブジェクトと遅延した隣接オブジェクトを関連付ける。
• 軌跡ガイド型のポーズ精緻化: 単一フレームのマッチングとは異なり、CoAnchorはマッチングされたペアの短期間の運動履歴を利用する。マッチングされた軌跡全体にわたる誤差を最小化するように、反復再重み付け最小二乗法（IRLS）を用いて相対ポーズ変換（$\Delta T$）を精緻化する。マッチングコストが低いペアほど、高い信頼性ウェイトから開始する。
• アンカーの構築: マッチングされたペアは、関連する状態、共分散、および信頼性スコアを持つ「遅延時空間アンカー」へと変換される。

2. オブジェクトの時間的伝播

• 状態予測: 遅延したアンカーは、定速運動モデルを用いたルールベースの手法により、遅延タイムスタンプ $u_j$ から現在のエゴ時刻 $t$ へと伝播される。
• エゴによる補正: 伝播されたアンカーに対して、信頼できる現時刻のエゴ観測が存在する場合、カルマン型の観測更新が行われる。システムは正規化イノベーション二乗（$d^2$）を計算し、一貫性を検証する。
  • 一致している場合、アンカーは更新される。
  • 一致していない場合（例：遮蔽や検出漏れによる）、または対応関係が存在しない場合、その仮説は「通常の」伝播オブジェクトへと格下げされ、その後のクローズドループ・フィードバックには参加しない。

3. クローズドループ後験スコアリング

• 信頼性フィードバック: 次のポーズ精緻化ラウンドの前に、システムはマッチングされたペアの安定性を評価する。現時刻の一致性（$d^2$）と短期間の履歴の不一致項（$r_{hist}$）を組み合わせ、フィードバック残差を算出する。
• ウェイトの更新: この残差に基づき、ペアのウェイトは指数関数的に減少（ダウンウェイト）される。安定したペアは次のIRLSポーズ更新に向けて高いウェイトを維持し、ドリフトした、あるいは信頼性の低い対応関係は抑制される。これにより、ポーズ精緻化が信頼できるアンカーによってガイドされるフィードバックループが形成される。

4. アンカーガイド型特徴量融合

• 特徴量のワーピング: 精緻化された最終的なポーズを使用して、遅延した高次元の隣接特徴量を現在のエゴフレームへとワープさせる。
• ボックス単位の調整: 非学習的で決定論的な「ボックス単位の特徴量ムーバー（box-wise feature mover）」が、遅延した隣接ボックスのBEV矩形を抽出し、バイリニアサンプリングを介して、対応する現時刻の伝播ボックスへと再配置する。これにより、密な融合の前に主要な前景の変位を補正する。
• 融合: 補正された特徴量は、標準的なマルチスケール融合モジュール（例：PointPillarsバックボーン）を用いてエゴの特徴量と集約され、最終的な検出デコーディングが行われる。

主な貢献

1. 結合されたミスマッチの分析: 本論文は、空間的および時間的なモジュールを個別にカスケードさせる手法が、結合された摂動の下では失敗することを実証している。これは、残留する空間エラーが時間的伝播を破壊し、不安定な融合を招くためである。
2. アンカー中心のフレームワーク: CoAnchorは、ポーズ補正、時間的伝播、および信頼性推定のための共有インターフェースとして機能する、疎なオブジェクトレベルの表現を導入しており、密なBEV空間における暗黙的なアライメントの複雑さを回避している。
3. 統一されたクローズドループ設計: 本手法は、空間的精緻化、時間的伝播、および現時刻の検証を緊密に結合させている。システムは、コラボレーターの仮説の信頼性を明示的に検証し、この信頼性をポーズ精緻化にフィードバックすることで、「ゴースト」検出の伝播を防ぐ。
4. 効率性: 密な特徴量を繰り返し処理するのではなく、疎なアンカー上で動作することで、本フレームワークは良好な精度と効率のトレードオフを維持している。

実験結果

本手法は、様々なノイズ条件下（「Joint-Hard」：200msの遅延 ＋ 0.6m/0.6°のポーズノイズを含む）において、OPV2V（シミュレーション）および V2V4Real（実世界）データセットを用いて評価された。

• 堅牢性: CoAnchorは、結合された摂動の下で、既存の最先端のベースライン（V2X-ViT、CoAlign、TraF-Align、およびカスケード型ベースライン baseST を含む）を大幅に上回る性能を示した。
  • V2V4Real の Joint-Hard 条件下において、CoAnchorは 67.04 AP@0.5 を達成し、最良のベースライン（baseST の 61.04）を 6.00 AP 上回った。
  • OPV2V の Joint-Hard 条件下では、95.15 AP@0.5 に達し、baseST（90.19）を 5 AP 以上上回った。
• クリーンな設定: ノイズのないシナリオにおいても、CoAnchorは既存の手法と同等の競争力を維持しているが、必ずしも絶対的なトップパフォーマーではない。これは、堅牢性のためにクリーンなケースの精度を犠牲にしていないことを示している。
• 定性的分析: 視覚的な結果は、結合されたノイズに直面した際に、シフトしたボックスや検出漏れに苦しむことが多いベースラインと比較して、CoAnchorが重複した応答やモーション・ゴーストをより少なく生成することを示している。
• 効率性: クローズドループ・フィードバックによる計算オーバーヘッドは最小限である。1回のフィードバック・ラウンドで大部分の堅牢性の向上が得られ、2回目のラウンドによる改善はわずかである。CoAnchorは、V2X-ViTのようなトランスフォーマーベースのベースラインよりも大幅に高速である。

意義と主張

本論文は、Co-Anchorが、現在の知覚手法が直面している重要なギャップ、すなわち結合された時空間ミスマッチを効果的に扱うことができないという課題に対処していると主張している。密な特徴量アライメントから、クローズドループ検証メカニズムを備えた疎なオブジェクトレベルのアンカーシステムへと移行することで、CoAnchorは精度と効率の堅牢なバランスを実現している。

著者らは、通信遅延や位置推定のノイズが避けられない実世界への導入において、彼らのアプローチが特に価値が高いことを強調している。本手法は、完全な同期や正確な相対ポーズに依存せず、代わりに、信頼できるコラボレーターのデータを動的にフィルタリングし、現時刻の検証に基づいてアライメントを精緻化する。この研究は、将来のシステムが、空間的アライメントと時間的アライメントを独立したステージとして扱うのではなく、コラボレーターの証拠を融合前に検証する、統一されたアンカー駆動型のアプローチを採用すべきであることを示唆している。