Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement

技術要約：学習ベースのペアワイズ初期化と幾何学的精緻化による、結合型マルチカメラLiDAR外部パラメータ校正

問題提起
現代の知覚システムは、視野角の拡大と堅牢性を高めるために、単一のLiDARと組み合わせたマルチカメラ・プラットフォームへの依存を強めています。カメラとLiDARの単一ペアに対する学習ベースの手法は進歩していますが、これらは通常、各カメラとLiDARのペアを独立して扱います。このアプローチは、すべてのカメラが共通のLiDAR座標系を通じて固定された関係を共有しているという、マルチカメラ・リグ固有の剛体的な幾何学的結合を無視しています。その結果、個々のカメラごとの推定値が正確であっても、システムレベルでの不整合が生じ、ビュー間での位置合わせの不一致（アライメント・アーティファクト）を引き起こす可能性があります。本研究が取り組む中心的な問いは、学習ベースのペアワイズ校正が、共有プラットフォームの剛体的な幾何学的制約の下で全カメラを結合的に最適化することによって、改善されるかどうかという点です。

手法
著者らは、結合型マルチカメラLiDAR外部パラメータ校正のための2段階のフレームワークを提案しています。

1. 第1段階：学習ベースのシングルカメラ初期化
   このパイプラインは、各カメラに対して独立して適用される最先端の学習ベース手法であるCMRNextを利用します。CMRNextは、レンダリングされたLiDARデプスマップとカメラ画像間の高密度なオプティカルフローを予測し、高密度な2D–3D対応関係を確立します。これに基づき、各カメラの初期外部パラメータ変換（$\hat{T}_{L \to C_i}$）を推定します。堅牢性を確保するため、シーケンス内のフレームごとの予測は（中央値を用いて）集約され、カメラごとの単一の初期化推定値が生成されます。

2. 第2段階：結合型マルチフレーム・バンドル調整（BA）
   初期推定値は、カメラ間の整合性を強制するマルチフレーム・バンドル調整を用いて、結合的に精緻化されます。最適化は、蓄積されたすべてのフレームにわたって以下の3項からなる目的関数を最小化します。

• 再投影項（Reprojection Term）： すべてのカメラにおける、投影された3D LiDAR点と観測された2D対応関係との間の誤差を最小化します。
• カメラ別事前分布（Per-Camera Prior）： 最適化された外部パラメータを第1段階の推定値（$\hat{T}_i$）に近づける正則化項であり、対応関係が疎であったりノイズが多い場合に解を安定させます。
• 相対ポーズ事前分布（Relative-Pose Prior）： カメラ間の幾何学的整合性を強制する新しい項であり、第1段階の推定値（$\hat{T}_{12} = \hat{T}_2 \hat{T}_1^{-1}$）によって示唆される相対ポーズからの逸脱にペナルティを課します。これにより、情報がカメラ間を伝播することを可能にし、最終的な解が剛体リグの構造を尊重するようにします。

最適化には、外れ値を抑制するためのコーシー（Cauchy）ロバスト損失と、最終的な精緻化の前に重大な外れ値を除去するための2パス・ソルバー戦略（fit-gate-refit）が採用されています。

主な貢献

• 結合フォーマット： 学習ベースのシングルカメラ予測を初期化として使用しながらも、個別にではなく、マルチカメラ・リグの剛体構造を活用してすべてのカメラの外部パラメータを同時に精緻化する手法。
• 明示的な相対ポーズ事前分布： カメラ間の幾何学的整合性を強制する最適化制約であり、システムが他のカメラからの情報を用いて個々のカメラの誤差を修正することを可能にします。
• 実証分析： 結合精緻化が標準的な再投影のみの精緻化に対していつ大きな利点をもたらすかを判断するために、インドメイン（KITTI）およびアウトオブドメイン（Walkley）データセットを比較した包括的な研究。

実験結果
本手法は、KITTIデータセット（CMRNextのインドメイン）およびWalkleyデータセット（異なるセンサー構成を持つアウトオブドメイン）を用いて評価されました。

• KITTI (In-Domain): 第1段階の初期化がすでに強力であるため、結合精緻化による改善は緩やかですが一貫しています。$N=100$フレームにおいて、フルメソッドはプライマリカメラに対して0.89 cmの並進誤差および0.038°の回転誤差を達成し、既存の手法（LCCNet, RGGNet, CMRNetなど）および第1段階のベースラインを上回りました。結合アプローチは、カメラ間の整合性を顕著に向上させました。
• Walkley (Out-of-Domain): ここでは、第1段階の予測は著しく信頼性が低くなりました（例：セカンダリカメラで108.6 cmの並進誤差）。結合精緻化は大幅な回復を実現しました。
  • マルチフレーム再投影のみでは、セカンダリカメラの誤差は3.57 cmまで減少しました。
  • フルメソッド（事前分布を含む）は、これをさらに3.1 cmへと精緻化し、プライマリカメラの精度も大幅に向上させました（87.2 cmから22.6 cmへ）。
  • 決定的なことに、「事前分布のみ」の設定（再投影なし）では大きな誤差からの回復に失敗しており、得られた利点が、事前分布が安定化装置および整合性強制装置として機能する一方で、学習された対応関係に適合させることから生じていることを裏付けています。

意義と主張
本論文は、明示的なマルチカメラ結合が、特にシングルカメラの予測が信頼できない場合（アウトオブドメインのシナリオ）において有益であると主張しています。提案されたフレームワークは、結合最適化が個々のカメラの精度を犠牲にすることなく、システム全体の整合性を高めるのではなく、両方を強化することを示しています。相対ポーズ事前分布は、ウェルコンストレインド（制約が強い）なビューからの情報を使用して、ドリフトを許容することなく、制約の弱いビューを修正することを可能にする鍵となるメカニズムとして特定されました。著者らは、初期化がすでに最適に近い場合やデータが乏しい場合（例：$N=10$のKITTI）には改善が限定的であるものの、困難な状況やアウトオブドメインの条件下では、顕著な堅牢性と精度の向上を提供すると述べています。今後の課題として、より多くのカメラを持つリグへのフレームワークの拡張や、エンドツーエンド学習の探索が示唆されています。