Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement

技术摘要：通过学习型成对初始化与几何精细化实现联合多相机 LiDAR 外参标定

问题陈述
现代感知系统日益依赖多相机平台与单台 LiDAR 的组合，以增强视野范围和鲁棒性。虽然基于学习的单相机–LiDAR 标定方法已取得进展，但这些方法通常将每个相机–LiDAR 对视为独立的个体进行处理。这种方法忽略了多相机设备中固有的刚性几何耦合特性，即所有相机都通过共同的 LiDAR 坐标系共享一个固定的关系。因此，单个相机虽然可能获得准确的估计，但会导致系统层面的不一致，从而产生跨视图的对齐偏差。本文探讨的核心问题是：在共享平台的刚性几何约束下，通过联合优化所有相机，是否可以提升基于学习的成对标定效果。

方法论
作者提出了一种用于联合多相机 LiDAR 外参标定的两阶段框架：

1. 第一阶段：基于学习的单相机初始化
   该流水线利用 CMRNext（一种最先进的基于学习的方法）独立应用于每个相机。CMRNext 通过在渲染的 LiDAR 深度图与相机图像之间预测稠密光流，建立稠密的 2D–3D 对应关系。基于这些对应关系，它估计每个相机的初始外参变换 ($\hat{T}_{L \to C_i}$)。为了确保鲁棒性，通过对序列中的逐帧预测进行聚合（取中位数），为每个相机生成单一的初始化估计值。

2. 第二阶段：联合多帧束调整 (Bundle Adjustment, BA)
   初始估计值通过多帧束调整进行联合精细化，该过程强制执行相机间的一致性。优化过程在所有累积帧上最小化一个三项目标函数：

   • 重投影项： 最小化所有相机中投影的 3D LiDAR 点与其观测到的 2D 对应关系之间的误差。
   • 单相机先验： 一个正则化项，使优化后的外参保持在第一阶段估计值 ($\hat{T}_i$) 附近，从而在对应关系稀疏或存在噪声时稳定解。
   • 相对位姿先验： 一种新型项，通过惩罚偏离第一阶段估计值所隐含的相对位姿 ($\hat{T}_{12} = \hat{T}_2 \hat{T}_1^{-1}$) 的程度，来强制执行相机间的几何一致性。这使得信息可以在不同相机之间传播，确保最终解符合刚性设备结构。

   优化过程采用了 Cauchy 鲁棒损失函数以降低异常值的权重，并采用两轮求解策略（拟合-门控-再拟合）在最终精细化之前迭代地剔除严重的异常值。

核心贡献

• 联合公式化： 一种利用学习到的单相机预测作为初始化，但同时精细化所有相机外参而非独立处理的方法，从而利用了多相机设备的刚性结构。
• 显式相对位姿先验： 一种强制执行相机间几何一致性的优化约束，使系统能够利用来自其他相机的辅助信息来修正单个相机的误差。
• 实证分析： 通过对领域内（KITTI）和领域外（Walkley）数据集的全面研究，确定了联合精细化何时比标准的仅重投影精细化具有显著增益。

实验结果
该方法在 KITTI 数据集（针对 CMRNext 的领域内数据）和 Walkley 数据集（具有不同传感器配置的领域外数据）上进行了评估。

• KITTI（领域内）： 由于第一阶段初始化已经非常强大，联合精细化提供了虽小但持续的改进。在 $N=100$ 帧时，完整方法在主相机上实现了 0.89 cm 的平移误差和 0.038° 的旋转误差，优于之前的算法（如 LCCNet、RGG便 RGGNet、CMRNet）以及第一阶段基准。联合方法显著提升了相机间的一致性。
• Walkley（领域外）： 在此场景下，第一阶段的预测明显不够可靠（例如，次级相机的平移误差为 108.6 cm）。联合精细化提供了实质性的恢复能力：
  • 仅使用多帧重投影将次级相机的误差降至 3.57 cm。
  • 包含先验的完整方法进一步将其精细化至 3.1 cm，并显著提升了主相机的精度（从 87.2 cm 降至 22.6 cm）。
  • 至关重要的是，“仅先验”配置（不含重投影）未能从巨大误差中恢复，这证实了其增益源于对学习到的对应关系的拟合，而先验项则起到了稳定器和一致性强制器的作用。

意义与主张
论文声称，显式的多相机耦合是有益的，特别是在单相机预测不够可靠（领域外场景）的情况下。所提出的框架表明，联合优化并不会以牺牲单相机精度为代价来换取系统一致性；相反，它同时增强了两者。相对位姿先验被认为是允许优化器利用约束良好的视图来修正较弱视图，同时又不允许产生任意漂移的关键机制。作者指出，虽然当初始化已接近最优且数据稀缺时（例如 $N=10$ 的 KITTI），该方法的改进有限，但在挑战性或领域外条件下，它提供了显著的鲁棒性和精度增益。未来的工作建议将该框架扩展到拥有多于两个相机的设备，并探索端到端训练。