Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement

Resumen Técnico: Calibración de Extrínsecos LiDAR Multicámara Conjunta mediante Inicialización Pareada Aprendida y Refinamiento Geométrico

Planteamiento del Problema
Los sistemas de percepción modernos dependen cada vez más de plataformas multicámara combinadas con un único sensor LiDAR para mejorar el campo de visión y la robustez. Aunque los métodos basados en aprendizaje para la calibración de un solo par cámara–LiDAR han avanzado, normalmente tratan cada par cámara–LiDAR de forma independiente. Este enfoque ignora el acoplamiento geométrico rígido inherente a las estructuras multicámara, donde todas las cámaras comparten una relación fija a través del marco de coordenadas común del LiDAR. En consecuencia, las estimaciones por cámara que son precisas individualmente pueden dar lugar a inconsistencias a nivel de sistema, lo que provoca artefactos de desalineación entre las vistas. La cuestión central abordada es si la calibración pareada aprendida puede mejorarse optimizando conjuntamente todas las cámaras bajo las restricciones geométricas rígidas de una plataforma compartida.

Metodología
Los autores proponen un marco de trabajo de dos etapas para la calibración de extrínsecos LiDAR multicámara conjunta:

1. Etapa 1: Inicialización de Cámara Única Aprendida
   El flujo de trabajo utiliza CMRNext, un método de aprendizaje de vanguardia, aplicado de forma independiente a cada cámara. CMRNext predice el flujo óptico denso entre un mapa de profundidad LiDAR renderizado y la imagen de la cámara para establecer correspondencias 2D–3D densas. A partir de estas, estima una transformación extrínseca inicial ($\hat{T}_{L \to C_i}$) para cada cámara. Para garantizar la robustez, las predicciones por fotograma a lo largo de una secuencia se agregan (mediante la mediana) para producir una estimación de inicialización única por cámara.

2. Etapa 2: Ajuste de Haz (Bundle Adjustment - BA) Multicámara Conjunto
   Las estimaciones iniciales se refinan conjuntamente mediante un ajuste de haz multicámara que impone la consistencia entre cámaras. La optimización minimiza una función de objetivo de tres términos sobre todos los fotogramas acumulados:

   • Término de Reproyección: Minimiza el error entre los puntos LiDAR proyectados y sus correspondencias 2D observadas en todas las cámaras.
   • Prior por Cámara: Un término de regularización que mantiene la extrínseca optimizada cerca de la estimación de la Etapa 1 ($\hat{T}_i$), estabilizando la solución cuando las correspondencias son dispersas o ruidosas.
   • Prior de Pose Relativa: Un término novedoso que impone consistencia geométrica entre cámaras al penalizar las desviaciones de la pose relativa implicada por las estimaciones de la Etapa 1 ($\hat{T}_{12} = \hat{T}_2 \hat{T}_1^{-1}$). Esto permite la propagación de información entre cámaras, asegurando que la solución final respete la estructura rígida del montaje.

   La optimización emplea una pérdida robusta de Cauchy para reducir el peso de los valores atípicos (outliers) y una estrategia de solver de dos pasadas (fit-gate-refit) para eliminar iterativamente los valores atípicos groseros antes del refinamiento final.

Contribuciones Clave

• Formulación Conjunta: Un método que utiliza las predicciones de cámara única aprendidas como inicialización, pero que refina todas las extrínsecas de las cámaras simultáneamente en lugar de de forma independiente, aprovechando la estructura rígida de los montajes multicámara.
• Prior de Pose Relativa Explícito: Una restricción de optimización que impone consistencia geométrica inter-cámara, permitiendo que el sistema corrija los errores de las cámaras individuales utilizando la información de otras cámaras en el montaje.
• Análisis Empírico: Un estudio exhaustivo que compara los conjuntos de datos in-domain (KITTI) y out-of-domain (Walkley) para determinar cuándo el refinamiento conjunto proporciona mejoras significativas sobre el refinamiento estándar de solo reproyección.

Resultos Experimentales
El método fue evaluado en el conjunto de datos KITTI (in-domain para CMRNext) y el conjunto de datos Walkley (out-of-domain con diferentes configuraciones de sensores).

• KITTI (In-Domain): Dado que la inicialización de la Etapa 1 ya es fuerte, el refinamiento conjunto ofrece mejoras modestas pero consistentes. Con $N=100$ fotogramas, el método completo logró un error de traslación de 0.89 cm y un error de rotación de 0.038° en la cámara primaria, superando a métodos previos (por ejemplo, LCCNet, RGGNet, CMRNet) y a la línea base de la Etapa 1. El enfoque conjunto mejoró notablemente la consistencia entre cámaras.
• Walkley (Out-of-Domain): Aquí, las predicciones de la Etapa 1 fueron significativamente menos fiables (por ejemplo, 108.6 cm de error de traslación en la cámara secundaria). El refinamiento conjunto proporcionó una recuperación sustancial:
  • La reproyección multifotograma por sí sola redujo el error de la cámara secundaria a 3.57 cm.
  • El método completo (incluyendo los priors) refinó esto aún más hasta 3.1 cm y mejoró significativamente la precisión de la cámara primaria (de 87.2 cm a 22.6 cm).
  • Crucialmente, la configuración de "solo priors" (sin reproyección) no logró recuperarse de los grandes errores, confirmando que las ganancias provienen de ajustar las correspondencias aprendidas mientras que los priors actúan como estabilizadores y reforzadores de consistencia.

Significancia y Reivindicaciones
El artículo afirma que el acoplamiento multicámara explícito es beneficioso, particularmente cuando las predicciones de cámara única son menos fiables (escenarios out-of-domain). El marco propuesto demuestra que la optimización conjunta no sacrifica la precisión por cámara en favor de la consistencia del sistema; más bien, mejora ambas. El prior de pose relativa se identifica como el mecanismo clave que permite al optimizador utilizar la información de las vistas bien restringidas para corregir las vistas más débiles sin permitir una deriva arbitraria. Los autores señalan que, si bien el método ofrece una mejora limitada cuando la inicialización ya es casi óptima y los datos son escasos (por ejemplo, KITTI con $N=10$), proporciona ganancias significativas de robustez y precisión en condiciones desafiantes o fuera de dominio. Se sugiere como trabajo futuro extender el marco a montajes con más de dos cámaras y explorar el entrenamiento de extremo a extremo.