Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement

Resumo Técnico: Calibração Extrínseca de LiDAR Multicâmera Conjunta via Inicialização Pareada Aprendida e Refinamento Geométrico

Definição do Problema
Sistemas de percepção modernos dependem cada vez mais de plataformas multicâmeras acopladas a um único sensor LiDAR para aumentar o campo de visão e a robustez. Embora métodos baseados em aprendizado para calibração câmera–LiDAR individual tenham avançado, eles tipicamente tratam cada par câmera–LiDAR de forma independente. Essa abordagem ignora o acoplamento geométrico rígido inerente aos suportes (rigs) multicâmeras, onde todas as câmeras compartilham uma relação fixa através do quadro de coordenadas comum do LiDAR. Consequentemente, estimativas por câmera individualmente precisas podem resultar em inconsistências no nível do sistema, levando a artefatos de desalinhamento entre as visões. A questão central abordada é se a calibração pareada aprendida pode ser melhorada pela otimização conjunta de todas as câmeras sob as restrições geométricas rígidas de uma plataforma compartilhada.

Metodologia
Os autores propõem um framework de dois estágios para a calibração extrínseca conjunta de LiDAR multicâmera:

1. Estágio 1: Inicialização de Câmera Única Aprendida
   O pipeline utiliza o CMRNext, um método de aprendizado de estado da arte, aplicado independentemente a cada câmera. O CMRNext prevê o fluxo óptico denso entre um mapa de profundidade LiDAR renderizado e a imagem da câmera para estabelecer correspondências 2D–3D densas. A partir destas, ele estima uma transformação extrínseca inicial ($\hat{T}_{L \to C_i}$) para cada câmera. Para garantir a robustez, as previsões por quadro em uma sequência são agregadas (via mediana) para produzir uma estimativa de inicialização única por câmera.

2. Estágio 2: Ajuste de Feixe (Bundle Adjustment - BA) Multi-Frame Conjunto
   As estimativas iniciais são refinadas conjuntamente usando um ajuste de feixe multi-frame que impõe consistência entre as câmeras. A otimização minimiza uma função objetivo de três termos sobre todos os quadros acumulados:

• Termo de Reprojeção: Minimiza o erro entre os pontos 3D do LiDAR projetados e suas correspondências 2D observadas em todas as câmeras.
• Prior por Câmera: Um termo de regularização que mantém a extrínseca otimizada próxima da estimativa do Estágio 1 ($\hat{T}_i$), estabilizando a solução quando as correspondências são esparsas ou ruidosas.
• Prior de Pose Relativa: Um termo inovador que impõe consistência geométrica entre as câmeras ao penalizar desvios da pose relativa implícita pelas estimativas do Estágio 1 ($\hat{T}_{12} = \hat{T}_2 \hat{T}_1^{-1}$). Isso permite que a informação se propague entre as câmeras, garantindo que a solução final respeite a estrutura rígida do suporte.

A otimização utiliza uma perda robusta de Cauchy para reduzir o peso de outliers e uma estratégia de solver de duas passagens (fit-gate-refit) para remover iterativamente outliers grosseiros antes do refinamento final.

Principais Contribuições

• Formulação Conjunta: Um método que utiliza previsões de câmera única aprendidas como inicialização, mas refina todas as extrínsecas das câmeras simultaneamente em vez de independentemente, aproveitando a estrutura rígida dos suportes multicâmeras.
• Prior de Pose Relativa Explícito: Uma restrição de otimização que impõe consistência geométrica entre câmeras, permitindo que o sistema corrija erros individuais de câmera usando informações de outras câmeras no suporte.
• Análise Empírica: Um estudo abrangente comparando os conjuntos de dados in-domain (KITTI) e out-of-domain (Walkley) para determinar quando o refinamento conjunto fornece ganhos significativos sobre o refinamento padrão de apenas reprojeção.

Resultados Experimentais
O método foi avaliado no conjunto de dados KITTI (in-domain para o CMRNext) e no conjunto de dados Walkley (out-of-domain com diferentes configurações de sensores).

• KITTI (In-Domain): Como a inicialização do Estágio 1 já é forte, o refinamento conjunto oferece melhorias modestas, mas consistentes. Com $N=100$ quadros, o método completo alcançou 0,89 cm de erro de translação e 0,038° de erro de rotação na câmera primária, superando métodos anteriores (ex: LCCNet, RGGNet, CMRNet) e a linha de base do Estágio 1. A abordagem conjunta melhorou notavelmente a consistência entre câmeras.
• Walkley (Out-of-Domain): Aqui, as previsões do Estágio 1 foram significativamente menos confiáveis (ex: 108,6 cm de erro de translação na câmera secundária). O refinamento conjunto proporcionou uma recuperação substancial:
  • A reprojeção multi-frame sozinha reduziu o erro da câmera secundária para 3,57 cm.
  • O método completo (incluindo os priors) refinou ainda mais este valor para 3,1 cm e melhorou significativamente a precisão da câmera primária (de 87,2 cm para 22,6 cm).
  • Crucialmente, a configuração "apenas priors" (sem reprojeção) falhou em recuperar os erros, confirmando que os ganhos advêm do ajuste das correspondências aprendidas, enquanto os priors atuam como estabilizadores e impositores de consistência.

Significância e Alegações
O artigo alega que o acoplamento explícito de múltiplas câmeras é benéfico, particularmente quando as previsões de câmera única são menos confiáveis (cenários out-of-domain). O framework proposto demonstra que a otimização conjunta não sacrifica a precisão por câmera em favor da consistência do sistema; pelo contrário, ela melha ambas. O prior de pose relativa é identificado como o mecanismo chave que permite ao otimizador usar informações de visões bem restringidas para corrigir visões mais fracas sem permitir o drift arbitrário. Os autores observam que, embora o método ofereça melhoria limitada quando a inicialização já é quase ideal e os dados são escassos (ex: KITTI com $N=10$), ele proporciona ganhos significativos de robustez e precisão em condições desafiadoras ou out-of-domain. Sugere-se como trabalho futuro a extensão do framework para suportes com mais de duas câmeras e a exploração de treinamento end-to-end.