Joint Multi-Camera LiDAR Extrinsic Calibration via Learned Pairwise Initialization and Geometric Refinement

Sintesi Tecnica: Calibrazione Estrinseca LiDAR Multi-Camera Congiunta tramite Inizializzazione Appresa a Coppie e Raffinamento Geometrico

Problematica
I moderni sistemi di percezione si affidano sempre più a piattaforme multi-camera accoppiate a un singolo sensore LiDAR per migliorare il campo visivo e la robustezza. Sebbene i metodi basati sull'apprendimento per la calibrazione singola camera-LiDAR abbiano fatto progressi, essi tipicamente trattano ogni coppia camera-LiDAR in modo indipendente. Questo approccio ignora il vincolo geometrico rigido intrinseco nelle strutture multi-camera, dove tutte le telecamere condividono una relazione fissa attraverso il comune sistema di coordinate LiDAR. Di conseguenza, stime per singola camera che siano accuratamente ottenute singolarmente possono risultare in inconsistenze a livello di sistema, portando ad artefatti di disallineamento tra le viste. La questione centrale affrontata è se la calibrazione a coppie appresa possa essere migliorata ottimizzando congiuntamente tutte le telecamere sotto i vincoli geometrici rigidi di una piattaforma condivisa.

Metodologia
Gli autori propongono un framework a due stadi per la calibrazione estrinseca congiunta LiDAR multi-camera:

1. Stadio 1: Inizializzazione Singola Camera Appresa
   Il processo utilizza CMRNext, un metodo basato sull'apprendimento allo stato dell'arte, applicato indipendentemente a ciascuna camera. CMRNext predice il flusso ottico denso tra una mappa di profondità LiDAR renderizzata e l'immagine della camera per stabilire corrispondenze 2D–3D dense. Da queste, stima una trasformazione estrinseca iniziale ($\hat{T}_{L \to C_i}$) per ogni camera. Per garantire la robustezza, le predizioni per frame attraverso una sequenza vengono aggregate (tramite mediana) per produrre una singola stima di inizializzazione per ogni camera.

2. Stadio 2: Bundle Adjustment (BA) Multi-Frame Congiunto
   Le stime iniziali vengono raffinate congiuntamente tramite un bundle adjustment multi-frame che impone la coerenza inter-camera. L'ottimizzazione minimizza una funzione obiettivo a tre termini su tutti i frame accumulati:

• Termine di Riproiezione: Minimizza l'errore tra i punti LiDAR 3D proiettati e le loro corrispondenze 2D osservate attraverso tutte le camere.
• Prior Per-Camera: Un termine di regolarizzazione che mantiene l'estrinseca ottimizzata vicina alla stima dello Stadio 1 ($\hat{T}_i$), stabilizzando la soluzione quando le corrispondenze sono scarse o rumorose.
• Prior di Pose Relativa: Un termine innovativo che impone la coerenza geometrica tra le camere, penalizzando le deviazioni dalla posa relativa implicata dalle stime dello Stadio 1 ($\hat{T}_{12} = \hat{T}_2 \hat{T}_1^{-1}$). Ciò consente la propagazione delle informazioni tra le camere, assicurando che la soluzione finale rispetti la struttura rigida del rig.

L'ottimizzazione impiega una perdita robusta di tipo Cauchy per ridurre il peso degli outlier e una strategia di solver a due passaggi (fit-gate-refit) per rimuovere iterativamente gli outlier macroscopici prima del raffinamento finale.

Contributi Chiave

• Formulazione Congiunta: Un metodo che utilizza le predizioni a singola camera apprese come inizializzazione ma raffina congiuntamente tutte le estrinseche delle camere anziché indipendentamente, sfruttando la struttura rigida dei rig multi-camera.
• Prior di Posa Relativa Esplicito: Un vincolo di ottimizzazione che impone la coerenza geometrica inter-camera, consentendo al sistema di correggere gli errori delle singole camere utilizzando le informazioni provenienti dalle altre camere del rig.
• Analisi Empirica: Uno studio completo che confronta i dataset in-domain (KITTI) e out-of-domain (Walkley) per determinare quando il raffinamento congiunto fornisce guadagni significativi rispetto al raffinamento standard basato solo sulla riproiezione.

Risultati Sperimentali
Il metodo è stato valutato sul dataset KITTI (in-domain per CMRNext) e sul dataset Walkley (out-of-domain con diverse configurazioni di sensori).

• KITTI (In-Domain): Poiché l'inizializzazione dello Stadio 1 è già forte, il raffinamento congiunto offre miglioramenti modesti ma costanti. Con $N=100$ frame, il metodo completo ha ottenuto un errore di traslazione di 0,89 cm e un errore di rotazione di 0,038° sulla camera primaria, superando i metodi precedenti (es. LCCNet, RGGNet, CMRNet) e la baseline dello Stadio 1. L'approccio congiunto ha migliorato notevolmente la coerenza inter-camera.
• Walkley (Out-of-Domain): In questo caso, le predizioni dello Stadio 1 erano significativamente meno affidabili (es. errore di traslazione di 108,6 cm sulla camera secondaria). Il raffinamento congiunto ha fornito un recupero sostanziale:
  • La sola riproiezione multi-frame ha ridotto l'errore della camera secondaria a 3,57 cm.
  • Il metodo completo (inclusi i prior) ha ulteriormente raffinato questo valore a 3,1 cm e ha migliorato significativamente l'accuratezza della camera primaria (da 87,2 cm a 22,6 cm).
  • Fondamentalmente, la configurazione "solo prior" (senza riproiezione) non è riuscita a recuperare dai grandi errori, confermando che i guadagni derivano dal fitting delle corrispondenze apprese mentre i prior agiscono come stabilizzatori e impositore di coerenza.

Significatività e Rivendicazioni
Il paper sostiene che l'accoppiamento esplicito multi-camera sia vantaggioso, in particolare quando le predizioni a singola camera sono meno affidabili (scenari out-of-domain). Il framework proposto dimostra che l'ottimizzazione congiunta non sacrifica l'accuratezza per singola camera a favore della coerenza di sistema; piuttosto, migliora entrambe. Il prior di posa relativa è identificato come il meccanismo chiave che permette all'ottimizzatore di utilizzare le informazioni da viste ben vincolate per correggere le viste più deboli senza permettere derive arbitrarie. Gli autori osservano che, sebbene il metodo offra miglioramenti limitati quando l'inizializzazione è già vicina all'ottimo e i dati sono scarsi (es. KITTI con $N=10$), esso fornisce guadagni significativi in termini di robustezza e accuratezza in condizioni difficili o out-of-domain. Il lavoro futuro suggerito riguarda l'estensione del framework a rig con più di due camere e l'esplorazione dell'addestramento end-to-end.