A Pose-only Geometric Constraint for Multi-Camera Pose Adjustment

1. Enunciato del Problema

I sistemi multi-camera offrono una robustezza superiore e campi visivi più ampi per la navigazione visiva e la ricostruzione 3D rispetto ai sistemi monocolari o stereo. Tuttavia, questi vantaggi introducono una significativa ridondanza delle caratteristiche.

• Collo di bottiglia computazionale: Nel classico Bundle Adjustment (BA), il processo di ottimizzazione affina congiuntamente le pose delle camere e i punti della scena 3D. All'aumentare del numero di camere e osservazioni, lo spazio dei parametri cresce rapidamente (a causa dell'inclusione delle coordinate dei punti 3D), portando a un elevato sovraccarico computazionale e consumo di memoria.
• Ridondanza: Nelle configurazioni multi-camera, un singolo punto 3D è spesso osservato da più camere simultaneamente o attraverso molti fotogrammi, creando un enorme numero di variabili ridondanti che non migliorano necessariamente l'accuratezza ma rallentano drasticamente l'ottimizzazione.
• Domanda centrale: Come è possibile ottimizzare le pose multi-camera in modo efficiente senza sacrificare l'accuratezza, eliminando la necessità di ottimizzare esplicitamente i punti della scena 3D?

2. Metodologia

Gli autori propongono un framework di Regolazione Solo-Pose che disaccoppia l'ottimizzazione della pose dalla ricostruzione dei punti 3D. La metodologia consta di quattro componenti principali:

A. Rappresentazione del Modello di Camera Generalizzata

Il sistema multi-camera è modellato come un'unica Camera Generalizzata.

• Ogni osservazione di pixel 2D è mappata a un unico vettore 6D $(f, v)$, dove $f$ è il vettore di direzione normalizzato e $v$ è il vertice del raggio di osservazione.
• Questa rappresentazione unificata gestisce configurazioni di camera arbitrarie (ad esempio, campi visivi sovrapposti, fish-eye o camere a foro stenopeico) e calibrazioni estrinseche all'interno di un singolo framework matematico.

B. Vincolo Solo-Pose Multi-Camera

L'innovazione centrale è la derivazione di un vincolo geometrico che rappresenta implicitamente i punti 3D utilizzando solo pose e osservazioni.

• Osservazioni di base: Per qualsiasi punto 3D $X_W$, vengono selezionate due osservazioni specifiche (una "base-sinistra" e una "base-destra").
• Eliminazione analitica: Il punto 3D $X_W$ è espresso analiticamente come funzione delle osservazioni di base e delle loro pose corrispondenti.
• Formulazione del vincolo: Tutte le altre osservazioni dello stesso punto sono espresse come funzioni della coppia di base e delle pose. Ciò crea un Insieme di Vincoli Solo-Pose ($S^{(l,r)}_{X_W}$) in cui le coordinate del punto 3D sono eliminate dalle variabili di ottimizzazione.
• Risultato: La funzione di costo dipende esclusivamente dalle pose ($R, t$), rimuovendo efficacemente i punti 3D dallo spazio dei parametri.

C. Strategia di Selezione delle Osservazioni di Base

La selezione della coppia ottimale di osservazioni di base è critica per l'accuratezza. Gli autori propongono un algoritmo di selezione basato sulla Rotondità dell'Ellissoide di Incertezza:

• Invece di scegliere semplicemente la massima disparità o l'angolo theta, l'algoritmo calcola la matrice di covarianza del punto 3D ricostruito per le coppie di osservazioni potenziali.
• Seleziona la coppia che produce l'ellissoide di incertezza più "rotondo" (isotropo), che corrisponde all'intersezione geometrica più stabile e accurata.
• Questo è un processo a due stadi: prima si seleziona l'osservazione con varianza minima, quindi si itera per trovare il partner che massimizza la rotondità.

D. Ricostruzione Statisticamente Ottimale

Una volta ottimizzate le pose, viene utilizzato un metodo di Triangolazione Statisticamente Ottimale per ricostruire la scena 3D:

• A differenza dei metodi standard del punto medio, questo approccio incorpora la covarianza completa delle osservazioni 2D.
• Proietta i residui 3D nello spazio tangente della sfera unitaria (utilizzando lo spazio nullo del vettore di direzione) per gestire la singolarità della normalizzazione sferica.
• La soluzione minimizza la distanza di Mahalanobis, fornendo una soluzione in forma chiusa e statisticamente ottimale per il modello di camera generalizzata.

3. Contributi Chiave

1. Vincolo Geometrico Solo-Pose: Una formulazione innovativa che elimina analiticamente i punti 3D dal ciclo di ottimizzazione per i sistemi multi-camera, riducendo la dimensionalità dello spazio dei parametri.
2. Algoritmo di Regolazione della Pose: Un algoritmo completo (MCPA/MCPALR) che ottimizza le pose senza variabili 3D, migliorando significativamente l'efficienza computazionale.
3. Selezione Basata sull'Incertezza: Un algoritmo di selezione delle osservazioni di base basato sulla rotondità dell'ellissoide di incertezza, che supera i metodi di selezione basati sulla disparità tradizionale in condizioni rumorose.
4. Ricostruzione Statisticamente Ottimale: Un metodo di triangolazione in forma chiusa per camere generalizzate che tiene conto della covarianza delle osservazioni, garantendo una ricostruzione 3D di alta qualità dopo l'ottimizzazione della pose.

4. Risultati Sperimentali

Gli autori hanno valutato il loro metodo su dataset sintetici e reali (ETH3D e KITTI Odometry), confrontandolo con il Bundle Adjustment standard (MultiCol, BACS) e RigBA.

• Efficienza Computazionale:
  • I metodi proposti (MCPA e MCPALR) hanno superato significativamente i baseline nei tempi di esecuzione.
  • Su dataset su larga scala (ad esempio, 200 pose, 10.000 punti), la velocità di ottimizzazione è migliorata di 2,5 volte e l'uso di memoria è stato ridotto di 19 volte rispetto a MultiCol.
  • Sul dataset KITTI, MCPA ha raggiunto un aumento di velocità fino a 3,82 volte rispetto a MultiCol.
• Accuratezza della Pose:
  • I metodi proposti hanno mantenuto o migliorato l'accuratezza della stima della pose rispetto al BA tradizionale.
  • In condizioni di alto rumore, i metodi solo-pose hanno dimostrato una robustezza superiore perché sono immuni agli errori introdotti da una triangolazione inaccurata dei punti 3D durante il ciclo di ottimizzazione.
  • MCPALR (utilizzando sia vincoli base-sinistra che base-destra) ha generalmente offerto la massima accuratezza, mentre MCPA ha offerto il miglior compromesso velocità/accuratezza.
• Qualità della Ricostruzione:
  • Il metodo di triangolazione statisticamente ottimale proposto ha ottenuto gli errori di ricostruzione più bassi su tutti i livelli di rumore, superando i metodi standard come MidPoint, DLT e NonLin.

5. Significato

Questo paper affronta un collo di bottiglia critico nei sistemi visivi multi-camera: il costo computazionale della gestione di osservazioni ridondanti.

• Scalabilità: Rimuovendo i punti 3D dalle variabili di ottimizzazione, il metodo scala molto meglio con il numero di camere e fotogrammi, rendendolo altamente adatto per applicazioni in tempo reale come la guida autonoma e SLAM su larga scala.
• Robustezza: Il disaccoppiamento dell'ottimizzazione della pose e dei punti previene la propagazione degli errori dai punti 3D rumorosi alle pose delle camere, portando a traiettorie più stabili in ambienti impegnativi.
• Generalizzabilità: L'uso del Modello di Camera Generalizzata garantisce che il metodo sia applicabile a configurazioni hardware diverse (ad esempio, multi-fisheye, stereo o array rigidi arbitrari) senza richiedere adattamenti specifici del sistema.

In sintesi, gli autori dimostrano con successo che l'ottimizzazione solo-pose non è solo computazionalmente superiore, ma è anche capace di raggiungere un'accuratezza all'avanguardia nei sistemi multi-camera, offrendo un nuovo paradigma per pipeline di visione 3D efficienti.