Rolling Shutter Relative Pose Estimation Made Practical

Sintesi Tecnica: Stima della Posa Relativa con Rolling Shutter Resa Pratica

Problematica
Le telecamere con rolling shutter (RS) sono onnipresenti nei dispositivi di consumo, eppure la stima robusta della posa relativa per questi sensori è rimasta impraticabile. I metodi standard di geometria multi-vista assumono un modello a otturatore globale (GS) in cui la matrice essenziale è costante. Nelle telecamere RS, la lettura riga per riga invalida questa assunzione, rendendo la matrice essenziale dipendente dalla riga. Sebbene Dai et al. [17] abbiano derivato un risolutore minimale per la posa relativa RS, esso richiede un minimo di 20 corrispondenze di punti (PC). A causa della dipendenza esponenziale del numero di iterazioni RANSAC dalla dimensione del campione ($\eta^{-k}$), un campione di 20 elementi rende la stima robusta proibitivamente costosa (richiedendo milioni di iterazioni con un rapporto di inlier del 50%). I metodi esistenti o ignorano gli effetti RS (introducendo un bias sistematico) o sono troppo pesanti dal punto di vista computazionale per un uso pratico.

Metodologia
Il lavoro introduce le Corrispondenze Affini (AC) al problema della geometria a due viste RS per ridurre la dimensione necessaria del campione. Una AC aumenta una corrispondenza di punti con una trasformazione affine locale $2 \times 2$, fornendo tre equazioni per corrispondenza (una epipolare, due affini) invece di una sola.

1. Vincoli Affini Corretti per RS:
   Gli autori derivano nuovi vincoli che tengono conto dell'accoppiamento tra le perturbazioni dei punti e la matrice essenziale dipendente dalla riga. A differenza della formulazione GS, lo spostamento di un punto in un'immagine RS cambia la sua riga di lettura, alterando la matrice essenziale. La derivazione include termini di correzione che coinvolgono le derivate parziali della matrice essenziale rispetto alle coordinate di riga ($\partial \tilde{E} / \partial \tau_k$). Ogni AC fornisce tre equazioni: il classico vincolo epipolare più due nuovi vincoli affini modificati da questi termini di correzione RS.

2. Linearizzazione e Proiezione dello Spazio Nullo:
   Il problema a due viste RS coinvolge 17 incognite: 5 per la posa relativa ($R, t$) e 12 per le velocità angolari e traslazionali per telecamera ($\omega_k, v_k$). Gli autori osservano che i parametri di moto RS sono fisicamente piccoli (tipicamente $\|\omega\| < 0.15$ rad). Linearizzano i vincoli attorno alla soluzione GS ($\theta = 0$), trattando i parametri RS come variabili lineari.
   Con 7 AC, il sistema fornisce 21 equazioni lineari per le 12 variabili RS. Il risolutore elimina queste 12 incognite tramite proiezione dello spazio nullo. Proiettando il vettore residuo nello spazio nullo sinistro del Jacobiano, il sistema si riduce a 9 equazioni polinomiali che coinvolgono solo i 5 parametri di posa.

3. Risolutore Algebrico:
   I parametri di posa sono parametrizzati utilizzando la rotazione di Cayley e un vettore di traslazione scalato. Il sistema risultante viene ridotto a 10 equazioni polinomiali di grado 4. Il grado algebrico del sistema è 20. Gli autori risolvono questo problema utilizzando le matrici d'azione (geometria algebrica computazionale), estraendo tutte le 20 soluzioni in circa 1,2 ms. I parametri RS vengono poi recuperati tramite minimi quadrati.

4. Integrazione RANSAC:
   Il risolutore è integrato in una pipeline RANSAC (SupeRANSAC). La riduzione della dimensione minima del campione da 20 PC a 7 AC riduce drasticamente il numero atteso di iterazioni RANSAC (ad esempio, da $>10^6$ a $\sim600$ con inlier al 50%). Un passaggio di raffinamento non minimale utilizzando Levenberg-Marquardt ottimizza congiuntamente tutti i 17 parametri, utilizzando sia i residui epipolari che quelli affini.

Contributi Chiave

• Nuovi Vincoli: Derivazione di vincoli affini corretti per RS che catturano l'accoppiamento tra le perturbazioni dei punti e le matrici essenziali dipendenti dalla riga, un accoppiamento assente nelle formulazioni GS.
• Risolutore Minimale a 7-AC: Sviluppo di un risolutore algebrico linearizzato che stima la posa e il moto RS da soli 7 AC. Ciò riduce la dimensione del campione RANSAC da 20 a 7, rendendo la stima robusta computazionalmente fattibile.
• Stima della Velocità Traslazionale: Dimostrazione che il metodo proposto fornisce stime accurate della velocità traslazionale, che sono scarsamente condizionate nei metodi basati solo su punti a causa dell'accoppiamento $v$-$t$.
• Generalizzazione: Validazione del fatto che il risolutore si generalizza alle impostazioni a otturatore globale senza degradazione delle prestazioni, recuperando correttamente parametri RS prossimi allo zero.

Risultati Sperimentali

• Dati Sintetici: Il risolutore raggiunge un'accuratezza di posa competitiva con il risolutore a 44-PC (che utilizza significativamente più dati) utilizzando 6 volte meno corrispondenze. Fondamentalmente, raggiunge un errore circa 3 volte inferiore nella stima della velocità traslazionale rispetto ai baseline basati su punti.
• Benchmark TUM-RS: Sui dati reali RS, il metodo raggiunge la migliore accuratezza di posa tra tutti i metodi testati (inclusi i baseline GS e i risolutori RS-20PC/44PC). Ad esempio, con feature AffNet, raggiunge un AUC@5$^\circ$ di 0,502, superando il risolutore a 5 punti GS (0,428) e il risolutore RS-44PC (0,267). Fornisce inoltre le stime più accurate dei parametri RS.
• EuRoC MAV (Global Shutter): Testato su dati a otturatore globale, il risolutore performa in modo comparabile ai standard risolutori GS e stima correttamente parametri RS prossimi allo zero, confermando che non introduce artefatti in assenza di distorsione RS.
• Runtime: Sebbene il risolutore algebrico impieghi circa 1,2 ms (più lento dei risolutori GS da microsecondi), la drastica riduzione delle iterazioni RANSAC risulta in un tempo di esecuzione totale della pipeline (3,7s–7,5s) pratico e significativamente più veloce dei risolutori RS a 20/44-PC (12s–46s).

Significato
Il lavoro sostiene di aver reso la stima della posa relativa consapevole di RS pratica per la prima volta. Sfruttando le corrispondenze affini, colma il divario tra i requisiti teorici della geometria RS e i vincoli computazionali della stima robusta. Il metodo consente una ricostruzione e una stima del moto accurate su dispositivi di consumo con rolling shutter, affrontando una limitazione di lunga data in cui i risolutori RS erano o troppo lenti (a causa delle grandi dimensioni del campione) o troppo imprecisi (ignorando gli effetti RS). Inoltre, fornisce in modo unico stime affidabili della velocità traslazionale, un parametro precedentemente difficile da recuperare dalla sola corrispondenza di punti.