Rolling Shutter Relative Pose Estimation Made Practical

Technische Samenvatting: Rolling Shutter Relatieve Pose Schatting Praktisch Gemaakt

Probleemstelling
Rolling shutter (RS) camera's zijn alomtegenwoordig in consumentenapparaten, maar robuuste relatieve pose schatting voor deze sensoren bleef impraktisch. Standaard multi-view geometrie methoden gaan uit van een global shutter (GS) model waarbij de essentiële matrix constant is. In RS camera's invalideert de rij-voor-rij uitlezing deze aanname, waardoor de essentiële matrix rij-afhankelijk wordt. Hoewel Dai et al. [17] een minimale solver voor RS relatieve pose hebben afgeleid, vereist deze een minimum van 20 puntcorrespondenties (PC's). Vanwege de exponentiële afhankelijkheid van RANSAC iteraties van de steekproefgrootte ($\eta^{-k}$), maakt een steekproefgrootte van 20 robuuste schatting onbetaalbaar duur (vereist miljoenen iteraties bij 50% inlier ratio). Bestaande methoden negeren ofwel RS-effecten (wat systematische bias introduceert) of zijn te rekenintensief voor praktisch gebruik.

Methodologie
Het artikel introduceert Affine Correspondenties (AC's) voor het RS twee-view geometrie probleem om de vereiste steekproefgrootte te verkleinen. Een AC vergroot een puntmatch met een lokale $2 \times 2$ affine transformatie, wat drie vergelijkingen per correspondentie oplevert (één epipolair, twee affien) in plaats van slechts één.

1. RS-gecorrigeerde Affiene Constraints:
   De auteurs leiden nieuwe constraints af die rekening houden met de koppeling tussen puntperturbaties en de rij-afhankelijke essentiële matrix. In tegenstelling tot de GS formulering, verandert het verschuiven van een punt in een RS beeld de uitleesrij, wat de essentiële matrix wijzigt. De afleiding bevat correctietermen die de partiële afgeleiden van de essentiële matrix met betrekking tot de rijcoördinaten ($\partial \tilde{E} / \partial \tau_k$) bevatten. Elke AC levert drie vergelijkingen op: de standaard epipolaire constraint plus twee nieuwe affiene constraints gemodificeerd door deze RS-correctietermen.

2. Linearisatie en Null-ruimte Projectie:
   Het RS twee-view probleem bevat 17 onbekenden: 5 voor relatieve pose ($R, t$) en 12 voor per-camera hoek- en translationele snelheden ($\omega_k, v_k$). De auteurs observeren dat RS-bewegingsparameters fysiek klein zijn (typisch $\|\omega\| < 0,15$ rad). Ze lineariseren de constraints rond de GS oplossing ($\theta = 0$), waarbij ze de RS-parameters als lineaire variabelen behandelen.
   Met 7 AC's levert het systeem 21 lineaire vergelijkingen voor de 12 RS-parameters. De solver elimineert deze 12 onbekenden via null-ruimte projectie. Door de residuvector te projecteren op de linker null-ruimte van de Jacobiaan, reduceert het systeem tot 9 polynomiale vergelijkingen die alleen de 5 pose-parameters bevatten.

3. Algebraïsche Solver:
   De pose-parameters worden geparametriseerd met behulp van Cayley-rotatie en een geschaalde translatievector. Het resulterende systeem wordt gereduceerd tot 10 polynomiale vergelijkingen van graad 4. De algebraïsche graad van het systeem is 20. De auteurs lossen dit op met behulp van actiematrices (computationele algebraïsche geometrie), waarbij alle 20 oplossingen in ongeveer 1,2 ms worden geëxtraheerd. De RS-parameters worden vervolgens hersteld via kleinste kwadraten.

4. RANSAC Integratie:
   De solver is geïntegreerd in een RANSAC-pipeline (SupeRANSAC). De reductie van de minimale steekproefgrootte van 20 PC's naar 7 AC's vermindert drastisch het verwachte aantal RANSAC-iteraties (bijv. van $>10^6$ naar $\sim600$ bij 50% inliers). Een niet-minimale verfijningsstap met Levenberg-Marquardt optimaliseert alle 17 parameters gezamenlijk, gebruikmakend van zowel epipolaire als affiene residuen.

Belangrijkste Bijdragen

• Nieuwe Constraints: Afleiding van RS-gecorrigeerde affiene constraints die de koppeling vastleggen tussen puntperturbaties en rij-afhankelijke essentiële matrices, een koppeling die afwezig is in GS formuleringen.
• 7-AC Minimale Solver: Ontwikkeling van een gelineariseerde algebraïsche solver die pose en RS-beweging schat van slechts 7 AC's. Dit reduceert de RANSAC steekproefgrootte van 20 naar 7, wat robuuste schatting computationeel haalbaar maakt.
• Estimatie van Translationele Snelheid: Demonstratie dat de voorgestelde methode nauwkeurige translationele snelheidschattingen biedt, die slecht geconditioneerd zijn in point-only methoden door $v$-$t$ koppeling.
• Generalisatie: Validatie dat de solver generaliseert naar global shutter settings zonder prestatieverlies, waarbij correct bijna-nul RS-parameters worden hersteld.

Experimentele Resultaten

• Synthetische Data: De solver bereikt een pose-nauwkeurigheid die concurrerend is met de 44-PC solver (die aanzienlijk meer data gebruikt) terwijl hij 6$\times$ minder correspondenties gebruikt. Cruciaal is dat het $\sim3\times$ lagere fouten bereikt in de translationele snelheidschatting vergeleken met punt-gebaseerde baselines.
• TUM-RS Benchmark: Op real-world RS data bereikt de methode de beste pose-nauwkeurigheid van alle geteste methoden (inclusief GS baselines en RS-20PC/44PC solvers). Bijvoorbeeld, met AffNet features bereikt het een AUC@5$^\circ$ van 0,502, waarmee het de GS 5-point solver (0,428) en de RS-44PC solver (0,267) overtreft. Het levert ook de meest nauwkeurige RS-parameter schattingen.
• EuRoC MAV (Global Shutter): Wanneer getest op global shutter data, presteert de solver vergelijkbaar met standaard GS solvers en schat correct bijna-nul RS-parameters, wat bevestigt dat het geen artefacten introduceert in de afwezigheid van RS-distortie.
• Runtime: Hoewel de algebraïsche solver $\sim1,2$ ms duurt (langzamer dan microseconde GS solvers), resulteert de drastische reductie in RANSAC-iteraties in een totale pipeline runtime (3,7s–7,5s) die praktisch is en aanzienlijk sneller is dan de 20/44-PC RS solvers (12s–46s).

Betekenis
Het artikel beweert de RS-bewuste relatieve pose schatting voor het eerst praktisch te maken. Door gebruik te maken van affine correspondenties, overbrugt het de kloof tussen de theoretische vereisten van RS-geometrie en de computationele beperkingen van robuuste schatting. De methode maakt nauwkeurige reconstructie en bewegingsschatting mogelijk op consumentenapparaten met rolling shutters, en lost een langdurige beperking op waarbij RS-solvers ofwel te traag waren (door grote steekproefgroottes) ofwel te onnauwkeurig (door RS-effecten te negeren). Bovendien biedt het uniek betrouwbare schattingen van translationele snelheid, een parameter die voorheen moeilijk te herstellen was uit louter puntcorrespondenties.