Rolling Shutter Relative Pose Estimation Made Practical

Resumen Técnico: Estimación de Pose Relativa con Obturación Rodante Hecha Práctica

Planteamiento del Problema
Las cámaras de obturación rodante (RS, por sus siglas en inglés) son ubicuas en los dispositivos de consumo, sin embargo, la estimación robusta de la pose relativa para estos sensores ha seguido siendo poco práctica. Los métodos estándar de geometría multivista asumen un modelo de obturación global (GS) donde la matriz esencial es constante. En las cámaras RS, la lectura fila por fila invalida este supuesto, haciendo que la matriz esencial dependa de la fila. Aunque Dai et al. [17] derivaron un resolvedor minimal para la pose relativa en RS, este requiere un mínimo de 20 correspondencias de puntos (PCs). Debido a la dependencia exponencial de los conteos de iteraciones de RANSAC con respecto al tamaño de la muestra ($\eta^{-k}$), un tamaño de muestra de 20 hace que la estimación robusta sea prohibitivamente costosa (requiriendo millones de iteraciones con una tasa de inliers del 50%). Los métodos existentes o ignoran los efectos de RS (introduciendo un sesgo sistemático) o son demasiado pesados computacionalmente para un uso práctico.

Metodología
El artículo introduce las Correspondencias Afines (ACs) al problema de la geometría de dos vistas en RS para reducir el tamaño de muestra requerido. Una AC aumenta una coincidencia de puntos con una transformación afín local de $2 \times 2$, proporcionando tres ecuaciones por correspondencia (una epipolar y dos afines) en lugar de solo una.

1. Restricciones Afines Corregidas por RS:
   Los autores derivan nuevas restricciones que tienen en cuenta el acoplamiento entre las perturbaciones de los puntos y la matriz esencial dependiente de la fila. A diferencia de la formulación de GS, desplazar un punto en una imagen RS cambia su fila de lectura, alterando la matriz esencial. La derivación incluye términos de corrección que involucran las derivadas parciales de la matriz esencial con respecto a las coordenadas de la fila ($\partial \tilde{E} / \partial \tau_k$). Cada AC genera tres ecuaciones: la restricción epipolar estándar más dos nuevas restricciones afines modificadas por estos términos de corrección de RS.

2. Linealización y Proyección del Espacio Nulo:
   El problema de dos vistas en RS involucra 17 incógnitas: 5 para la pose relativa ($R, t$) y 12 para las velocidades angulares y traslacionales por cámara ($\omega_k, v_k$). Los autores observan que los parámetros de movimiento de RS son físicamente pequeños (típicamente $\|\omega\| < 0.15$ rad). Linealizan las restricciones alrededor de la solución de GS ($\theta = 0$), tratando los parámetros de RS como variables lineales.
   Con 7 ACs, el sistema proporciona 21 ecuaciones lineales para las 12 variables de RS. El resolvedor elimina estas 12 incógnitas mediante la proyección del espacio nulo. Al proyectar el vector de residuo sobre el espacio nulo izquierdo del Jacobiano, el sistema se reduce a 9 ecuaciones polinómicas que involucran solo los 5 parámetros de pose.

3. Resolvedor Algebraico:
   Los parámetros de la pose se parametrizan utilizando la rotación de Cayley y un vector de traslación escalado. El sistema resultante se reduce a 10 ecuaciones polinómicas de grado 4. El grado algebraico del sistema es 20. Los autores resuelven esto utilizando matrices de acción (geometría algebraica computacional), extrayendo todas las 20 soluciones en aproximadamente 1.2 ms. Luego, los parámetros de RS se recuperan mediante mínimos cuadrados.

4. Integración en RANSAC:
   El resolvedor se integra en un pipeline de RANSAC (SupeRANSAC). La reducción del tamaño de muestra minimal de 20 PCs a 7 ACs reduce drásticamente el número esperado de iteraciones de RANSAC (por ejemplo, de $>10^6$ a $\sim600$ con 50% de inliers). Un paso de refinamiento no minimal utilizando Levenberg-Marquardt optimiza los 17 parámetros de forma conjunta, utilizando tanto los residuos epipolares como los afines.

Contribuciones Clave

• Nuevas Restricciones: Derivación de restricciones afines corregidas por RS que capturan el acoplamiento entre las perturbaciones de los puntos y las matrices esenciales dependientes de la fila, un acoplamiento ausente en las formulaciones de GS.
• Resolvedor Minimal de 7-AC: Desarrollo de un resolvedor algebraico linealizado que estima la pose y el movimiento de RS a partir de solo 7 ACs. Esto reduce el tamaño de muestra de RANSAC de 20 a 7, haciendo que la estimación robusta sea computacionalmente factible.
• Estimación de Velocidad Traslacional: Demostración de que el método propuesto proporciona estimaciones precisas de la velocidad traslacional, las cuales están mal condicionadas en los métodos basados solo en puntos debido al acoplamiento $v$-$t$.
• Generalización: Validación de que el resolvedor se generaliza a configuraciones de obturación global sin degradación del rendimiento, recuperando correctamente parámetros de RS cercanos a cero.

Resultados Experimentales

• Datos Sintéticos: El resolvedor logra una precisión de pose competitiva con el resolvedor de 44-PC (que utiliza significativamente más datos) utilizando 6 veces menos correspondencias. Crucialmente, logra un error aproximadamente 3 veces menor en la estimación de la velocidad traslacional en comparación con las líneas base basadas en puntos.
• Benchmark TUM-RS: En datos reales de RS, el método logra la mejor precisión de pose entre todos los métodos probados (incluyendo baselines de GS y resolvedores de RS-20PC/44PC). Por ejemplo, con características AffNet, logra un AUC@5$^\circ$ de 0.502, superando al resolvedor de 5 puntos de GS (0.428) y al de RS-44PC (0.267). También proporciona las estimaciones de parámetros de RS más precisas.
• EuRoC MAV (Obturación Global): Al probarse en datos de obturación global, el resolvedor se comporta de manera comparable a los resolvedores estándar de GS y estima correctamente parámetros de RS cercanos a cero, confirmando que no introduce artefactos en ausencia de distorsión de RS.
• Tiempo de Ejecución: Aunque el resolvedor algebraico toma $\sim1.2$ ms (más lento que los resolvedores de microsegundos de GS), la drástica reducción en las iteraciones de RANSAC resulta en un tiempo de ejecución total del pipeline (3.7s–7.5s) que es práctico y significativamente más rápido que los resolvedores de RS de 20/44-PC (12s–46s).

Significancia
El artículo afirma que hace que la estimación de pose relativa consciente de RS sea práctica por primera vez. Al aprovechar las correspondencias afines, cierra la breancia entre los requisitos teóricos de la geometría de RS y las restricciones computacionales de la estimación robusta. El método permite la reconstrucción y la estimación de movimiento precisas en dispositivos de consumo con obturación rodante, abordando una limitación de larga data donde los resolvedores de RS eran demasiado lentos (debido a los grandes tamaños de muestra) o demasiado inexactos (debido a ignorar los efectos de RS). Además, proporciona de manera única estimaciones fiables de la velocidad traslacional, un parámetro que anteriormente era difícil de recuperar únicamente a partir de correspondencias de puntos.