Rolling Shutter Relative Pose Estimation Made Practical

Résumé Technique : Rendre l'estimation de la pose relative pour obturateur progressif (Rolling Shutter) pratique

Énoncé du problème
Les caméras à obturateur progressif (RS - Rolling Shutter) sont omniprésentes dans les appareils grand public, pourtant une estimation robuste de la pose relative pour ces capteurs est restée peu pratique. Les méthodes standards de géométrie multi-vues supposent un modèle d'obturateur global (GS - Global Shutter) où la matrice essentielle est constante. Dans les caméras RS, la lecture ligne par ligne invalide cette hypothèse, rendant la matrice essentielle dépendante de la ligne. Bien que Dai et al. [17] aient dérivé un solveur minimal pour la pose relative en RS, celui-ci nécessite un minimum de 20 correspondances de points (PC - Point Correspondences). En raison de la dépendance exponentielle du nombre d'itérations RANSAC par rapport à la taille de l'échantillon ($\eta^{-k}$), un échantillon de 20 rend l'estimation robuste prohibitive (nécessitant des millions d'itérations avec un taux d'inliers de 50 %). Les méthodes existantes ignorent soit les effets RS (introduisant un biais systématique), soit sont trop lourdes pour une utilisation pratique.

Méthodologie
Le papier introduit les Correspondances Affines (AC - Affine Correspondences) au problème de la géométrie bi-vue RS afin de réduire la taille de l'échantillon requis. Une AC augmente une correspondance de point avec une transformation affine locale $2 \times 2$, fournissant trois équations par correspondance (une épipolaire, deux affines) plutôt qu'une seule.

1. Contraintes Affines Corrigées par le RS :
   Les auteurs dérivent de nouvelles contraintes qui tiennent compte du couplage entre les perturbations de points et la matrice essentielle dépendante de la ligne. Contrairement à la formulation GS, le déplacement d'un point dans une image RS modifie sa ligne de lecture, altérant ainsi la matrice essentielle. La dérivation inclut des termes de correction impliquant les dérivées partielles de la matrice essentielle par rapport aux coordonnées de ligne ($\partial \tilde{E} / \partial \tau_k$). Chaque AC produit trois équations : la contrainte épipolaire standard plus deux nouvelles contraintes affines modifiées par ces termes de correction RS.

2. Linéarisation et Projection de l'Espace Nul :
   Le problème bi-vue RS implique 17 inconnues : 5 pour la pose relative ($R, t$) et 12 pour les vitesses angulaires et de translation par caméra ($\omega_k, v_k$). Les auteurs observent que les paramètres de mouvement RS sont physiquement petits (typiquement $\|\omega\| < 0,15$ rad). Ils linéarisent les contraintes autour de la solution GS ($\theta = 0$), en traitant les paramètres RS comme des variables linéaires.
   Avec 7 AC, le système fournit 21 équations linéaires pour les 12 paramètres RS. Le solveur élimine ces 12 inconnues via une projection de l'espace nul. En projetant le vecteur résiduel sur le sous-espace nul gauche du Jacobien, le système se réduit à 9 équations polynomiales impliquant uniquement les 5 paramètres de pose.

3. Solveur Algébrique :
   Les paramètres de pose sont paramétrés à l'aide de la rotation de Cayley et d'un vecteur de translation mis à l'échelle. Le système résultant est réduit à 10 équations polynomiales de degré 4. Le degré algébrique du système est de 20. Les auteurs résolvent cela en utilisant des matrices d'action (géométrie algébrique computationnelle), extrayant les 20 solutions en environ 1,2 ms. Les paramètres RS sont ensuite récupérés via les moindres carrés.

4. Intégration RANSAC :
   Le solveur est intégré dans un pipeline RANSAC (SupeRANSAC). La réduction de la taille minimale de l'échantillon de 20 PC à 7 AC réduit drastiquement le nombre d'itérations RANSAC attendues (par exemple, de $>10^6$ à $\sim600$ avec 50 % d'inliers). Une étape de raffinement non minimale utilisant Levenberg-Marquardt optimise l'ensemble des 17 paramètres conjointement, en utilisant à la fois les résidus épipolaires et affines.

Contributions Clés

• Nouvelles Contraintes : Dérivation de contraintes affines corrigées par le RS capturant le couplage entre les perturbations de points et les matrices essentielles dépendantes de la ligne, un couplage absent des formulations GS.
• Solveur Minimal de 7 AC : Développement d'un solveur algébrique linéarisé qui estime la pose et le mouvement RS à partir de seulement 7 AC. Cela réduit la taille de l'échantillon RANSAC de 20 à 7, rendant l'estimation robuste par calcul possible.
• Estimation de la Vitesse de Translation : Démonstration que la méthode proposée fournit des estimations de vitesse de translation précises, qui sont mal conditionnées dans les méthodes basées uniquement sur les points en raison du couplage $v$-$t$.
• Généralisation : Validation que le solveur se généralise aux configurations à obturateur global sans dégradation des performances, récupérant correctement des paramètres RS proches de zéro.

Résultats Expérimentaux

• Données Synthétiques : Le solveur atteint une précision de pose compétitive avec le solveur de 44 PC (qui utilise beaucoup plus de données) tout en utilisant 6 fois moins de correspondances. Crucialement, il atteint une erreur environ 3 fois plus faible dans l'estimation de la vitesse de translation par rapport aux bases de référence basées sur les points.
• Benchmark TUM-RS : Sur des données RS réelles, la méthode atteint la meilleure précision de pose parmi toutes les méthodes testées (incluant les bases de référence GS et les solveurs RS-20PC/44PC). Par exemple, avec les caractéristiques AffNet, elle atteint un AUC@5$^\circ$ de 0,502, surpassant le solveur GS à 5 points (0,428) et le solveur RS-44PC (0,267). Elle fournit également les estimations de paramètres RS les plus précises.
• EuRoC MAV (Global Shutter) : Testé sur des données à obturateur global, le solveur est comparable aux solveurs GS standards et estime correctement des paramètres RS proches de zéro, confirmant qu'il n'introduit pas d'artefacts en l'absence de distorsion RS.
• Temps d'exécution : Bien que le solveur algébrique prenne $\sim1,2$ ms (plus lent que les solveurs GS de l'ordre de la microseconde), la réduction drastique des itérations RANSAC permet un temps d'exécution total du pipeline (3,7s–7,5s) qui est pratique et nettement plus rapide que les solveurs RS de 20/44 PC (12s–46s).

Signification
Le papier affirme rendre l'estimation de la pose relative sensible au RS pratique pour la première fois. En exploitant les correspondances affines, il comble le fossé entre les exigences théoriques de la géométrie RS et les contraintes de calcul de l'estimation robuste. La méthode permet une reconstruction et une estimation de mouvement précises sur des appareils grand public dotés d'obturateurs progressifs, répondant à une limitation de longue date où les solveurs RS étaient soit trop lents (en raison de grands échantillons), soit trop imprécis (en ignorant les effets RS). De plus, elle fournit de manière unique des estimations fiables de la vitesse de translation, un paramètre auparavant difficile à récupérer à partir des seules correspondances de points.