Rolling Shutter Relative Pose Estimation Made Practical

技術要約：実用的なローリングシャッター相対ポーズ推定

問題提起
ローリングシャッター（RS）カメラはコンシューマーデバイスに遍在しているが、これらのセンサに対するロバストな相対ポーズ推定は、これまで実用的とは言えない状態であった。標準的な多視点幾何学の手法は、エッセンシャル行列が一定であるグローバルシャッター（GS）モデルを前提としている。RSカメラでは、行ごとの読み出しによってこの仮定が無効となり、エッセンシャル行列が行に依存することになる。Daiら[17]はRS相対ポーズのための最小解法を導出したが、これには最低20個の点対応（PC）を必要とする。サンプルサイズに対するRANSAC反復回数の指数関数的な依存性（$\eta^{-k}$）を考慮すると、20個というサンプルサイズは、ロバストな推定を極めて困難にする（インライア率50%の場合、数百万回の反復が必要となる）。既存の手法は、RSの影響を無視するか（系統的なバイアスを導入する）、あるいは実用には計算負荷が高すぎるかのいずれかであった。

手法
本論文は、RS二視点幾何の問題に対して、必要なサンプルサイズを削減するために**アフィン対応（Affine Correspondences: ACs）**を導入する。ACは、点のマッチングに局所的な$2 \times 2$のアフィン変換を付加することで、単一の式ではなく、1つの対応に対して3つの式（1つのエピポーラ制約と2つのアフィン制約）を提供する。

1. RS補正アフィン制約:
   著者らは、点の摂動と行依存のエッセンシャル行列との間の結合を考慮した、新しい制約を導出した。GSの定式化には存在しない、RS特有の性質である。この導出には、行座標に関するエッセンシャル行列の偏微分（$\partial \tilde{E} / \partial \tau_k$）を含む補正項が含まれている。各ACは、標準的なエピポーラ制約に加えて、これらのRS補正項によって修正された2つの新しいアフィン制約を含む、計3つの式を提供する。

2. 線形化と零空間投影:
   RS二視点問題には、17個の未知数（相対ポーズのための5個のパラメータ $R, t$ と、各カメラの角速度および並進速度のための12個のパラメータ $\omega_k, v_k$）が含まれる。著者らは、RS運動パラメータは物理的に小さい（通常 $\|\omega\| < 0.15$ rad）ことに着目した。彼らは、GS解（$\theta = 0$）の周りで制約を線形化し、RSパラメータを線形変数として扱う。
   7つのACを用いることで、システムは12個のRSパラメータに対して21個の線形方程式を提供する。ソルバーは、**零空間投影（null-space projection）**を通じてこれらの12個の未知数を排除する。ヤコビ行列の左零空間に残留ベクトルを投影することで、システムはポーズパラメータのみを含む9個の多項式方程式へと簡約される。

3. 代数的ソルバー:
   ポーズパラメータは、ケイリー回転（Cayley rotation）とスケーリングされた並進ベクトルを用いてパラメータ化される。得られるシステムは、4次の10個の多項式方程式に簡約される。システムの代数的次数は20である。著者らはこれを作用行列（action matrices）（計算代数幾何学）を用いて解き、約1.2 msで全20個の解を抽出する。その後、最小二乗法を用いてRSパラメータを回収する。

4. RANSACへの統合:
   このソルバーは、RANSACパイプライン（SupeRANSAC）に統合されている。最小サンプルサイズを20個のPCから7個のACへと削減したことにより、期待されるRANSAC反復回数が劇的に減少した（例：インライア率50%において、$10^6$回以上から約600回へ）。非最小精緻化ステップでは、Levenberg-Marquardt法を用いて、エピポーラおよびアフィン残留の両方を利用し、17個のパラメータすべてを結合して最適化を行う。

主な貢献

• 新規の制約: 点の摂動と行依存のエッセンシャル行列との間の結合（GSの定式化には存在しない結合）を捉える、RS補正アフィン制約の導出。
• 7-AC最小ソルバー: わずか7個のACからポーズとRS運動を推定する、線形化された代数ソルバーの開発。これにより、RANSACのサンプルサイズを20から7へと削減し、ロバストな推定を計算可能にした。
• 並進速度の推定: 提案手法が、点のみの手法では$v$-$t$結合により条件が悪化しやすいものの、正確な並進速度推定を提供することを実証した。
• 汎用性: 本ソルバーが、性能低下を起こすことなくグローバルシャッター設定にも一般化できること、およびRS歪みのない状況でゼロに近いRSパラメータを正しく回収できることを検証した。

実験結果

• 合成データ: 本ソルバーは、より多くのデータを使用する44-PCソルバーに匹敵するポーズ精度を、6倍少ない対応点数で達成した。決定的なことに、点ベースのベースラインと比較して、並進速度推定において約3倍低い誤差を達成した。
• TUM-RSベンチマーク: 実世界のRSデータにおいて、本手法はテストされたすべての手法（GSベースラインおよびRS-20PC/44PCソルバーを含む）の中で最高のポーズ精度を達成した。例えば、AffNet特徴量を用いた場合、AUC@5$^\circ$において0.502を記録し、GS 5-pointソルバー（0.428）やRS-44PCソルバー（0.267）を上回った。また、最も正確なRSパラメータ推定も提供した。
• EuRoC MAV (Global Shutter): グローバルシャッターデータでテストした際、ソルバーは標準的なGSソルバーと同等の性能を示し、ゼロに近いRSパラメータを正しく推定した。これは、RS歪みの不在下でアーティファクトを導入しないことを裏付けている。
• 実行時間: 代数ソルバー自体は約1.2 msを要するが（マイクロ秒単位のGSソルバーよりは遅い）、RANSACの反復回数の劇的な減少により、トータルパイプラインの実行時間（3.7秒〜7.5秒）は実用的であり、20/44-PCのRSソルバー（12秒〜46秒）よりも大幅に高速である。

意義
本論文は、ローリングシャッターを考慮した相対ポーズ推定を初めて実用的なものにしたと主張している。アフィン対応を活用することで、RS幾何学の理論的要件とロバストな推定における計算上の制約との間の溝を埋めている。本手法は、コンシューマーデバイスのローリングシャッターを用いた正確な再構成と運動推定を可能にし、RSソルバーが「計算が遅すぎる（大きなサンプルサイズのため）」か「不正確すぎる（RS効果を無視するため）」という長年の課題を解決した。さらに、点対応のみからは回収が困難であったパラメータである並進速度の信頼できる推定を、独自に実現している。