Rolling Shutter Relative Pose Estimation Made Practical

기술 요약: 실용적인 롤링 셔터 상대 포즈 추정

문제 정의
롤링 셔터(RS) 카메라는 소비자 기기에서 흔히 사용되지만, 이러한 센서를 위한 견고한 상대 포즈 추정은 여전히 비실용적인 상태로 남아 있습니다. 표준 다중 뷰 기하학 방법들은 에센셜 행렬(essential matrix)이 일정하다고 가정하는 글로벌 셔터(GS) 모델을 전제로 합니다. RS 카메라에서는 행 단위의 판독(row-by-row readout)으로 인해 이 가정이 무효화되며, 에센셜 행렬이 행에 따라 달라집니다. Dai 등[17]은 RS 상대 포즈를 위한 최소 솔버를 도출했으나, 이는 최소 20개의 점 대응(PC)을 필요로 합니다. 샘플 크스에 따른 RANSAC 반복 횟수의 지수적 의존성($\eta^{-k}$) 때문에, 20개의 샘플 크기는 견고한 추정을 매우 비용이 많이 들게 만듭니다(인라이어 비율 50%에서 수백만 번의 반복 필요). 기존 방법들은 RS 효과를 무시하여 계통적 편향(systematic bias)을 유발하거나, 실용적으로 사용하기에는 계산량이 너무 많습니다.

방법론
본 논문은 RS 2-뷰 기하학 문제에 **아핀 대응(Affine Correspondences, ACs)**을 도입하여 필요한 샘플 크기를 줄입니다. AC는 점 매칭에 로컬 $2 \times 2$ 아핀 변환을 추가하여, 단 하나의 방정식(epipolar) 대신 세 개의 방정식(하나의 에피폴라, 두 개의 아핀)을 제공합니다.

1. RS 교정 아핀 제약 조건:
   저자들은 점의 섭동(perturbation)과 행 의존적 에센셜 행렬 사이의 결합을 고려한 새로운 제약 조건을 도출했습니다. GS 공식과 달리, RS 이미지에서 점을 이동시키면 판독 행이 변경되어 에센셜 행렬이 바뀝니다. 이 유도는 에센셜 행렬의 행 좌표에 대한 편미분($\partial \tilde{E} / \partial \tau_k$)을 포함하는 교정 항을 포함합니다. 각 AC는 표준 에피폴라 제약 조건과 이 RS 교정 항에 의해 수정된 두 개의 새로운 아핀 제약 조건을 합쳐 총 3개의 방정식을 생성합니다.

2. 선형화 및 영공간 투영(Null-Space Projection):
   RS 2-뷰 문제는 17개의 미지수(상대 포즈 $R, t$를 위한 5개와 각 카메라의 각속도 및 선속도 $\omega_k, v_k$를 위한 12개)를 포함합니다. 저자들은 RS 운동 파라미터가 물리적으로 매우 작다($\|\omega\| < 0.15$ rad)는 점에 주목합니다. 이들은 GS 솔루션($\theta = 0$) 주변에서 제약 조건을 선형화하여 RS 파라미터를 선형 변수로 취급합니다.
   7개의 AC를 사용하면 시스템은 12개의 RS 파라미터에 대해 21개의 선형 방정식을 제공합니다. 솔버는 영공간 투ж영을 통해 이 12개의 미지수를 제거합니다. 잔차 벡터를 자코비안(Jacobian)의 좌영공간(left null space)에 투영함으로써, 시스템은 오직 5개의 포즈 파라미터만을 포함하는 9개의 다항식 방정식으로 축소됩니다.

3. 대수적 솔버(Algebraic Solver):
   포즈 파라미터는 Cayley 회전과 스케일된 이동 벡터를 사용하여 매개변수화됩니다. 결과적인 시스템은 4차 10개 다항식 방정식으로 축소됩니다. 시스템의 대수적 차수(algebraic degree)는 20입니다. 저자들은 이를 액션 매트릭스(action matrices)(계산 대수 기하학)를 사용하여 해결하며, 약 1.2ms 만에 20개의 모든 해를 추출합니다. 그 후 RS 파라미터는 최소제곱법을 통해 복구됩니다.

4. RANSAC 통합:
   솔버는 RANSAC 파이프라인(SupeRANSAC)에 통합되었습니다. 최소 샘플 크기를 20개의 PC에서 7개의 AC로 줄임으로써 예상되는 RANSAC 반복 횟수를 획기적으로 줄였습니다(예: 인라이어 50%에서 $10^6$회 이상에서 $\sim600$회로 감소). 비최소 정밀화 단계에서는 Levenberg-Marquardt 알고리즘을 사용하여 에피폴라 및 아핀 잔차를 모두 활용해 17개 파라미터를 공동 최적화합니다.

주요 기여

• 새로운 제약 조건: 점의 섭동과 행 의존적 에센셜 행렬 사이의 결합(GS 공식에는 없는 결합)을 포착하는 RS 교정 아핀 제약 조건을 도출했습니다.
• 7-AC 최소 솔버: 단 7개의 AC로부터 포즈와 RS 운동을 추정하는 선형화된 대수적 솔버를 개발했습니다. 이는 RANSAC 샘플 크기를 20에서 7로 줄여, 견고한 추정을 계산적으로 가능하게 만듭니다.
• 병진 속도 추정: 제안된 방법이 정확한 병진 속도 추정치를 제공함을 입증했습니다. 이는 점 기반 방법에서는 $v$-$t$ 결합으로 인해 조건수가 불량(poorly conditioned)했던 부분입니다.
• 일반화: 솔버가 성능 저하 없이 글로벌 셔터 설정으로 일반화될 수 있음을 검증하였으며, 거의 0에 가까운 RS 파라미터를 올바르게 복구함을 확인했습니다.

실험 결과

• 합성 데이터: 솔버는 훨씬 더 많은 데이터를 사용하는 44-PC 솔버와 경쟁할 만한 포즈 정확도를 달면서도 6배 적은 대응점을 사용합니다. 결정적으로, 점 기반 베이스라인에 비해 병진 속도 추정 오차가 약 3배 낮습니다.
• TUM-RS 벤치마크: 실제 RS 데이터에서 본 방법은 테스트된 모든 방법(GS 베이스라인 및 RS-20PC/44PC 솔버 포함) 중 최고의 포즈 정확도를 달s합니다. 예를 들어, AffNet 특징을 사용할 때 AUC@5$^\circ$에서 0.502를 달성하여, GS 5-point 솔버(0.428)와 RS-44PC 솔버(0.267)를 능가했습니다. 또한 가장 정확한 RS 파라미터 추정치를 제공합니다.
• EuRoC MAV (글로벌 셔터): 글로벌 셔터 데이터로 테스트했을 때, 솔버는 표준 GS 솔버와 유사한 성능을 보였으며 거의 0에 가까운 RS 파라미터를 정확히 추정하여, RS 왜곡이 없는 상황에서 아티팩트를 생성하지 않음을 확인했습니다.
• 실행 시간: 대수적 솔버 자체는 약 1.2ms가 소요되어(마이크로초 단위의 GS 솔버보다는 느림), RANSAC 반복 횟수의 극적인 감소 덕분에 전체 파이프라인 실행 시간(3.7초7.5초)이 20/44-PC RS 솔버(12초46초)보다 훨씬 빠르고 실용적입니다.

의의
본 논문은 RS 인지 상대 포즈 추정을 처음으로 실용적으로 만들었다고 주장합니다. 아핀 대응을 활용함으로써, RS 기하학의 이론적 요구 사항과 견고한 추정의 계산적 제약 사이의 간극을 메웁니다. 이 방법은 소비자 기기의 롤링 셔터 환경에서 정확한 재구성 및 운동 추정을 가능하게 하며, RS 솔버가 너무 느리거나(큰 샘플 크기 때문) 부정확한(RS 효과를 무시함) 문제로 인해 겪었던 오랜 한계를 해결합니다. 나아가, 이전에는 점 대응만으로는 복구하기 어려웠던 파라미터인 병진 속도를 신뢰할 수 있게 추정할 수 있게 합니다.