Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo

기술 요약: 360° 스테레오에서의 단일 축 변위 추출을 위한 구형-ERP 에피폴라 교정(Rectification)

문제 정의
전방위(구형/어안) 카메라는 로보틱스 및 자율 주행에 필수적인 전방위 인지 능력을 제공하지만, 그 기하학적 특성은 고전적인 스테레오 변위 추정의 기본 가정을 위반한다. 직교(Rectilinear) 스테레오에서 변위는 단일 에피폴라 축에 정렬된 1차원 양이다. 반면, 가공되지 않은 구형 스테레오 쌍은 시야 구(viewing sphere) 상에서 곡선 형태의 에피폴라 궤적(대원 호, great-circle arcs)을 나타낸다. 결과적으로, 이미지 평면에서의 대응 관계는 (수평 및 수직 성분을 모두 포함하는) 2차원 변위로 나타난다. 이는 이상적인 캘리브레이션 하에서도 발생한다. 어안 카메라 입력에 평면 변위 휴리스틱이나 표준 광학 흐름(optical flow) 크기를 무분별하게 적용하면, 특히 저질감(low-texture) 영역에서 체계적인 오차와 취약한 성능을 초래한다. 최근의 전방위 심도 학습 접근 방식들이 안정적인 기하학적 도메인으로서 등방형 투영(Equirectangular Projection, ERP)을 활용하고 있으나, 수정되지 않은 표준 광학 흐름 기반 파이프라인이 이러한 ERP 교정 후에도 효과적으로 단일 축 변위를 추출할 수 있는지에 대한 이해에는 여전히 격차가 존재한다.

방법론
제안된 접근 방식은 단일 네트워크 내에서 학습하기보다 전처리 과정을 통해 기하학적 복잡성을 외부화하는 모듈형 파이프라인을 채택한다. 이 방법론은 세 가지 주요 단계로 구성된다:

1. 구형-ERP 교정(Spherical-to-ERP Rectification): 가공되지 않은 어안 스테레오 이미지를 등방형 투영(ERP) 도메인으로 투영한다. 이 매핑은 구형 좌표(경도 및 위도)를 2D 그리드로 변환한다. 결정적으로, 이 투영은 곡선 형태의 대원 에피폴라 곡선을 이미지 축에 정렬된 직선 스캔라인으로 곧게 펴준다. 스테레오 리그 구성에 따라 다음과 같이 작동한다:

   • 좌-우(Left–Right) 리그: 에피폴라 라인이 수평이 되어 순수 수평 변위($\Delta u$)를 생성한다.
   • 상-하(Top–Bottom) 리그: 에피폴라 라인이 수직이 되어 순수 수직 변위($\Delta v$)를 생성한다.
     이 단계는 대응 기반 알고리즘에 필요한 1차원 변위 구조를 복원한다.

2. 밀집 광학 흐름 추정(Dense Optical Flow Estimation): 이미지가 ERP 도메인에 들어오면, 수정된 스테레오 쌍에 특정 RAFT [13]와 같은 표준 밀집 광학 흐름 네트워크가 적용된다. RAFT는 좌우 이미지 사이의 2D 변위 필드를 나타내는 2채널 흐름 필드를 추정한다.

3. 에피폴라 정렬 채널 선택(Epipolar-Aligned Channel Selection, EACS): 저자들의 이전 연구 [16]를 바탕으로, 본 파이프라인은 흐름 필드에 EACS를 적용한다. ERP 교정이 베이스라인에 정렬된 축을 따라서만 진정한 변위가 존재하도록 보장하므로, 이 방법은 직교하는 흐름 성분을 폐기한다.

   • 좌-우 리그의 경우, 오직 수평 흐름 채널만을 유지한다.
   • 상-하 리그의 경우, 오직 수직 흐름 채널만을 유지한다.
     이 투영 과정은 네트워크를 재학습하거나 특화된 구형 아키텍처를 설계하지 않고도 광학 흐름을 직접 단일 축 변위 지도로 변환한다.

주요 기여
본 논문은 네 가지 구체적인 기여를 한다:

1. 기하학 인지 교정(Geometry-Aware Rectification): 어안 쌍을 ERP로 투영하는 것이 에피폴라 정렬 스캔라인을 생성하여, 본질적으로 2D인 구형 변위를 단일 축 변위로 효과적으로 변환함을 입증한다.
2. 직접 변위 추출: ERP 도메인에서는 베이스라인 정렬 채널을 선택하고 직교 채널을 버리는 것만으로 변위를 얻을 수 있음을 확립하여, 네트워크 재학습 없이도 경량화된 후처리를 가능하게 한다.
3. 이론-실무 파이프라인: 어안-ERP 매핑과 방향성 제약을 공식화하여, 합성 구형 데이터를 통해 검증된 구형 입력으로부터 단일 축 변위를 추출하기 위한 실질적인 레시피를 제공한다.
4. 모듈성 및 배포 가능성: 본 접근 방식은 기존의 대응 추정기(RAFT 포함)를 위한 드롭인(drop-in) 전처리 단계로 기능하며, 이는 레이턴시와 해석 가능성이 중요한 로보틱스 스택으로의 통합을 용이하게 한다.

실험 결과
본 파이프라인은 TU Chemnitz에서 생성된 합성 전방위 스테레오 데이터셋(밀집 정답 변위를 포함한 어 fish-eye RGB 뷰)을 통해 평가되었다. 모든 방법은 미세 조정 없이 1600×1600 해상도의 동일한 ERP 교정 입력에 대해 테스트되었다.

• 정확도: 제안된 ERP + RAFT + EACS 파이프라인은 0.3007의 평균 절대 오차(MAE)와 0.9470의 평균 제곱근 오차(RMSE)를 달s성했다. D1-all 이상치 비율은 **0.40%**였으며, 3픽셀(0.30%) 및 5픽셀(0.05%) 이상의 오차율은 무시할 만한 수준이었다.
• 비교: 본 방법은 이 특정 ERP 교정된 구형 데이터에 대해 기존의 RAFT 기반 스테레오 네트워크들(CREStereo, RAFT-Stereo, LEAStereo)보다 정확도 면에서 우수한 성능을 보였다. 예를 들어, CREStereo는 더 높은 MAE(0.3581)와 더 높은 D1-all 이상치 비율(0.98%)을 기록했다.
• 효율성: 본 파이프라인은 NVIDIA TU102 GPU에서 10 FPS의 처리량을 달성하였으며, 이는 비교 대상 방법들(2.0 ~ 5.0 FPS 범위)을 크게 상회하는 수치이다.
• 정성적 분석: 시각적 결과는 본 방법이 얇은 구조를 보존하면서도 매끄럽고 구조적으로 일관된 변위 지도를 생성함을 보여주었다. 오차는 주로 깊이 불연속점 및 정의되지 않은 영역(예: 하늘)에 집중되었으며, 이는 낮은 이상치 비율과 일치한다.

의의 및 주장
본 논문은 명시적인 ERP를 통한 기하학적 교정이 특화된 구형 네트워크 없이도 표준적이고 성숙한 대응 알고리즘이 구형 스테레오 입력에서 올바르게 작동할 수 있게 함을 주장한다. 본 연구의 의의는 두 가지 측면에서 중요하다:

1. 실용적 가교: 전문화된 구형 스테레오 네트워크를 학습시키는 복잡성을 피하고, 기존의 고성능 광학 흐름 추정기를 360° 이미징에 재사용할 수 있는 원칙적인 경로를 제공한다.
2. 효율성 및 안정성: 변위의 1차원적 특성을 복원함으로써, 본 접근 방식은 수치적 안정성과 계산 효율성을 향상시킨다. 이는 대응 탐색을 단일 축으로 축소하여 메모리 집약적인 4D 코스트 볼륨(cost volume)의 필요성을 제거하고, 일반적인 하드웨어에서의 실시간 배포를 가능하게 한다.

저자들은 ERP의 기하학적 역할이 잘 알려져 있음에도 불구하고, 본 연구가 수정되지 않은 흐름 기반 파이프라인을 사용하여 단일 축 변위 추출을 수행하는 데 있어 교정된 표현(rectified representation)이 충분하다는 것을 검증함으로써, 전방위 심도 추정을 위한 간단하고 효율적인 솔루션을 제공한다고 결론짓는다.