Hierarchical Progressive Stereo Extrinsic Self-Calibration with Stereo Super-Resolution and Multi-Level Correspondence Filtering

기술 요약: 계층적 점진적 스테레오 외부 파라미터 자가 교정 (HPSC)

문제 정의
온보드 스테레오 카메라의 정확한 외부 파라미터(extrinsic) 교정은 자율 주행을 위한 신뢰할 수 있는 3D 인지에 매우 중요하다. 그러나 실제 환경에서의 배포 시, 교정 정확도는 서로 연관된 세 가지 도전 과제로 인해 체계적으로 저하된다:

1. 해상도 저하: 제한된 해상도, 모션 블러 및 악천후는 키포인트 검출을 방해한다. 단일 이미지 초해상도(SISR)는 질감을 복원할 수는 있지만, 좌우 영상을 독립적으로 처리하기 때문에 에피폴라 제약 조건을 위반하고 외부 파라미터 추정에 편향을 유발하는 기하학적 불일치를 초래할 수 있다.
2. 거리 의존적 불확실성: 기존 방식들은 일반적으로 모든 특징점 대응 관계를 동일하게 취급한다. 그러나 거리와 변위 오차 사이의 이차 관계 때문에, 먼 거리에 있는 객체의 특징점은 본질적으로 높은 국부화 불정확성을 가지며, 이는 유효한 제약 조건이 아닌 노이즈로 작용한다.
3. 동적 객체 오염: 움직이는 객체는 필수 행렬(essential matrix) 분해에 필요한 정적 장면 가정을 위반한다. 의미론적 분할(semantic segmentation)은 거친 필터링을 제공하지만, 폐쇄(occlusion) 및 경계 모호성으로 인한 미검출 문제가 발생하여, 표준 기하학적 이상치 제거(예: RANSAC)로도 완전히 제거할 수 없는 잔여 동적 대응 관계를 남긴다.

방법론
저자들은 각 단계가 다음 단계의 효과를 결정하는 구조를 가진, 통합된 3단계 파이프라인인 **계층적 점진적 자가 교정(HPSC)**을 제안한다.

• 1단계: 스테레오 일관적 초해상도 (AMCASSR)
  본 프레임워크는 SISR를 적용하는 대신 AMCASSR 스테레오 초해상도 네트워크를 사용한다. 이 네트워크는 교차 주의 메커니즘(cross-attention mechanism)을 통해 재구성 과정에서 에피폴라 제약 조건과 좌우 영상 간의 변위 구조를 명시적으로 통합한다. 이를 통해 복원된 고주파 질감이 교차 뷰의 기하학적 일관성을 유지하도록 보장하며, 이는 후속 단계에서 신뢰할 수 있는 거리 추정을 위한 전제 조건이 된다.

• 2단계: 거리 기반 특징점 프루닝 (Depth-Stratified Feature Pruning)
  1단계에서 개선된 변위 정밀도를 활용하여, 파이프라인은 거리 제한 프루닝 전략을 적용한다. 삼각 측량 공식($Z_c = bf/d$)의 오차 전파 분석을 바탕으로, 저자들은 거리와 깊이 오차가 이차적으로 증가한다는 점을 확립하였으며, 국부화 불확실성이 허용 범위를 초과하는 원거리 특징점을 제거하기 위해 경험적으로 결정된 거리 임계값($\tau$, 실험에서 60m로 설정)을 사용하여 추정 분산을 줄인다.

• 3단계: 계층적 동적 억제 (Hierarchical Dynamic Suppression)
  이 단계는 두 단계의 필터링 과정을 통해 특징 집합을 정교화한다:

1. 의미론적 분할: DeepLabV3+를 사용하여 명백한 동적 영역(예: 차량, 보행자)을 제거하는 거친 필터 역할을 한다.
2. 변위 기반 기하학적 정교화: 의미론적 방법이 놓친 잔여 동적 객체를 처리하기 위해, 파이프라인은 변위 맵에 대한 K-평균 클러스터링을 수행하여 픽셀을 깊이 일관적인 영역으로 그룹화한다. 이후 다중 조건 분류 규칙을 통해 다음 기준에 따라 동적 클러스터를 식별한다:
   • 공간적 범위: 노이즈를 필터링하기 위한 최소 면적.
   • 특징점 개수: 통계적 타당성을 확보하기 위한 최소 대응 관계 수.
   • 기하학적 이상치 비율: 클러스터 내 에피폴라 이상치 비율이 임계값(8%)을 초과하면 해당 클러스터를 동적 객체로 간주하여 제거한다.

주요 기여

1. 통합 프레임워크: 스테레오 초해상도, 거리 기반 프루닝, 기하학적 동적 필터링을 하나의 파이프라인으로 체계적으로 통합하여, 일반적으로 개별적으로 해결되던 문제들을 해결하는 HPSC를 제안하였다.
2. 거리 제한 프루닝: 스테레오 자가 교정을 위한 경험적 거리 임계값 도입을 통해, 원거리 특징점을 제외하는 것이 노이즈를 크게 완화하고 강건성을 향상시킨다는 것을 입증하였다.
3. 기하학적 수준의 동적 필터링: 외형에만 의존하는 대신, 깊이 일관적 클러스터 내의 기하학적 이상치 비율을 기반으로 잔여 동적 객체를 식별함으로써 의미론적 분할을 보완하는 새로운 방법을 제시하였다.

실험 결과
S1 스테레오 카메라(해상도 1280×720, 베이스라인 120mm)로 캡처된 실제 주행 시퀀스를 대상으로 실험을 진행하였다. 평균 에피폴라 기하 오차를 주요 지표로 평가하였다.

• 초해상도의 영향: AMCASSR는 단일 이미지 베이스라인(VDSR, JDDDSN)보다 우수한 성능을 보였으며, 원본 이미지의 오차인 0.2332 픽셀에 비해 100m 이내에서 0.1391 픽셀의 평균 오차를 달축성했다.
• 거리 프루닝: 특징점을 0~60m 범위로 제한했을 때 AMCASSR의 평균 오차는 0.1157 픽셀로 더욱 감소하였다.
• 동적 필터링: 의미론적 분할과 변위 기반 클러스터링의 누적 적용을 통해 최종 평균 오차를 0.0583 픽셀까지 낮추었다.
• 시너지 효과: 어블레이션 연구(ablation study) 결과, AMCASSR가 보존한 기하학적 충실도가 변위 기반 클러스터링의 성능을 향상시키는 시너지 효과가 나타났으며, 결과적으로 최종 오차를 교정 전 베이스라인의 약 4분의 1 수준으로 감소시켰다.

의의 및 주장
본 논문은 HPSC가 자연 경관 관측으로부터 외부 파라미터를 직접 추정함으로써, 오프라인 재교정을 대체할 수 있는 원칙적인 온라인 대안을 제공한다고 주장한다. 저자들은 해상도, 깊이 불확실성, 동적 객체라는 세 가지 과제가 서로를 강화하는 관계이며, 개별적인 해결책은 효과적이지 않다고 강조한다. 이러한 순환 구조를 점진적이고 계층적인 설계를 통해 끊어냄으로써, 본 프레임워크는 에피폴라 기하 오차를 실질적으로 감소시킨다. 이 연구는 스테레오 초해상도가 단순한 이미지 개선 도구가 아니라, 교정 파이프라인에서 에피폴라 일관성을 유지하기 위한 기하학적 필수 요소임을 강조한다. 향후 연구는 장면 적응형 불확실성 기준 및 실시간 배포를 위한 경량 아키텍처 개발로 향하고 있다.