Robust Global Structure-from-Motion via View Graph Pruning

기술 요약: 뷰 그래프 프루닝을 통한 강건한 글로벌 구조 결정(Structure-from-Motion)

문제 정의

Structure-from-Motion(SfM)은 정렬되지 않은 이미지들로부터 카메라 포즈와 3D 구조를 추정하는 근본적인 기술입니다. 글로벌 SfM 방식은 카메라 파라미터를 공동으로 추정함으로써 증분식(incremental) 방식에 비해 우수한 확장성과 효율성을 제공하지만, 뷰 그래프(view graph)의 오류가 있는 엣지(edge)에 매우 민감합니다. 이러한 오류는 주로 반복적인 구조(예: 건물 정면, 장식 패턴)가 있는 장면에서 시각적으로 모호한 매칭으로 인해 발생하며, 이는 잘못된 카메라 등록과 재구성 아티팩트로 이어집니다.

RANSAC을 사용하여 엣지가 그래프 내의 다른 경로와 일치하는지 확인하는 것과 같은 기존 전략들은 "거짓 합의(false consensus)"로 인해 실패하는 경우가 많습니다. 이러한 경우, 대안적인 경로들 또한 가짜 엣지들을 포함하고 있기 때문에 올바른 엣지가 실수로 필터링되어 알고리즘이 잘못된 기하학적 합의로 수렴하게 됩니다. 또한, 장면을 분할하여 독립적으로 구성 요소를 재구성한 후 병합하는 방식은 병합 단계에서 오류 전파를 일으킬 수 있습니다.

방법론

저자들은 글로벌 최적화 이전에 신뢰할 수 없는 연결을 식별하고 제거하기 위해 설계된 서브그래프 유도 뷰 그래프 프루닝(subgraph-guided view graph pruning) 프레임워크를 제안합니다. GLOMAP 프레임워크를 기반으로 구축된 이 파이프라인은 네 가지 단계로 구성됩니다:

1. 초기 뷰 그래프 구축:
   프로세스는 표준 특징 추출, 매칭, 그리고 2-뷰 기하학 검증을 통해 노드는 이미지, 엣지는 쌍별 상대 포즈를 나타내는 뷰 그래프 $G = \{V, E\}$를 구축하는 것으로 시작됩니다.

2. 재귀적 서브그래프 분할:
   뷰 그래프는 Louvan 커뮤니티 탐지 알고리즘을 사용하여 로컬하게 일관된 서브그래프($G_1, \dots, G_K$)로 반복적으로 분할됩니다. 이 알고리즘은 밀집된 커뮤니티 내 연결을 가진 이미지들을 그룹화하기 위해 모듈러리티(modularity)를 탐욕적으로 최적화합니다.

   • 일관성 검사: 각 분할 후, 각 서브그래프 내에서 글로벌 SfM(회전 평균화, 글로벌 포지셔닝, 번들 조정)이 수행됩니다.
   • 종료 조건: 하위 분할은 서브그래프 내의 포즈 일관성이 충족될 때까지 재귀적으로 계속됩니다. 일관성은 다음 두 가지 지표를 사용하여 평가됩니다:
     • 루프 일관성(Loop Consistency): 루프 내 상대 회전의 곱이 항등 회전(identity rotation)에서 크게 벗어나는지 확인합니다.
     • 상대적-절대적 일관성(Relative-to-Absolute Consistency): 2-뷰 기하학으로부터 얻은 상대 포즈를 서브그래프의 글로벌 추정에서 도출된 절대 포즈와 비교합니다. 오차가 임계값(예: 회전의 경우 $10^\circ$)을 초과하면 해당 서브그래프는 더 세분화됩니다.

3. 서브그래프 간 엣지 프루닝:
   안정적인 서브그래프가 식별되면, 기하학적으로 일치하지 않는 연결을 제거하기 위해 서로 다른 서브그래프($G_{k1}$ 및 $G_{k2}$)를 연결하는 엣지를 프루닝합니다.

   • 스케일 정렬: 서브그래프들이 잠재적으로 서로 다른 스케일을 가진 로컬 좌표계에서 재구성되므로, Perspective-n-Point (PnP) 알고리즘을 사용하여 상대 포즈를 추정합니다. 두 서브그래프의 스케일을 정렬하기 위해 최소제곱법을 통해 상대 스케일 인자($\beta$)를 추정합니다.
   • RANSAC 필터링: 서브그래프 간 엣지에 대해 RANSAC 기반 접근 방식이 적용됩니다. 이는 상대 포즈와 스케일에 대한 합의를 찾기 위해 엣지를 샘플링합니다. 회전($5^\circ$) 또는 이동($0.05 \times$ 평균 이동 거리) 일관성 임계값을 위반하는 엣지는 폐기됩니다.

4. 최종 글로벌 추정:
   이제 가짜 서브그래프 간 연결이 제거된 정제된 뷰 그래프는 최종 3D 재구성을 생성하기 위해 최종 글로벌 SfM 최적화를 거칩니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 서브그래프 유도 프루닝 프레임워크: 부분 재구성을 병합하는 대신 글로벌 최적화 전에 신뢰할 수 없는 연결을 필터링함으로써, 시각적 모호함 조건에서 글로벌 SfM의 강건성을 향상시키는 새로운 접근 방식을 제시합니다.
2. 반복적 서브그래프 분할: 서브그래프 내 포즈 일관성(루프 및 상대적-절대적 검사)에 기반한 전략을 통해 오염된 뷰 그래프로부터 신뢰할 수 있는 로컬 기하 구조를 효과적으로 격리합니다.
3. 서브그래프 간 엣지 프루닝: PnP와 상대 포즈 추정을 통해 스케일 모호성을 해결하면서, 유효한 기하학적 관계는 보존하고 서브그래프 사이의 일치하지 않는 연결을 제거하는 RANSAC 기반 메커니즘을 제공합니다.

실험 결과

본 방법은 네 가지 유형의 데이터셋(모호한 이미지 데이터셋, 순차적 이미지 데이터셋, 정렬되지 않은 인터넷 이미지 데이터셋, 커스텀 캡처 데이터셋)에 대해 평가되었습니다.

• 모호한 데이터셋: "Books", "Desk", "Street", "Cup"과 같은 벤치마크에서 제안된 방법은 회전 및 이동 오차에 대한 곡선 아래 면적(AUC) 측면에서 최첨단(state-of-the-art) 성능을 달성했습니다. 예를 들어, "Books" 데이터셋에서 $3^\circ, 5^\circ, 10^\circ$ 임계값에 대해 각각 98.7, 99.3, 99.4의 AUC 점수를 기록하며, 두 번째로 우수한 방법인 Doppelgangers++를 크게 앞질렀습니다.
• 순차적 및 인터넷 데이터셋: 반복적인 구조가 있는 장면(예: "Campus", "Library")에서 GLOMAP과 같은 베이스라인 방법이 완전한 궤적을 재구성하는 데 실패하는 것과 달리, 본 방법은 탁월한 강건성을 보여주었습니다. 본 방법은 AUC 지표에서 증분식 방법(COLMAP) 및 다른 글로벌 방법들을 지속적으로 능가했습니다.
• 신규 뷰 합성(Novel View Synthesis): 3D Gaussian Splatting (3DGS)을 이용한 평가 결과, 개선된 카메라 포즈 추정이 다른 SfM 방법들에 비해 더 높은 품질의 신규 뷰 합성 결과(높은 PSNR)를 이끌어냄을 보여주었습니다.
• 효율성: 분할 및 프루닝 단계로 인해 순수 GLOMAP보다는 약간 느리지만, COLMAP과 같은 증분식 방식이나 Doppelgangers와 같은 학습 기반 방법보다는 여전히 현저히 빠릅니다 (예: 5배 빠름).

의의 및 주장

저자들은 자신들의 연구가 글로벌 SfM의 핵심적인 병목 현상인 시각적 모호함으로 인한 오류 엣지에 대한 민감도 문제를 해결한다고 주장합니다. "재구성 후 병합"에서 "분할-프루닝-후-재구성"으로 패러다임을 전환함으로써, 회전 및 이동 평균 단계에서의 오류 전파를 방지합니다.

본 논문은 이 접근 방식이 효율성과 강건성 사이의 유리한 절충안을 달성한다고 강조합니다. 이는 반복적인 구조가 일반적으로 실패를 일으키는 까다로운 시나리오에서도 전역적으로 일관된 카메라 포즈를 복구할 수 있게 하여, 신경 렌더링과 같은 고품질의 다운스트림 애플리케이션을 용이하게 합니다. 저자들은 매우 크거나 밀집하게 분포된 반복 영역은 여전히 어려움이 될 수 있음을 언급하며 한계를 인정하였고, 향후 연구에서는 매칭 전략을 더욱 정교화하기 위해 학습 기반 기술을 통합할 수 있다고 밝혔습니다.