기술 요약: 글로벌 구조 운동 (Structure-from-Motion) 과 피드포워드 재구성의 만남

문제 정의

구조 운동 (SfM) 은 컴퓨터 비전의 핵심 과제로, 이미지 컬렉션으로부터 카메라 포즈와 3D 장면 구조를 동시에 추정하는 역할을 합니다. 고전적인 최적화 기반 방법들 (예: GLOMAP, COLMAP) 은 충분한 중첩, 시차, 질감이 있는 시나리오에서 높은 신뢰성을 달성해 왔으나, 낮은 질감, 제한된 중첩, 대칭성, 외관 변화로 특징지어지는 까다로운 조건에서는 자주 실패합니다. 반면, 최근의 피드포워드 (학습 기반) 접근법들은 학습된 사전 지식을 활용하여 이러한 특정 실패 사례를 극복하는 데 상당한 진전을 보였습니다. 그러나 이러한 피드포워드 방법들은 치명적인 한계를 겪고 있습니다: 높은 메모리 요구량으로 인한 확장성 부족 (종종 수백 장의 이미지로 제한됨), 고전적인 방법들에 비해 표준 재구성 설정에서의 낮은 정확도, 그리고 더 많은 입력 이미지를 추가한다고 해서 반드시 출력이 개선되는 것은 아닌 직관에 반하는 행동들입니다. furthermore, 기존의 하이브리드 시도들은 수만 장의 이미지로 확장되지 못하거나 두 패러다임 간의 정확도 격차를 완전히 해소하지 못하는 경우가 많습니다.

방법론: GLUEMAP 파이프라인

저자들은 고전적인 글로벌 최적화와 피드포워드 재구성의 강점을 체계적으로 결합한 새로운 SfM 파이프라인인 GLUEMAP을 제안합니다. 이 시스템은 네 가지 주요 단계로 작동합니다:

1. 뷰 그래프 초기화:
   모든 이미지에 전역적으로 주의를 기울이는 것 (이는 피드포워드 모델에서 메모리 문제를 유발함) 대신, 시스템은 확장 가능한 이미지 검색 (SALAD) 을 사용하여 후보 이웃을 식별합니다. 그리고 **Doppelgangers++**를 활용하여 중첩되지 않거나 대칭적인 (Doppelganger) 이미지 쌍을 필터링합니다. 동적 임계값 전략을 사용하여 희소 뷰 그래프를 구축함으로써 지역적 연결성을 보장하면서 메모리 초과 문제를 방지합니다. 이는 피드포워드 추론을 지역적 이웃으로 제한합니다.

2. 피드포워드 지역 추론:
   뷰 그래프는 각 입력 뷰를 중심으로 하는 지역적 "스타 그래프"들로 분해됩니다. 피드포워드 백본 (특히 $\pi^3$) 은 이러한 스타들에서 지역 재구성을 수행하여 지역 포즈, 깊이 지도, 초점 거리, 그리고 트랙들을 추론합니다. 서로 다른 스타들 간의 겹치는 트랙들을 병합하기 위해, 시스템은 트랙 위치를 1 픽셀 반경 내의 SIFT 키포인트에 스냅 (snap) 합니다. 시각적 중첩을 결정하고 에지를 필터링하기 위해 순방향 - 역방향 깊이 일관성 검사가 사용됩니다.

3. 글로벌 모션 평균화:
   독립적인 지역 재구성은 글로벌 모델로 병합됩니다. 이 단계는 다음을 수행합니다:

   • 내부 파라미터 평균화: 추정된 초점 거리의 중앙값을 계산합니다.
   • 회전 평균화: 로버스트 Huber 손실 함수를 사용하여 상대 회전으로부터 글로벌 회전을 최적화합니다.
   • 유사도 평균화: 글로벌 카메라 중심과 스타 스케일을 동시에 추정합니다. 이전의 공식화들이 노이즈가 있는 삼각측량으로부터 상대 스케일을 추정했던 것과 달리, 이 접근법은 지역 스타 재구성의 스케일 일관성을 활용하여 글로벌 중심과 스케일을 더 강건하게 해결합니다.

4. 증강 번들 조정 (A-BA):
   최종 재구성을 정제하기 위해, 시스템은 **가상 트랙 (virtual tracks)**으로 증강된 표준 번들 조정을 수행합니다.

   • 가상 트랙: 이들은 스타의 중심 이미지에서 샘플링된 픽셀들을 추정된 포즈와 깊이 지도를 사용하여 이웃 뷰로 재투영함으로써 합성됩니다. 표준 특징 트랙과 달리, 가상 트랙은 이웃 이미지 밖으로 투영되거나 카메라 뒤에 관찰된 3D 점을 나타낼 수 있어, 낮은 중첩 또는 낮은 질감 시나리오를 처리하기 위해 장면 사전 지식을 효과적으로 인코딩합니다.
   • 트랙 혼합: 최종 최적화는 세 가지 유형의 트랙을 활용합니다: 고전적인 SIFT 트랙, 피드포워드 네트워크의 딥 트랙, 그리고 합성된 가상 트랙입니다. 우선순위 기반 혼합 전략은 높은 정확도의 SIFT 트랙을 우선시하면서 충분한 제약을 보장합니다.

주요 기여

• 체계적 분석: 이 논문은 고전적 방법과 피드포워드 방법의 한계를 상세히 분석하여, 고전적 방법이 낮은 중첩/질감/대칭성에서 어려움을 겪는 반면, 피드포워드 방법은 확장성, 표준 설정에서의 정확도, 그리고 그래프 반경 및 밀도에 대한 강건성에서 어려움을 겪음을 강조합니다.
• 새로운 파이프라인: 피드포워드 지역 추론과 고전적 글로벌 최적화를 통합하는 GLUEMAP 의 도입입니다. 이는 추론을 지역적 스타 그래프로 제한함으로써 글로벌 피드포워드 주의의 메모리 병목 현상을 피합니다.
• 증강 번들 조정: 피드포워드 깊이 및 포즈 추정치에서 파생된 가상 트랙을 사용하여 표준 BA 를 증강하는 제안으로, 명시적 특징 매칭에만 의존하지 않고 장면 사전 지식을 활용할 수 있게 합니다.
• 확장성과 강건성: 이 시스템은 대칭성과 낮은 중첩 시나리오에 대한 강건성을 유지하면서 수만 장의 이미지로 확장되도록 설계되었습니다.

실험 결과

저자들은 낮은 질감, 낮은 중첩, 대칭성, 대규모 장면 등 다양한 도전을 포함하는 다섯 가지 데이터셋 (ETH3D, IMC2021, CO3Dv2, SMERF, LaMAR) 에서 GLUEMAP 을 평가했습니다.

• ETH3D (높은 정확도): GLUEMAP 은 보정 및 비보정 설정 모두에서 최첨단 결과를 달성하여, 순수 피드포워드 방법 (예: $\pi^3$) 과 고전적 베이스라인 (GLOMAP + SIFT/ALIKED) 을 능가했습니다.
• IMC2021 (외관 변화): 이 방법은 다양한 입력 크기 (5 장에서 전체 컬렉션까지) 에서 경쟁력을 유지하며, 고전적 방법 (밀도) 과 피드포워드 방법 (외관 변화 강건성) 양쪽의 이점을 계승했습니다.
• CO3Dv2 (낮은 중첩/질감): 희소 시퀀스 (10 장 이미지) 에서 GLUEMAP 은 $\pi^3$ + BA 와 일치하거나 약간 초과하는 성능을 보여주어, 피드포워드 모델이 단일 패스로 장면을 관찰할 수 있을 때조차 글로벌 일관성 강제화가 유익함을 입증했습니다.
• SMERF (낮은 중첩/대칭성): 최소한의 중첩과 대칭적인 다중 방 레이아웃이 있는 시나리오에서 고전적 방법들은 대부분 실패했고, 순수 피드포워드 방법들은 스케일 드리프트와 붕괴된 재구성에 시달렸습니다. GLUEMAP 은 서로 다른 방들을 성공적으로 구분하고 높은 정확도를 유지하여, 엄격한 임계값에서 정확도 측면에서 MP-SFM (하이브리드 베이스라인) 을 능가했습니다.
• LaMAR (대규모): 수천 장의 이미지 (6k~9k) 가 있는 장면의 경우, 피드포워드 방법들은 메모리 초과 (OOM) 문제로 실패했습니다. 고전적 방법들은 대칭성과 낮은 중첩에 어려움을 겪었습니다. GLUEMAP 은 이러한 장면들을 성공적으로 재구성하여 고전적 베이스라인보다 훨씬 높은 정확도를 달성했습니다.

중요성과 주장

이 논문은 피드포워드 방법의 지역적 강건성과 고전적 기법의 확장성, 정확도, 그리고 글로벌 일관성을 결합함으로써 GLUEMAP 이 광범위한 시나리오에서 최첨단 성능을 달성한다고 주장합니다. 저자들은 그들의 접근 방식이 "만병통치약"이 아니라 두 패러다임의 특정 실패 모드를 해결하는 체계적인 통합임을 강조합니다. 시스템의 성능이 현재 기반 피드포워드 백본 (예: $\pi^3$) 의 품질에 의존하며, 피드포워드 모델의 향후 개선 (예: 어안 렌즈 처리 또는 순수 회전 운동 처리) 이 그들의 파이프라인에 직접적인 혜택을 줄 것이라고 언급합니다. 이 작업은 추가 연구를 촉진하기 위해 오픈 소스 구현체로 공개되었습니다.