A Comparison of Multi-View Stereo Methods for Photogrammetric 3D Reconstruction: From Traditional to Learning-Based Approaches

논문 요약: 항공 사진측량 3D 재구성을 위한 전통적 및 학습 기반 MVS 방법 비교

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 비전 기반 시스템의 발전으로 이미지로부터 3D 환경을 재구성하는 기술이 중요해지고 있으며, 특히 항공 사진측량 (Photogrammetry) 분야에서 대규모 매핑 및 정밀 측량이 요구됩니다.
• 전통적 방법의 한계: 기존 구조 운동 (SfM) 및 다중 뷰 스테레오 (MVS) 방법 (예: COLMAP) 은 높은 정확도를 제공하지만, 계산 비용이 크고 실시간성이 부족하며, 대규모 데이터셋에서 확장성이 떨어집니다. 또한, 텍스처가 없거나 반복적인 패턴이 있는 영역, 조명 변화 등에서는 이미지 정합 (Registration) 실패로 인해 재구성이 불안정해질 수 있습니다.
• 학습 기반 방법의 부재: 최근 학습 기반 MVS 방법 (기하 유도형 및 엔드 - 투 - 엔드) 이 등장하여 속도와 효율성을 개선했으나, 항공 사진측량 분야에서 전통적 방법과 체계적으로 비교된 연구는 부족합니다.
• 연구 목적: 전통적 파이프라인과 최신 학습 기반 방법들 (기하 유도형, 엔드 - 투 - 엔드) 간의 정확도, 커버리지, 실행 시간을 종합적으로 비교 평가하여 각 방법의 장단점과 적용 가능성을 규명하는 것.

2. 방법론 (Methodology)

• 비교 대상 방법:
  • 전통적 (Traditional): COLMAP (SfM + MVS 파이프라인).
  • 기하 유도형 (Geometry-guided): MVSNet, PatchmatchNet, MVSAnywhere, MVSFormer++. (COLMAP 에서 추정된 카메라 포즈와 스퍼스 점구름을 입력으로 사용).
  • 엔드 - 투 - 엔드 (End-to-end): Stereo4D, FoundationStereo, DUSt3R, MASt3R, Fast3R, VGGT. (이미지만 입력받아 직접 3D 구조 추론).
• 실험 데이터셋:
  1. MARS-LVIG (Island): UAV 로 촬영된 복잡한 섬 환경. LiDAR 포인트 클라우드를 정답 (Ground Truth) 으로 사용.
  2. Pix4D (Urban): 공개된 도시 지역 데이터셋. Pix4Dmapper 로 생성된 정답 사용.
• 실험 설정:
  • 입력 이미지 수를 2, 10, 20, 50, 100 장으로 점진적으로 증가시키며 확장성 평가.
  • 모든 이미지는 공정한 비교를 위해 최대 512 픽셀로 리사이징.
  • 기하 유도형 방법은 COLMAP 의 정합 결과를 입력으로 받음.
• 평가 지표:
  • 처리 시간 (Runtime): 계산 효율성 및 확장성.
  • 정확도 (Accuracy): 재구성된 포인트 클라우드와 정답 간의 오차 (RMS, Mean Distance).
  • 커버리지 (Coverage): 정답 표면 중 성공적으로 재구성된 비율.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 처리 시간 (Runtime)

• 전통적 방법 (COLMAP): 이미지 수가 증가함에 따라 처리 시간이 급격히 증가 (100 장 기준 약 1300 초 이상). 밀도 재구성 단계에서 계산 비용이 매우 높음.
• 기하 유도형 방법: COLMAP 의 정합 실패 시 재구성이 불가능하며, COLMAP 이 성공한 경우에도 추가적인 계산 시간이 소요됨.
• 엔드 - 투 - 엔드 방법:
  • VGGT와 Fast3R은 매우 뛰어난 효율성을 보임 (100 장 기준 VGGT 는 약 60 초, Fast3R 은 약 16 초).
  • DUSt3R과 MASt3R은 2 장 입력 시 빠르지만, 이미지 수가 증가함에 따라 처리 시간이 급증하여 대규모 작업에는 비효율적임.

B. 정확도 (Accuracy)

• 희소 뷰 (Sparse-view, 2 장 입력): DUSt3R이 가장 높은 정확도를 보임 (Island: RMS 2.88 GSD, Urban: RMS 5.50 GSD).
• 다중 뷰 (Multi-view, 20 장 이상 입력):
  • DUSt3R의 정확도가 급격히 저하됨 (Island: RMS 9.70 GSD). 중첩 영역에서의 기하학적 일관성이 떨어지는 것으로 확인됨.
  • VGGT는 이미지 수가 증가해도 정확도가 비교적 안정적으로 유지됨.
  • Fast3R과 MASt3R은 전반적으로 오차 (RMS, MD) 가 크고, 레이어링 (layering) 및 국부적 정렬 오류가 발생함.
  • COLMAP은 기하학적 일관성이 좋지만, 텍스처가 없는 영역이나 정합 실패 시 재구성이 불가능하거나 불완전함.

C. 커버리지 (Coverage)

• DUSt3R: 2 장 입력 시 가장 높은 커버리지를 보이지만 (Island 84.89%), 입력 이미지가 늘어나면 커버리지가 급격히 감소함.
• VGGT: 다양한 입력 크기와 장면에서 가장 안정적이고 균형 잡힌 커버리지를 유지함.
• 전통적/기하 유도형 방법: 정합 실패 시 아예 재구성이 안 되거나 커버리지가 낮음.

D. 실패 사례 분석

• 식생, 암석, 수역 등 텍스처가 없거나 반복적인 패턴이 있는 영역에서 학습 기반 방법들은 깊이 추정 불신뢰로 인해 레이어링 (layering) 및 변형 (deformation) 아티팩트가 발생함.
• COLMAP 은 이미지 정합 실패 시 전체 파이프라인이 중단되는 취약점이 있음.

4. 결론 및 의의 (Conclusion & Significance)

• 전통적 방법 (COLMAP): 높은 기하학적 일관성을 제공하지만, 계산 비용이 크고 대규모 환경에서의 확장성이 부족하며, 정합 실패에 취약함.
• 기하 유도형 학습 방법: 전통적 파이프라인에 의존하므로, COLMAP 의 정합 실패 시 재구성이 불가능하다는 한계가 있음.
• 엔드 - 투 - 엔드 방법:
  • VGGT는 재구성 품질과 실행 시간 사이의 가장 좋은 균형을 제공하여 대규모 항공 사진측량에 가장 유망한 후보로 평가됨.
  • DUSt3R은 소수의 이미지 (희소 뷰) 만 있을 때 뛰어난 성능을 보임.
  • 하지만 모든 학습 기반 방법들은 여전히 **큰 잔차 (residuals)**와 국부적 구조 불일치 문제를 겪고 있어, 고정밀 항공 매핑의 실용적 배포에는 아직 한계가 있음.
• 의의: 본 연구는 항공 사진측량 분야에서 전통적 방법과 최신 학습 기반 방법들의 성능을 체계적으로 비교하여, 사용 목적 (정확도 vs 속도, 데이터 양) 에 맞는 방법론 선택을 위한 중요한 기준을 제시함.
• 향후 과제: SLAM 궤적과 같은 포즈 인식 (pose-aware) 사전 지식 통합, 대규모 이미지 컬렉션을 효율적으로 처리할 수 있는 확장성 있는 추론 전략 개발 필요.

이 논문은 3D 재구성 분야에서 학습 기반 방법이 전통적 방법을 대체할 수 있는 잠재력을 보여주지만, 아직 고정밀 응용을 위해서는 기하학적 일관성 및 대규모 데이터 처리 능력 향상이 필요함을 명확히 시사합니다.