ZeD-MAP: Bundle Adjustment Guided Zero-Shot Depth Maps for Real-Time Aerial Imaging

1. 문제 정의 (Problem Statement)

재난 대응 및 긴급 구조와 같은 시간 민감적인 지리공간 작업에서는 초고해상도 UAV(무인항공기) 영상을 이용한 실시간 밀도 깊이 (Dense Depth) 재구성이 필수적입니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다.

• 전통적인 Photogrammetry (SGM 등): 높은 기하학적 정밀도를 제공하지만, 초고해상도 (50MP 이상) 이미지 처리 시 계산 비용이 매우 커 실시간 처리가 어렵습니다.
• 학습 기반 Transformer 모델: 빠른 추론 속도를 가지지만, 대규모 레이블 데이터에 의존하며 일반화 능력이 제한적이고, 절대적인 스케일 (Metric Scale) 이 불명확할 수 있습니다.
• Diffusion 기반 Zero-Shot 모델: 다양한 장면에서 강력한 일반화 능력을 보이지만, 확률적 추론 과정으로 인해 **프레임 간 일관성 (Temporal Consistency)**과 **메트릭 정확도 (Metric Accuracy)**가 부족합니다. 또한, 반복적인 디노이징 (Denoising) 으로 인해 추론 속도가 느리고 스케일 불일치가 발생합니다.

따라서, 실시간성, 메트릭 일관성, 강력한 일반화 능력을 모두 만족시키는 새로운 하이브리드 접근법이 필요합니다.

2. 제안 방법론: ZeD-MAP (Methodology)

저자들은 ZeD-MAP을 제안했습니다. 이는 테스트 시간 (Test-time) 에 작동하는 Diffusion 깊이 모델에 **증분적 클러스터 기반 번들 어저스트먼트 (Incremental Cluster-based Bundle Adjustment, BA)**를 통합하여 메트릭 일관성을 부여하는 프레임워크입니다.

핵심 워크플로우:

1. 클러스터 기반 BA (Cluster-based Bundle Adjustment):

   • UAV 영상 스트림을 겹침 (Overlap) 을 고려하여 클러스터로 그룹화합니다.
   • 각 클러스터 내에서 **3 프레임 (중심 프레임 및 인접 프레임)**만 선택하여 경량화된 BA 를 수행합니다.
   • 이를 통해 메트릭 일관성을 가진 카메라 포즈와 희소 3D 타이 포인트 (Sparse Tie-points) 를 복원합니다.
   • GNSS 가 없는 경우 고정된 3 프레임 윈도우를, GNSS 가 있는 경우 겹침 비율 (예: 10% 미만) 에 따라 동적으로 클러스터를 형성합니다.
   • 이전 클러스터의 마지막 프레임들을 고정하여 클러스터 간 드리프트 (Drift) 를 방지합니다.

2. N-Frame 선택 전략:

   • 긴 클러스터 (예: 90% 겹침으로 인해 10 프레임 이상) 를 모두 BA 에 넣으면 계산 비용이 급증합니다.
   • ZeD-MAP 은 클러스터의 **중심 프레임과 그 바로 앞뒤 프레임 (총 3 프레임)**만 BA 에 사용하여 3D 앵커를 생성합니다. 이는 중심 프레임의 전체 영역을 커버하는 3D 포인트를 생성하기에 충분하면서도 실시간 성능을 유지합니다.

3. 가이드드 Diffusion 모델 (Guided Diffusion Model):

   • BA 로부터 얻은 희소 3D 앵커 포인트를 Diffusion 모델 (Murre 기반) 에 조건부 (Conditioning) 입력으로 제공합니다.
   • Diffusion 모델은 RGB 이미지와 희소 메트릭 포인트를 함께 사용하여 메트릭 스케일이 보정된 밀도 깊이 지도를 생성합니다.
   • 생성된 깊이 지도는 TSDF (Truncated Signed Distance Function) 를 통해 점진적으로 융합되어 글로벌 3D 지도, 깊이 지도, True-Ortho 모자이크를 생성합니다.

3. 주요 기여 (Key Contributions)

• 최초의 실시간 메트릭 일관성 프레임워크: 테스트 시간 Diffusion 모델을 사용하여 대규모 항공 매핑에 전 세계적으로 메트릭 일관성이 있는 밀도 깊이 지도를 제공하는 최초의 실시간 가능 프레임워크입니다.
• 겹침 인식 클러스터링 전략: GNSS 유무에 따라 동적 (Overlap 기반) 또는 고정 (3 프레임) 클러스터를 형성하여, 각 클러스터가 컴팩트하면서도 신뢰할 수 있는 메트릭 초기화를 보장합니다.
• 효율적인 N-Frame 선택: 전체 클러스터가 아닌 3 프레임 (중심 + 인접) 만으로 BA 를 수행하여 메트릭 앵커를 생성함으로써 실시간 성능을 저해하지 않으면서도 정확도를 유지합니다.
• 종단 간 (End-to-End) 파이프라인: 외부 COLMAP 같은 3rd 파티 솔루션이나 사전 계산된 깊이 사전 (Priors) 없이, RGB 이미지만 입력받아 실시간으로 3D 지도를 생성할 수 있습니다.

4. 실험 결과 (Results)

DLR 의 모듈형 항공 카메라 시스템 (MACS) 을 사용하여 약 50m 고도 (GSD ≈ 0.85cm/px) 에서 촬영된 지상 마커 데이터와 2023 년 튀르키예 지진 현장의 대규모 UAV 데이터로 검증했습니다.

• 정확도 (Ground-Marker Dataset):
  • 수평 (XY) 오차: 약 0.87m (상대 오차 < 2.2%)
  • 수직 (Z) 오차: 약 0.12m (상대 오차 < 1%)
  • 기존 COLMAP(SfM-MVS) 과 비교했을 때 수평 정확도는 유사하고, 수직 정확도는 매우 우수합니다.
• 실시간 성능:
  • 프레임당 처리 시간: 1.47 초 ~ 4.91 초 (클러스터당 14.72 초, 클러스터 크기 3~10 프레임 기준).
  • 이는 UAV 의 일반적인 비행 속도 (20m/s) 와 겹침 비율 (80%) 을 고려할 때 실시간 처리가 가능한 수준입니다.
• 대규모 지진 데이터 평가:
  • VGGT, MapAnything 등 최신 모델들은 스트립 간 (Multi-strip) 드리프트와 Z 축 불일치를 보인 반면, ZeD-MAP 은 글로벌 기하학적 일관성을 유지했습니다.
  • COLMAP 과 비교 시, 전역 표준 편차는 다소 높았으나 (0.46m vs 0.23m), **국소 정밀도 (Local Precision)**는 거의 동일 (0.024m vs 0.023m) 했고, 처리 속도는 훨씬 빨랐으며 커버리지도 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간 3D 매핑의 혁신: 기존에는 오프라인 처리나 고성능 하드웨어 가속이 필요했던 초고해상도 UAV 매핑을, Diffusion 모델의 일반화 능력과 BA 의 기하학적 엄밀함을 결합하여 실시간으로 해결했습니다.
• 재난 대응 적용 가능성: 지진, 화재 등 즉각적인 상황 판단이 필요한 재난 현장에서, 지연 시간 없이 메트릭이 정확한 3D 지도를 제공할 수 있어 구조 활동의 효율성을 극대화합니다.
• 기술적 균형: Diffusion 모델의 확률적 불확실성을 BA 를 통해 제어하고, BA 의 계산 부담을 클러스터링과 N-Frame 선택으로 줄여 속도 - 정확도 - 강건성 사이의 최적 균형을 달성했습니다.

이 연구는 실시간 항공 매핑 분야에서 전통적인 Photogrammetry 와 최신 생성형 AI (Diffusion) 를 융합한 새로운 패러다임을 제시하며, 향후 저지연 고정밀 3D 지리정보 시스템의 핵심 기술로 자리 잡을 것으로 기대됩니다.