SemCityLoc: Aerial 6DoF Localization Using Semantic 3D City Models

기술 요약: SemCityLoc

문제 정의
무인 항공기(UAV)를 위한 공중 6DoF(6자유도) 위치 추정은 도시 항법, 점검 및 디지털 트윈 구축에 있어 매우 중요하며, 특히 GNSS가 차단된 환경에서 그 중요성이 더욱 커진다. 기존의 방식들은 대개 정밀한 RTK-GNSS 신호나 방사적 특성이 풍부한 3D 재구성(예: 밀집된 텍스처 메쉬)에 의존한다. 그러나 이러한 방법들은 도시 환경에서 확장성 문제, 높은 메모리 및 계산 비용, 그리고 개인정보 보호 문제를 야기한다. 또한, 기존의 지도 기반 대안들은 2D 직교 사진(orthophotos)에 의존하거나 추상적인 건물 모델을 활용한 희소한 윤곽선 기반 정렬에 의존하는데, 이는 반복적인 파사드(facade), 폐쇄(occlusion), 강한 원근 왜곡이 특징인 근거리 도시 협곡(urban canyons)에서 견고함이 부족하다는 한계가 있다. 센티미터 단위의 정확한 포즈, 저고도 이미지, 그리고 표준화된 수준(Level of Detail, LoD) 세만틱 시티 모델을 결합한 표준화된 벤치마크의 부재 또한 체계적인 평가를 저해하고 있다.

방법론: SemCityLoc
저자들은 공중 포즈 추정을 구조화된 표면 등록(structured surface registration)으로 재정의하는 시만틱-기하학적 정렬 시스템인 SemCityLoc을 제안한다. 이 방법은 희소한 에지를 매칭하거나 밀집된 텍스처를 매칭하는 대신, 파운데이션 모델로부터 유도된 시각적 사전 정보(세만틱 세그멘테이션 및 단안 깊이)를 경량화되고 표준화된 LoD 준수 3D 시티 모델과 정렬한다.

시스템은 조粗(coarse)-정밀(fine) 전략을 통해 작동한다:

1. 지각적 사전 정보(Perceptual Priors): 쿼리 UAV 이미지는 고정된 DINOv3 백본과 경량 DPT 디코더를 사용하여 세만틱 세그멘테이션 마스크를 생성하고, MoGe-2를 사용하여 단안 깊이 지도를 생성하는 과정을 거친다. 이 모델들은 고정된 지각적 사전 정보 역할을 한다.
2. 조粗 포즈 선택 (4D 비용 볼륨): 초기 포즈 사전 정보가 주어지면, 시스템은 4D 탐색 공간(평행 이동 $x, y, z$ 및 요(yaw) $\psi$; 롤(roll)과 피치(pitch)는 고정)을 샘플링한다. 각 후보 포즈에 대해, LoD 시티 모델로부터 세만틱 마스크를 렌더링한다. 쿼리 이미지의 세만틱 마스크와 렌더링된 마스크 사이의 IoU(Intersection over Union)를 계산함으로써 4D 비용 볼륨이 구축된다. 최대 세만틱 비용을 생성하는 포즈가 조粗 추정치($\xi_c$)로 선택된다.
3. 포즈 정밀화 (입자 필터): 입자 필터 최적화 기법이 조粗 추정치를 정밀화한다. 이는 $\xi_c$ 주변에서 섭동된 포즈 가설들을 생성한다. 각 가설은 다음을 결합한 결합 비용 함수를 통해 점수가 매겨진다:
   • 세만틱 비용: 고해상도 렌더링된 세만틱 마스크와 쿼리 마스크 사이의 IoU.
   • 깊이 비용: 글로벌 스케일 및 시프트 파라미터를 통해 정렬된, 쿼리 깊이 지도와 렌더링된 깊이 지도 사이의 강건한 $L_1$ 손실.
     입자들은 최종 6DoF 포즈($\xi^*$)로 수렴할 때까지 반복적으로 업데이트된다.

주요 기여

1. 세만틱-기하학적 위치 추정: 본 논문은 공중 위치 추정을 구조화된 표면 정렬로 재정의하는 방법을 소개한다. 세만틱 표면 클래스(예: 지붕, 벽)를 기하학적 구조와 함께 활용함으로써, 이 접근 방식은 밀집된 방사적 재구성을 필요로 하지 않으면서도 반복적이고 폐쇄된 도시 환경에서의 포즈 식별력을 높인다.
2. SemCityLockeD 벤치마크: 저자들은 이 환경에 대한 엄격한 평가를 위해 설계된 최초의 실세계 벤치마크인 SemCityLockeD를 제시한다. 이 데이터셋은 센티미터 단위의 정확한 UAV 포즈(RTK-GNSS, IMU 및 GCP로부터 도출됨)를 표준화된 LoD1–LoD3 세만틱 시티 모델 및 도전적인 저고도(약 75m) 이미지와 결합하였다. 데이터셋은 962장의 이미지를 포함하며 다양한 기하학적 추상화 수준에 걸친 체계적인 평가를 지원한다.
3. 광범위한 평가: 본 방법은 SemCityLockeD 및 기존 벤치마크(UAVD4L-LoD, Swiss-EPFL)에서 평가되었으며, 기존의 지도 기반 방식들보다 일관된 개선을 보여준다.

결과
SemCityLockeD 벤치마크에서의 실험은 상당한 성능 향상을 입증한다:

• 재현율(Recall): 엄격한 2m–2° 임계값에서 SemCityLoc은 LoD-Loc 베이스라인이 달성한 **35.11%**의 거의 두 배에 달하는 **69.15%**의 재현율을 달성했다. 재현율은 3m–3°에서 84.04%, 5m–5°에서 89.36%로 향상된다.
• 오차 감소: 평균 위치 오차는 9.89 m(LoD-Loc)에서 2.62 m로 감소하였고, 평균 요(yaw) 오차는 1.78°에서 0.42°로 감소하였다.
• 절제 연구(Ablation): 조粗 세만틱 선택과 세만틱-깊이 정밀화 단계 모두가 상호 보완적이며 안정적인 추정에 결정적임이 입증되었다.
• 일반화: 본 방법은 "궤적 이탈(out-of-trajectory)" 및 "위치 이탈(out-of-place)" 시나리오를 포함하여 다른 벤치마크(UAVD4L-LoD, Swiss-EPFL)에서도 경쟁력 있거나 우수한 성능을 유지하며, 이는 궤적 변화 및 구조적 밀도 변화에 대한 강건성을 나타낸다.
• 효율성: 사전 학습된 파운데이션 모델과 IoU 기반 목적 함수를 사용하기 때문에 처음부터 학습하는 베이스라인(LoD-Loc)보다 빠르게 수렴하며, 온라인 배포에 적합한 서브 세컨드 실행 시간(이미지당 0.878초)을 달축한다.

의의
본 논문은 세만틱 구조를 가진 3D 시티 모델이 방사적 장면 재구성을 요구하지 않고도 고정밀 공중 위치 추정을 위한 충분하고 확장 가능한 제약을 제공한다고 주장한다. 에지 기반 매칭에서 구조화된 표면 등록으로 전환함으로써, 이 접근 방식은 도전적인 도시 협곡에서의 현재 지도 기반 시스템의 한계를 해결한다. SemCityLockeD의 도입은 고정밀 지면 진실(ground truth)과 표준화된 LoD 정의를 갖춘 표준화된 실세계 벤치마크를 제공함으로써 문헌의 중요한 공백을 메우며, 향-세대 공중 위치 추정 시스템의 보다 신뢰할 수 있는 평가를 가능하게 한다. 이 연구는 현대적인 비전 사전 정보와 표준화된 지리 공간 데이터를 결합하는 것이 차세대, 프라이버시 보호형 및 확장 가능한 UAV 위치 추정을 위한 유망한 방향임을 시사한다.