GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations

기술 요약: GSVisLoc

문제 정의
시각적 위치 추정(Visual localization)은 단일 쿼리 이미지가 주어졌을 때 3D 환경 내에서의 카메라 위치와 방향(포즈)을 추정하는 것을 포함한다. 고전적인 구조 기반 방식들은 높은 정확도를 달eric하지만, 3D 디스크립터 저장을 위한 상당한 저장 공간과 초기 이미지 검색 단계가 필요한 경우가 많다. 반면, 엔드투엔드 학습 방식(예: Absolute Pose Regression)은 구조 기반 방식의 일반화 능력과 정확도에 미치지 못한다. 최근 3D 가우시안 스플래팅(3DGS)이 새로운 시점 합성(novel view synthesis)을 위한 고품질의 빠른 학습 가능 장면 표현 방식으로 부상했다. 그러나 3DGS를 이용한 기존의 시각적 위치 추정 방법들은 한계가 있다. 일부는 초기 포즈만을 정밀하게 조정(refine)할 뿐이며, 다른 방식은 다른 표현 방식들에 비해 정확도가 낮거나, 특정 3DGS 모델에 추가적인 특징(feature)을 최적화해야 하므로 "바닐라(vanilla)" 3DGS 모델을 사용할 수 없다는 문제점이 있다.

방법론
저자들은 3DGS 모델의 재학습이나 수정, 또는 추가적인 참조 이미지 없이 표준 3DGS 장면 표현 위에서 직접 시각적 위치 추정을 수행하도록 설계된 딥러닝 기반 방식인 GSVisLoc를 제안한다. 이 접근 방식은 3차원 가우시안 포인트와 2차원 이미지 패치 간의 3D-2D 대응 관계를 다음과 같은 3단계 파이프라인을 통해 구축한다:

1. 특징 인코딩 (Feature Encoding):

   • 3D 인코딩: 3D 가우시안들을 먼저 필터링(저불투명 가우시안 제거)하고 다운샘플링한다. 그 후 KPConv 기반 인코더(KPFCNN)가 남은 가우시안들을 처리하며, 인접한 포인트들의 정보를 통합하여 견고한 3도(3D) 영역 특징을 생성한다.
   • 2D 인코딩: 2D 이미지 인코더는 쿼리 이미지로부터 두 가지 스케일의 특징을 추출한다: 거친 특징(8배 다운샘플링)과 미세 특징(2배 다운샘플링).
   • 정렬 (Alignment): 네트워크는 각 도메인 내의 표현을 정교화하고 3D 및 2D 특징 공간을 정렬하기 위해 인터리브드(interleaved) 셀프 어텐션(self-attention) 및 크로스 어텐션(cross-attention) 레이어를 사용한다.

2. 매칭 전략 (Matching Strategy):

   • 거친 매칭 (Coarse Matching): 시스템은 거친 3D 특징과 2D 특징 사이의 쌍별 코사인 유사도(pairwise cosine similarities)를 계산한다. 매치는 점수 임계값과 상호 최근접 이웃(Mutual Nearest-Neighbor, MNN) 기준을 바탕으로 선택되어 이상치(outlier)를 필터링한다.
   • 미세 매칭 (Fine Matching): 각 거친 매치에 대해, 시스템은 대응 관계를 픽셀 수준으로 정교화한다. 거친 매치 위치 주변의 로컬 윈도우 내에서 정렬 확률 분포를 나타내는 히트맵을 생성한다. 최종적인 미세 매치는 이 분포에 대한 기댓값을 취함으로써 결정된다.

3. 포즈 추정 및 정밀화 (Pose Estimation and Refinement):

   • 확립된 3D-2D 대응 관계는 초기 카메라 포즈를 추정하기 위해 RANSAC이 포함된 PnP(Perspective-n-Point) 솔버에 입력된다.
   • 포즈 정밀화(Pose Refinement) 모듈(GS-CPR에서 채택)은 정확도를 더욱 향상시킨다. 이는 추정된 포즈로부터 3DGS 모델을 사용하여 이미지와 깊이 지도를 렌더링하고, MASt3R를 사용하여 쿼리와 렌더링된 이미지 사이의 조밀한 2D-2D 대응 관계를 구축한 뒤, 이를 3D로 들어 올려(lift) PnP+RANSAC을 통해 정밀한 포즈를 계산한다.

학습 체계 (Training Regimes)
모델은 알려진 포즈를 사용하여 3DGS 포인트를 쿼리 이미지에 투영함으로써 얻은 그라운드 트루스(ground-truth) 매치를 사용하여 학습된다. 학습은 세 가지 시나리오 하에 평가된다:

• 단일 장면 (Single-scene): 동일한 장면에 대해 학습 및 테스트 수행.
• 다중 장면 (Multi-scene): 여러 장면의 컬렉션에서 학습하고 동일한 세트에서 테스트 수행.
• 교차 장면 일반화 (Cross-scene Generalization): 여러 장면의 컬렉션에서 학습하고 새로운 미학습 장면에서 테스트 수행.

주요 기여 (Key Contributions)

1. GSVisLoc 네트워크: 3D 가우시안 스플래팅 표현에 특화되어 설계된 딥 뉴럴 네트워크.
2. 수정 없는 배포 (Zero-Modification Deployment): 장면 표현의 재학습이나 가우시안에 학습된 특징을 추가할 필요 없이 바닐라 3DGS 모델에서 작동한다.
3. 검색이 필요 없는 추론 (Retrieval-Free Inference): 많은 구조 기반 또는 NeRF 기반 방식과 달리, GSVisLoc은 추론 중에 이미지 검색 단계를 요구하지 않으므로 학습 후 참조 이미지를 폐기할 수 있다.
4. 일반화 능력: 학습된 3D-2D 매칭을 통해 새로운 미학습 장면에 효과적으로 일반화할 수 있음을 입증하였으며, 단일 장면 학습 모델과 대등한 정확도를 유지한다.
5. 성능: 3DGS 기반 방식 중 최첨단(SOTA) 성능을 달이며, 표준 벤치마크에서 경쟁력 있는 결과를 보여준다.

실험 결과
저자들은 7-Scenes(실내) 및 Cambridge Landmarks(실외) 데이터셋과 교차 장면 일반화를 위한 ScanNet++ V2 데이터셋에서 GSVisLoc을 평가하였다.

• 7-Scenes: GSVisLoc은 다른 3DGS 기반 방식들(6DGS, GSplatLoc)보다 우수한 성능을 보였으며, 이동(translation) 및 회전(rotation) 정확도 모두에서 APR 및 NeRF 기반 방식들을 능가했다. SCR(Scene Coordinate Regression) 방식들과 대등한 성능을 달성했으나, 최고 수준의 구조 기반 방식(DVLAD+R2D2)에는 약간 뒤처졌다.
• Cambridge Landmarks: 회전 정확도에서 GSplatLoc을 능가했으며 이동 정확도에서는 대등한 결과를 보였다. APR 방식들보다는 크게 앞섰으나, 계층적 방식인 HLoc에는 미치지 못했다(특히 이동 정확도 측면). 저자들은 이 격차의 원인을 일부 해당 실외 데이터셋에 대한 3DGS의 낮은 렌더링 품질로 돌렸다.
• 일반화: ScanNet++ V2의 교차 장면 실험에서, 모델은 재학습 없이 미학습 장면에 효과적으로 일반화되었으며 높은 정확도를 유지했다.

의의 및 주장
본 논문은 GSVisLoc이 3DGS의 고품질 렌더링과 정확한 포즈 추정의 필요성 사이의 간극을 메움으로써, 명시적인 3DGS 장면 표현을 성공적으로 활용한다고 주장한다. 이미지 검색의 필요성을 제거하고 위치 추정을 위한 특정 3DGS 모델의 최적화를 피함으로써, 이 방식은 배포 과정을 단순화한다. 저자들은 이 접근 방식이 새로운 장면에 대해서도 일반화될 수 있음을 강조하며, 이는 표준 3DGS 재구성을 사용하여 동적이거나 이전에 본 적 없는 환경에서 견고한 위치 추정이 필요한 애플리케이션에 실용적인 솔루션임을 시사한다.