기술 요약: 비주얼 로컬라이제이션을 위한 가우시안 스플래팅 기반 특징 필드에서 2D-3D 대응 관계 모호성 해소

1. 문제 제기

가우시안 스플래팅 기반 특징 필드 (GSFFs) 가 비주얼 로컬라이제이션에 잠재력을 보임에도 불구하고, 저자들은 포즈 추정에 사용되는 Perspective-n-Points(PnP) 알고리즘의 요구사항과 광도 최적화 기반 GSFFs 간의 근본적인 구조적 불일치를 확인했습니다.

표준 GSFFs 를 2D-3D 매칭에 직접 적용하는 것을 방해하는 두 가지 주요 문제는 다음과 같습니다:

1. 부피적 모호성 (다대일 매핑): 표준 GSFF 의 각 3D 가우시안은 부피 영역을 덮습니다. PnP 입력을 위해 가우시안을 단일 3D 점 (예: 중심점) 으로 근사할 때, 쿼리 이미지의 여러 2D 픽셀이 이 단일 점에 매핑될 수 있습니다. 이러한 "다대일" 대응 관계는 기하학적 불일치를 초래하고 재투영 오차를 누적시켜 PnP 수렴을 불안정하게 만들고 최적하지 않은 포즈 추정으로 이어집니다.
2. 중복성 및 다중 뷰 일관성 부재: 광도 최적화는 뷰 의존적 효과를 포착하기 위해 종종 수많은 중복된 가우시안을 생성합니다. 이러한 가우시안들은 다중 뷰 일관성이 없어 새로운 뷰포인트 하의 2D-3D 매칭에 비효율적입니다. 또한, STDLoc 과 같은 기존 방법들은 높은 정확도를 달성하기 위해 장면당 수 시간의 최적화와 추가적인 쿼리 측 검출 또는 조밀한 2D-2D 정제가 필요하여 실용성이 제한됩니다.

2. 방법론

본 논문은 장면별 훈련이나 반복적 포즈 정제 없이 로컬라이제이션 전용 GSFF 를 구축하도록 설계된 SplitGS-Loc 프레임워크를 제안합니다. 방법론은 PlugGS-Loc(특징 리프팅 및 샘플링용) 과 SplitGS-Loc(대응 관계 모호성 해소용) 의 두 가지 핵심 구성 요소로 이루어집니다.

2.1 PlugGS-Loc: 특징 리프팅 및 샘플링

이 모듈은 래스터화 과정에서 도출된 합성 가중치를 활용하여 중복된 가우시안과 특징 흐림 문제를 해결합니다.

• 가중치 집계: 픽셀에 기여하는 모든 가우시안을 저장하는 대신, 이 방법은 합성 가중치 임계값 ($\tau$) 을 기반으로 픽셀에 주로 래스터화된 가우시안을 식별합니다. 모든 훈련 뷰에 걸쳐 각 가우시안의 최대 기여 가중치 ($\tilde{w}$) 를 집계하여 정보성 있는 가중치 집합 ($W_n$) 을 형성합니다.
• 가우시안 샘플링: 불필요한 가우시안을 제거하기 위해 장면을 지역적 영역으로 나눕니다. 각 영역 내에서 가우시안들은 다중 뷰에 걸친 중요도를 반영하는 집계된 가중치 ($\psi(g_n)$) 를 기반으로 점수를 매깁니다. 각 영역에서 최고 점수를 받은 가우시안만 유지하여 다중 뷰 일관성을 갖춘 가우시안의 컴팩트한 지도를 보장합니다.
• 특징 등록: 렌더링 손실을 통한 특징 최적화 (흐림을 유발함) 대신, 특징을 직접 리프팅합니다. 선택된 각 가우시안에 대해, 이전 단계에서 식별된 강력한 픽셀 - 가우시안 연관성에서 도출된 가중치를 사용하여 훈련 뷰의 픽셀 수준 특징들의 가중 합으로 고유한 특징 벡터를 계산합니다. 이는 다중 뷰 일관성을 강제하고 특징 흐림을 방지합니다.

2.2 SplitGS-Loc: 대응 관계 모호성 해소

이 모듈은 부피 가우시안과 점 기반 PnP 간의 구조적 불일치를 해결합니다.

• 가우시안 혼합 분할: 핵심 혁신은 가장 큰 모호성이 있는 주요 축을 따라 각 3D 가우시안을 분해하는 것입니다. 단일 가우시안은 세 가지 구성 요소로 분할됩니다: 중앙 구성 요소와 주요 축을 따라 대칭적으로 배치된 두 개의 측면 구성 요소입니다.
• 모멘트 매칭: 분할 파라미터는 원래 분포의 처음 네 모멘트를 혼합 분포와 일치시킴으로써 유도됩니다. 이는 분할된 구성 요소들이 원래 부피를 collectively 표현하면서 주요 축을 따라 공간적 범위를 확장하도록 보장합니다.
• 통합: 분할 전략은 PlugGS-Loc 과 통합됩니다. 샘플링 단계에서는 자식 가우시안들이 부모를 점수 매기기 위해 임시로 집계되어 공간적 커버리지가 유지되도록 합니다. 그러나 특징 등록 중에는 각 자식 가우시안이 고유한 픽셀 특징과 짝을 이룹니다. 이는 각 분할된 가우시안이 이제 고유한 특징을 가진 더 세분화된 영역을 나타내므로 "다대일" 매핑을 정밀한 "일대일" 대응 관계로 변환합니다.

3. 주요 기여

• 구조적 불일치 식별: 본 논문은 광도 최적화된 GSFFs 가 부피적 모호성과 중복된 가우시안으로 인해 직접적인 2D-3D 매칭에 본질적으로 적합하지 않음을 강조합니다.
• SplitGS-Loc 프레임워크: 장면별 훈련 없이 2D-3D 대응 관계를 모호성 해소하는 새로운 구축 프레임워크입니다. 이는 다음을 결합합니다:
  • 가우시안 혼합 기반 분할: 모호한 다대일 매핑을 정밀한 일대일 대응 관계로 대체하는 결정론적이고 특징 무관한 분해 방식.
  • 합성 가중치 기반 특징 리프팅: 중요한 다중 뷰 일관성 가우시안을 선택하고 강력한 픽셀 - 가우시안 연관성을 통해 차별화된 특징을 할당하는 파이프라인.
• 효율성과 성능: 이 방법은 약 7 분의 매핑 시간 (초기 3DGS 훈련 포함) 과 반복적 포즈 정제 없이 로컬라이제이션 벤치마크 (Cambridge Landmarks 및 7Scenes) 에서 최첨단 성능을 달성합니다.

4. 실험 결과

저자들은 Cambridge Landmarks(실외) 및 7Scenes(실내) 데이터셋에서 이 방법을 고전적 방법, 딥러닝 기반 회귀 (SCR, APR), NeRF 기반 방법 및 기타 GS 기반 접근법과 비교하여 평가했습니다.

• 정확도: SplitGS-Loc 은 훈련 없는 방법들 중 가장 좋은 중앙값 이동 및 회전 오차를 달성합니다. 예를 들어, Cambridge Landmarks 데이터셋에서 평균 오차 **8.7 cm / 0.15°**를 기록하여 STDLoc(11.1 cm / 0.19°) 및 기타 GSFF 기반 방법들을 능가했습니다.
• 안정성: PnP 수렴 분석은 SplitGS-Loc 이 "다대일" 입력의 수를 크게 줄이고 (한 테스트 사례에서 313 개에서 199 개로) 유효한 인라이어 수를 증가시킴을 보여줍니다. 이는 다른 방법들이 정확도 저하를 겪는 효율적인 RANSAC 설정 (적은 반복 횟수) 에서도 안정적인 수렴과 견고성을 이끕니다.
• 확장성: 맵 크기가 증가함에 따라 성능이 포화되는 방법들과 달리, SplitGS-Loc 은 맵 크기가 증가함에 따라 지속적인 정확도 개선을 보여 분할 전략이 더 세밀한 세부 정보를 제공하는 데 효과적임을 입증합니다.
• 애블레이션 연구: 실험은 다음을 확인합니다:
  • 가중치 임계값 ($\tau$) 은 특징 흐림과 공간적 커버리지 사이의 균형을 맞춥니다.
  • 분할 인자 ($\beta$) 는 자식 가우시안의 분리를 증가시킴으로써 실현 가능한 범위 내에서 정확도를 단조롭게 향상시킵니다.
  • 가우시안 속성 (합성 가중치, 부피 분할) 을 기하학적 대안으로 대체하면 성능이 크게 저하되어 GS 속성 활용의 중요성을 강조합니다.

5. 중요성 및 주장

본 논문은 GSFF 를 포괄적인 3D 지도에서 "배포 가능"한 것으로 재정의하여 성능과 실용성 사이의 균형을 회복한다고 주장합니다. 주요 중요성은 다음과 같습니다:

• 장면별 훈련 제거: 이 프레임워크는 사전 훈련된 RGB 3DGS 와 훈련 뷰로부터 특징 필드를 직접 분 단위로 구축하여 기존 GSFF 방법이 요구하는 수 시간의 다단계 최적화가 필요하지 않습니다.
• 직접적인 2D-3D 매칭: 다대일 모호성을 해결함으로써, 이 방법은 쿼리 측 검출이나 조밀한 2D-2D 정제에 의존하지 않고 안정적인 PnP 기반 포즈 추정을 가능하게 합니다.
• 실용성: 이 접근법은 이전 파이프라인보다 더 작고, 빠르며, 정밀한 실세계 비주얼 로컬라이제이션을 위한 간소화된 솔루션을 제공하여 신속한 배포가 필요한 응용 분야에서 GS 기반 표현을 실현 가능하게 만듭니다.

저자들은 겸손하게 이 프레임워크가 원래 광도 최적화된 가우시안의 품질에 의존한다고 지적합니다. 따라서 심한 조명 변화가 있거나 GS 가 수렴하지 않는 희소한 궤적이 있는 장면은 여전히 도전적입니다. 그러나 그들은 이 작업을 효율적이고 정확한 비주얼 로컬라이제이션을 위해 신경 장면 표현을 실용화하는 중요한 단계로 위치시킵니다.