Cross-Instance Gaussian Splatting Registration via Geometry-Aware Feature-Guided Alignment

논문 요약: 기하학적 인식 특징 기반의 교차 인스턴스 가우시안 스플래팅 정렬 (GSA)

이 논문은 가우시안 스플래팅 정렬 (Gaussian Splatting Alignment, GSA) 이라는 새로운 방법을 제안합니다. GSA 는 서로 다른 3D 가우시안 스플래팅 (3DGS) 모델 간의 정렬을 수행하는 첫 번째 방법으로, 단순히 같은 객체의 복제본뿐만 아니라 동일 카테고리 내의 서로 다른 객체 (예: 서로 다른 두 대의 자동차) 간에도 정렬이 가능하도록 설계되었습니다.

1. 문제 정의 (Problem)

• 기존 한계: 기존 3DGS 정렬 방법 (예: GaussReg) 은 주로 동일한 객체의 두 모델을 정렬하는 데 국한되어 있으며, 초기화 (초기 위치/각도/크기) 에 매우 민감합니다. 또한, 서로 다른 객체 (Cross-instance) 간 정렬이나 스케일 (Scale) 이 다른 경우 성능이 급격히 저하되거나 실패합니다.
• 3DGS 의 특성: 3DGS 는 SfM(Structure-from-Motion) 기반이 아니므로 점 분포가 불균일하고, 스케일, 위치, 방향이 임의적일 수 있어 기존 점 구름 (Point Cloud) 정렬 알고리즘 (ICP 등) 을 직접 적용하기 어렵습니다.
• 목표: 회전 (Rotation), 이동 (Translation), 스케일 (Scale) 을 포함한 유사성 변환 (Similarity Transformation, Sim(3)) 을 추정하여 두 3DGS 모델을 기하학적으로 정렬하고 시각적 일관성을 확보하는 것입니다. 특히, 객체 간의 구조적 차이와 큰 스케일 차이 (최대 10 배), 180 도 회전 등 열악한 초기 조건에서도 작동해야 합니다.

2. 방법론 (Methodology)

GSA 는 크게 전처리, 특징 강화 3DGS 모델 구축, ** coarse (대략적) 정렬**, fine (정밀) 정렬의 두 단계로 구성됩니다.

A. 특징 강화 3DGS 모델 구축 (Feature-Augmented 3DGS)

• 기하학적 인식 특징 (Geometry-Aware Features): 기존 DINOv2 와 같은 2D 특징은 3D 공간에서의 기하학적 모호성 (예: 좌우 대칭) 을 해결하지 못합니다. 따라서 저자는 시점 가이드 구면 맵 특징 (Viewpoint-guided spherical map features) [Mariotti et al., 21] 을 사용합니다. 이는 2D 특징을 3D 공간으로 '리프팅 (Lifting)'하여 각 가우시안에 할당하며, 객체의 부분 (예: 날개, 엔진) 과 공간적 위치 (앞/뒤, 좌/우) 를 동시에 인식할 수 있게 합니다.
• 모델 학습: 3DGS 렌더링 시 색상뿐만 아니라 특징 맵 (Feature Map) 도 렌더링하여, RGB 손실과 특징 손실을 함께 최소화함으로써 기하학적 구조는 유지하면서 의미 있는 특징을 3D 모델에 주입합니다.

B. 2 단계 정렬 프레임워크

1. Coarse Registration (대략적 정렬):

   • 특징 기반 절대 방향 솔버 (Feature-guided Absolute Orientation Solver): 기존 ICP(Iterative Closest Point) 를 확장한 방식입니다.
   • 작동 원리: 각 가우시안의 공간적 근접성뿐만 아니라 특징 유사성을 기준으로 대응점 (Correspondences) 을 선별합니다.
   • 해결책: 이 대응점들을 사용하여 Horn 의 방법 (스케일 추정) 과 Kabsch-Umeyama 방법 (회전/이동 추정) 을 결합한 폐쇄형 해 (Closed-form solution) 를 반복적으로 적용합니다.
   • 효과: 180 도 회전이나 10 배 스케일 차이와 같은 극단적인 초기 오차에서도 수렴하며, 스케일을 자동으로 추정합니다.

2. Fine Registration (정밀 정렬):

   • 다중 뷰 특징 일관성 최적화 (Multi-view Feature-Consistency Optimization):
   • 역 방사장 (Inverse Radiance Field) 개념 확장: 기존 NeRF 의 역 렌더링 아이디어를 3DGS 의 '필드 간 정렬'로 일반화합니다.
   • 손실 함수: 두 모델의 렌더링된 특징 맵 간의 차이를 다중 뷰 (Multi-view) 에서 최소화하는 손실 함수를 정의합니다.
   • 최적화: 3DGS 모델은 고정된 채로, 두 모델 간의 변환 행렬 (Sim(3)) 만을 경사 하강법 (Gradient Descent) 으로 최적화하여 정밀한 정렬을 달성합니다.

3. 주요 기여 (Key Contributions)

1. 교차 인스턴스 정렬의 해결: 동일 객체가 아닌, 동일 카테고리 내 서로 다른 객체 (예: 다른 자동차 모델) 간의 3DGS 정렬을 성공적으로 수행하는 첫 번째 방법입니다.
2. 강건한 정렬 알고리즘:
   • 초기화 (180 도 회전, 큰 스케일 차이) 에 무관하게 수렴하는 반복적 특징 기반 절대 방향 솔버를 제안했습니다.
   • 역 방사장 (Inverse Radiance Field) formulation 을 3DGS 의 다중 뷰 특징 필드 정렬에 적용하여, 동일 객체 정렬에서는 거의 완벽한 정확도를 달성했습니다.
3. 새로운 응용 가능성: 정렬된 3DGS 모델을 기반으로 한 기하학적 일관성 있는 객체 교체 (Object Replacement) 및 동기화된 신규 뷰 합성 (Synchronized Novel View Synthesis) 을 가능하게 합니다.

4. 실험 결과 (Results)

• 동일 객체 정렬 (Same-object): 기존 방법 (GaussReg, FGR, REGTR 등) 보다 월등히 높은 정확도를 보였습니다. 특히, 다른 방법들이 실제 스케일을 입력으로 받아도 GSA 는 스케일을 추정하면서도 더 낮은 오차 (RRE: 0.36°, ATE: 0.001) 를 기록했습니다.
• 교차 인스턴스 정렬 (Cross-instance): ShapeNet 의 다양한 카테고리 (비행기, 버스, 보트, 자동차 등) 에서 GSA 는 기존 방법들이 완전히 실패하는 상황에서도 낮은 회전 오차 (RRE) 를 기록하며 유일한 유효한 솔루션을 제공했습니다.
• 실제 데이터 (In-the-wild): CO3Dv2 및 3D Real Car 데이터셋과 같은 실제 환경 데이터에서도 기존 3DGS 베이스라인보다 크게 우월한 성능을 입증했습니다.
• 스케일 추정: GSA 는 정답 스케일을 입력받지 않고도 0.21% (Coarse) ~ 0.08% (Fine) 의 매우 높은 정확도로 스케일을 추정했습니다.

5. 의의 및 결론 (Significance)

이 논문은 3DGS 기술의 적용 범위를 단순한 단일 객체 재구성을 넘어, 카테고리 수준의 3D 데이터 처리로 확장했습니다. GSA 를 통해 서로 다른 객체 간의 정렬이 가능해짐에 따라, 데이터셋 시각화, 의미론적 분석, 객체 교체, 장면 인페인팅 (Inpainting) 등 다양한 새로운 응용 분야가 열렸습니다. 특히, 기하학적 인식 특징을 3DGS 에 효과적으로 통합하고 이를 정렬에 활용한 점은 3D 비전 분야에서 중요한 진전으로 평가됩니다.

핵심 키워드: 3D Gaussian Splatting, Cross-Instance Registration, Similarity Transformation (Sim(3)), Geometry-Aware Features, Inverse Radiance Field, Object Replacement.