Semantic-guided Gaussian Splatting for High-Fidelity Underwater Scene Reconstruction

1. 연구 배경 및 문제 정의 (Problem)

수중 환경에서의 3D 재구성은 산란 (scattering), 감쇠 (attenuation), 그리고 희소한 관측 (sparse observations) 으로 인해 발생하는 공간적으로 불균일한 가시성 문제로 인해 매우 어렵습니다.

• 기존 방법의 한계: 기존의 3D 가우스 스플래팅 (3DGS) 및 신경 렌더링 (NeRF) 기반 방법들은 주로 광학적 신호 (photometric signals) 만을 기반으로 primitives(기본 요소) 를 최적화합니다.
• 불균형한 표현: 이러한 접근 방식은 잘 관측된 영역에서는 과적합 (overfitting) 이 발생하고, 수중의 열악한 조건 (흐림, 색상 왜곡 등) 으로 인해 정보가 부족한 영역에서는 재구성이 불충분해지는 불균형을 초래합니다.
• 기하학적 일관성 부재: 단순한 광학 손실만으로는 수중에서 발생하는 아티팩트 (예: 백산란) 와 실제 기하 구조를 구분하기 어려워, 중요한 물체의 경계가 흐릿하거나 기하학적 일관성이 떨어지는 재구성이 발생합니다.

2. 제안 방법론: SWAGSplatting

저자들은 **SWAGSplatting (Semantic-guided Water-scene Augmented Gaussian Splatting)**이라는 멀티모달 프레임워크를 제안합니다. 이는 3DGS 에 의미론적 (semantic) 사전 지식을 통합하여 강인하고 고충실도의 수중 재구성을 달성합니다.

핵심 구성 요소

1. 의미론적 가우스 증강 (Semantic-guided Gaussians):

   • 각 가우스 primitive 에 학습 가능한 의미론적 특징 벡터 (learnable semantic feature) 를 추가합니다.
   • CLIP 기반 임베딩: BLIP3-o 와 Grounded-SAM 을 사용하여 장면의 텍스트 설명을 생성하고, 이를 통해 관심 영역 (ROI) 을 식별한 후 CLIP 임베딩을 추출합니다.
   • 의미론적 일관성 손실 ($L_s$): 가우스 primitive 가 속한 의미 영역 (예: 산호초, 난파선) 의 CLIP 임베딩과 가우스의 의미 특징을 정렬하도록 하는 보조 정규화 항을 도입합니다. 이는 기하학적 매개변수를 직접 수정하지 않으면서 구조적 일관성을 높이고, 불필요한 배경 (부유 입자 등) 에 대한 밀도 할당을 억제합니다.

2. 적응형 가우스 원시 재할당 (Adaptive Gaussian Primitives Reallocation):

   • 기존 3DGS 의 그라디언트 기반 밀도화 (densification) 는 잘 관측된 영역에 불필요한 가우스를 과도하게 생성하는 문제를 해결하기 위해 고안되었습니다.
   • 중요도 점수 ($\tilde{S}_i$) 와 오차 점수 ($\tilde{E}_i$): 각 가우스의 렌더링 기여도 (중요도) 와 재구성 손실 기여도 (오차) 를 계산합니다.
   • 재할당 전략: 기여도가 낮은 가우스 (하위 10%) 를 제거하고, 그 할당량을 재구성 오차가 높은 영역 (상위 10%) 에 있는 가우스를 복제 (cloning) 하여 재분배합니다. 이를 통해 고정된 primitives 수 내에서 표현 능력을 최적화하고 저가시성 영역의 재구성을 개선합니다.

3. 단계별 최적화 전략 (Stage-wise Optimization):

   • 1 단계 (재구성 단계): 전역 기하 구조와 외관을 함께 최적화합니다. $L_1$ 손실과 SSIM 을 주력으로 사용하여 노이즈에 강인한 구조를 학습합니다.
   • 2 단계 (정제 단계): 기하 및 의미 매개변수를 고정하고, 외관 (색상, 디테일) 만을 최적화합니다. $L_2$ 손실을 강조하여 미세한 디테일과 색상 일관성을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 의미론적 3DGS 프레임워크: 가우스 primitive 에 CLIP 기반의 의미 특징을 통합하여, 객체 인식과 의미론적 일관성을 갖춘 수중 3D 재구성을 가능하게 함.
2. 의미론적 손실 함수: 의미와 기하 표현 간의 정렬을 강제하여 열악한 조건에서도 구조적 일관성과 중요한 물체 경계를 보존함.
3. 적응형 primitives 재할당: 재구성 난이도에 따라 primitives 를 동적으로 재분배하여 표현 효율성을 높이고, 불균형한 가우스 분포를 해결함.
4. 단계별 최적화: 전역 구조 학습과 정밀한 외관 정제를 분리하여 훈련 안정성과 시각적 품질을 동시에 향상시킴.

4. 실험 결과 (Results)

저자들은 SeaThru-NeRF, Submerged3D, S-UW 세 가지 실제 수중 데이터셋을 사용하여 제안된 방법을 기존 SOTA(Instant-NGP, SeaThru-NeRF, 3DGS, WaterSplatting, UW-GS, RUSplatting 등) 와 비교 평가했습니다.

• 정량적 성능: 평균 PSNR, SSIM, LPIPS 모든 지표에서 기존 방법들을 능가했습니다. 특히 Submerged3D(희소 뷰 및 열악한 조건) 에서 기존 최상위 방법 (UW-GS) 대비 평균 PSNR 1.80 dB 향상을 기록했습니다. SeaThru-NeRF 에서는 평균 PSNR 0.67 dB 향상, SSIM 1.05% 증가, LPIPS 5.70% 감소를 달성했습니다.
• 정성적 성능: 기존 방법들이 재구성하지 못했던 산호의 미세한 구조나 난파선의 기하학적 디테일을 선명하게 복원했으며, 배경의 일관성을 유지하고 아티팩트를 효과적으로 제거했습니다.
• Ablation Study: 의미론적 가이드 (Semantic-guided), 단계별 최적화 (Stage-wise), 적응형 재할당 (Adaptive Reallocation) 중 어떤 요소를 제거하더라도 성능이 저하됨을 확인하여, 각 구성 요소가 상호 보완적으로 작용함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 수중 환경과 같은 열악한 조건에서 3D 재구성의 한계를 극복하기 위해 시각 - 언어 모델 (CLIP) 의 의미론적 지식을 3D 가우스 스플래팅에 성공적으로 통합한 최초의 시도 중 하나입니다.

• 기술적 혁신: 단순한 이미지 복원이나 물리 모델링을 넘어, 고수준의 의미 정보를 통해 기하학적 구조의 일관성을 유지하는 새로운 패러다임을 제시했습니다.
• 실용성: 로봇 공학, 해양 생태학, 고고학 등 수중 탐사 분야에서 고충실도 3D 맵핑이 필요한 응용 분야에 직접적으로 기여할 수 있습니다.
• 확장성: 제안된 프레임워크는 수중뿐만 아니라 다른 열악한 촬영 조건 (안개, 저조도 등) 에서의 3D 재구성에 대해서도 적용 가능한 잠재력을 가집니다.

결론적으로, SWAGSplatting 은 의미론적 가이드와 적응형 리소스 할당을 결합하여 기존 방법들이 직면한 수중 재구성의 불균형 및 아티팩트 문제를 해결하고, 현재까지 가장 높은 품질의 수중 3D 재구성을 달성한 방법론입니다.