기술 요약: SSA-3DGS

문제 정의

새로운 시점 합성(Novel View Synthesis, NVS) 방법들, 특히 3D 가우시안 스플래팅(3DGS)은 입력 이미지가 깨끗하고 다중 뷰 일관성(multi-view consistent)을 가진다는 가정에 의존한다. 그러나 실제 환경의 캡처 데이터에는 3D 세계가 아닌 2D 이미지 평면에 고정된 **스크린 공간 아티팩트(screen-space artifacts)**가 포함되는 경우가 많다. 대표적인 예로는 물리적 센서 결함, 환경적 장애물(렌즈 덮개의 진흙이나 비), 캡처 방해 요소(손가락, 대시보드), 그리고 디지털 오버레이(워터마크, UI 요소) 등이 있다.

이러한 아티팩트들은 카메라 센서에 대해 정적이기 때문에, 카메라가 장면을 이동함에 따라 세계 기하 구조(world geometry)에 대해 상대적으로 "움직이는" 것처럼 보인다. 다중 뷰 일관성을 가정하는 표준 3D 재구성 알고리즘은 이러한 아티팩트를 제거하지 못하고 실패하게 된다. 대신, 이들은 아티팩트를 3D 기하 구조에 "플로터(floaters, 카메라 근처의 3D 가우시안)"나 뷰 의존적 효과로 잘못 구워내어(bake), 새로운 시점 렌더링의 충실도를 심각하게 저하시킨다. 기존의 강건성 방법들(예: NeRF-W, RobustNeRF, DeSplat)은 주로 세계 공간의 일시적 현상(transients)이나 움직이는 객체를 대상으로 하며, 정적인 스크린 공간 노이즈와 장면 기하 구조를 구분하는 데 어려움을 겪는다. 또한, 단일 이미지 복원 기술은 3D 구조적 지식이 부족하여, 전처리 단계로 적용될 경우 시간적 깜빡임(temporal flickering)과 기하학적 불일치를 초래한다.

방법론: SSA-3DGS

저자들은 3D 장면 표현과 학습 가능한 2D 오버레이를 공동 최적화하여 스크린 공간 아티팩트를 밑바탕의 기하 구조로부터 분리해내는 비지도 학습 프레임워크인 SSA-3DGS를 제안한다.

핵심 공식

이 방법은 모든 훈련 뷰(view)에 걸쳐 공유되는 학습 가능한 2D 오버레이를 도입함으로써 표준 3DGS 파이프라인을 확장한다. 최종 예측 픽셀 색상 $\hat{C}(u)$는 깨끗한 3D 장면 렌더링 $\hat{C}_{3D}(u)$와 아티팩트 오버레이 사이의 알파 블렌딩으로 모델링된다:
$$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$$
여기서:

• $W \in \mathbb{R}^{H \times W \times 3}$는 학습 가능한 **아티팩트 색상 맵(Artifact Color Map)**이다.
• $A \in \mathbb{R}^{H \times W \times 1}$는 학습 가능한 **아티팩트 알파 매트(Artifact Alpha Matte)**이다.
• $W$와 $A$는 픽셀 좌표계로 정의되며, 각 뷰마다 다르게 투영되는 3D 가우시안과 달리 모든 카메라 포즈에 대해 일정하게 유지된다.

최적화 및 정규화

이 분해 과정은 제약 조건이 부족하다. 정규화가 없다면, 모델은 3D 장면이 균일한 오버레이에 의해 너무 밝아지거나 어두워지는 해, 또는 유효한 장면 디테일이 오버레이에 흡수되는 퇴화된 솔루션으로 빠질 수 있다. 이를 방지하기 위해 저자들은 다음과 같은 복합 손실 함수를 도입한다:
$$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$$

1. 광도 손실 ($\mathcal{L}_{rgb}$): 합성된 예측값과 실제 값(ground truth) 사이의 표준 L1 및 SSIM 손실이다.
2. 희소성 정규화 ($\mathcal{L}_{sparse}$): 알파 매트 $A$가 가능한 한 0이 되도록 유도한다. 이는 최적화 과정이 오버레이를 사용하는 대신 3D 기하 구조를 통해 픽셀을 설명하도록 편향을 주며, "노출 붕괴(exposure collapse)"라는 퇴화된 솔루션을 방지한다.
3. 전변동 손실 ($\mathcal{L}_{TV}$): 오버레이가 구간별로 매끄러운(piecewise-smooth) 영역으로 구성되도록 유도한다. 이는 고주파 노이즈 흡수를 억제하고 공간적 일관성을 강제하며, 많은 실제 아티팩트(예: 워터마크, 진흙 얼룩)의 특성을 반영한다.

초기화

오버레이를 상수로 초기화하는 대신, 이 방법은 훈련 세트의 픽셀별 통계량을 사용하여 $W$와 $A$의 시드(seed)를 설정한다. 뷰 전반에 걸쳐 안정적인 강도(intensity)를 보이는 픽셀(아티팩트일 가능성이 높음)은 거의 불투명한 상태로 시작하며, 높은 다중 뷰 변화를 보이는 픽셀(장면 내용일 가능성이 높음)은 거의 투명한 상태로 시작한다.

주요 기여

1. 비지도 분리(Unsupervised Disentanglement): 정답 마스크나 수동 감독 없이도 오염된 다중 뷰 녹화본으로부터 깨끗한 3DGS 장면을 복구하고 스크린 공간 아티팩트를 동시에 분할하는 방법론을 제시한다.
2. 정규화 체계: 희소성과 전변동 제약의 새로운 조합을 통해 최적화가 3D 기하학적 설명을 따르도록 유도함으로써, 아티팩트 레이어가 오직 실제 스크린 공간 노이즈만을 포착하도록 보장한다.
3. 실제 세계 데이터셋: 물리적으로 유발된 실제 아티팩트(렌즈 하우징의 진흙, 리그 가림 등)를 포함하는 자체 캡처 실세계 데이터셋을 도입하여, 합성된 컴포지트 이상의 벤치마크를 제공한다.

결과

저자들은 Mip-NeRF 360 데이터셋(합성 아티팩트 포함)과 자체 캡처한 실세계 데이터셋에서 SSA-3DGS를 평가하였다.

• 정량적 성능: 합성 벤치마크에서 SSA-3DGS는 동일하게 오염된 입력값으로 훈련된 vanilla 3DGS에 비해 최대 9 dB PSNR의 재구성 충실도를 개선했다. 또한, 이 방법은 3DGS 및 최첨단 distractor-robust 방법인 DeSplat을 일관되게 능가했다.
  • MCMC 밀집화(densification)를 적용했을 때, SSA-3DGS는 오염된 입력에서 28.43 dB의 평균 PSNR을 달성하여 깨끗한 데이터로 훈련된 3DGS(29.57 dB)의 성능에 근접했다.
  • 실세계 "진흙(Mud)" 장면에서, 이 방법은 가장 강력한 베이스라인인 DeSplat보다 PSNR을 3.0 dB 향상시켰다.
• 정성적 성능: 시각적 결과는 SSA-3DGS가 아티팩트(워터마크, 대시보드, 진흙, UI 요소)를 성공적으로 제거하고 깨끗한 기하 구조를 복구함을 보여주는 반면, 베이스라인들은 종종 이러한 아티팩트를 반투명한 플로터로 장면에 구워내는 것을 보여준다. 또한 이 방법은 아티팩트 자체를 별도의 오버레이로 성공적으로 재구성한다.
• 절제 연구(Ablation): 연구는 희소성과 전변동 정규화가 모두 필요함을 확인한다. 이들을 제거하면 PSNR이 약 1.0 dB 하락하고 FLIP 점수가 저하되었으며, 모델이 아티팩트와 장면을 제대로 분리하지 못했다.

의의 및 주장

본 논문은 SSA-3DGS가 센서 평면의 장애물을 명시적으로 모델링함으로써, 제약이 없는 "인 더 와일드(in-the-wild)" 캡처로부터 신뢰할 수 있는 3D 재구성을 향한 실행 가능한 경로를 제공한다고 주장한다. 3D 기하학적 일관성을 깨뜨리는 일반적인 2D 디노이징을 전처리 단계로 사용하는 것과 달리, SSA-3DGS는 분리 로직을 3D 최적화 루프에 직접 통합함으로써 기하학적 일관성을 보존한다.

저자들은 이 방법이 다중 뷰 합의(consensus)에 의존하므로 충분히 조밀한 캡처가 필요하다고 언급한다. 또한, 아티팩트가 대략적으로만 정적인 경우(예: 뷰 의존적 반사가 있는 가림 객체)에는 정적 오버레이 모델에 의해 완전히 포착되지 않을 수 있다는 한계를 인정하지만, 그럼에도 불구하고 방법론이 우아하게 성능을 유지하며 이러한 시나리오에서도 베이스라인보다 뛰어난 성능을 보인다고 밝혔다. 이 연구는 센서 평면의 장애물을 명시적으로 모델링하는 것이 실제 응용 분야에서 강건한 NVS를 위한 중요한 단계임을 시사한다.