UniqueSplat: View-conditioned 3D Gaussian Splatting for Generalizable 3D Reconstruction

UniqueSplat 기술 요약: 일반화 가능한 3D 재구성을 위한 뷰 조건부 3D 가우시안 스플래팅(View-conditioned 3D Gaussian Splating)

문제 정의
신규 뷰 합성(Novel View Synthesis, NVS)은 컴퓨터 비전 분야의 근본적인 과제로, 가상 현실, 로보틱스, 자율 주행 등 다양한 응용 분야를 가지고 있습니다. 3D 가우시안 프리미티브(3D Gaussian primitives)로 장면을 표현하여 실시간 렌더링을 가능하게 하는 3D 가우시안 스플래팅(3DGS)이 등장했지만, 기존 방식들은 일반화 측면에서 상당한 한계에 직면해 있습니다. 전통적인 3DGS는 각 특정 장면마다 수백만 개의 파라미터를 최적화해야 하므로 계산 비용이 많이 들고 전이 가능성이 부족합니다.

pixelSplat 및 MVSplat과 같은 최근의 피드포워드(feed-forward) 방식은 희소한 입력 뷰로부터 단 한 번의 순전파(forward pass)를 통해 가우시안 파라미터를 예측함으로써 이 문제를 해결합니다. 그러나 이러한 방식들은 전체 장면에 대해 **고정된 가우시안(fixed Gaussians)**을 생성하며, 타겟 뷰포인트(target viewpoint)에 관계없이 작동합니다. 이들은 모든 뷰에 걸쳐 렌더링된 뷰와 정답(ground truth) 사이의 오차를 최소화하지만, 예측 과정 중에 특정 타겟 뷰의 정보를 반영하지 못합니다. 결과적으로, 이러한 고정된 표현 방식은 특정 뷰포인트에 적응하는 데 어려움을 겪으며, 특히 크로스 데이터셋 평가나 큰 베이스라인(large baseline) 시나리오에서 균열(cracks), 블러(blurs), 왜곡(distortions)과 같은 아티팩트를 발생시킵니다.

방법론: UniqueSplat
저자들은 각 특정 뷰 쿼리에 대해 맞춤형 3D 복사 휘도장(radiance fields)을 재구성하도록 설계된 뷰 조건부 피드포워드 3D 가우시안 스플래팅 모델인 UniqueSplat을 제안합니다. UniqueSplat은 장면에 대해 정적인 가우시안 세트를 예측하는 대신, 타겟 뷰포인트에 따라 가우시안 파라미터를 동적으로 조정합니다.

핵로 핵심 혁신은 기본 네트워크의 예측 레이어에 뷰 의존적 사전 정보(view-dependent priors)를 주입하는 **이중 브랜치 뷰 조건부 하이퍼네트워크(dual-branch view-conditioned hypernetwork)**입니다. 아키텍처는 다음과 같이 구성됩니다:

1. 기본 네트워크(Primary Network): 인코더($E_p$)와 예측기(predictor)로 구성됩니다. 인코더는 희소한 입력 이미지를 처리하여 특징 볼륨(feature volumes)을 생성합니다. 예측기는 3D 가우시안 프리미티브의 파라미터(중심 $\mu$, 공분산 $\Sigma$, 불투명도 $\alpha$, 색상 $c$)를 추정합니다.
2. 뷰 조건부 하이퍼네트워크(View-Conditioned Hypernetwork): 이 구성 요소는 예측기의 합성곱 레이어(convolutional layers)를 위한 가중치를 동적으로 생성합니다. 이는 두 개의 상호 보완적인 브랜치로 나뉩니다:
   • 뷰 비의존 브랜치(View-Agnostic Branch): 다양한 뷰에 걸쳐 공유 가능한 일반화된 장면 특성을 포착하기 위해 학습 가능한 임베딩($e_a$)을 활용합니다. 하이퍼네트워크($H_a$)는 이러한 임베딩을 가중치($W_a$)로 매핑하여, 특정 뷰포인트와 독립적인 안정적인 장면 이해의 토대를 제공합니다.
   • 뷰 특정 브랜치(View-Specific Branch): 타겟 뷰에 고유한 정보를 포착하도록 설계되었습니다. 백본 인코더($E_H$)를 사용하여 입력 뷰에서 특징을 추출하고, 이를 에피폴라 기하학(epipolar geometry)과 투영 행렬($P_t$)을 사용하여 타겟 뷰로 투영한 뒤, 이를 뷰 특정 임베딩($e_s$)으로 융합합니다. 두 번째 하이퍼네트워크($H_s$)는 이 임베딩을 기반으로 조정 가중치($\Delta W$)를 생성합니다.
3. 가중치 융합(Weight Fusion): 예측기를 위한 최종 가중치는 뷰 비의존 가중치($W_a$)와 뷰 특정 조정값($\Delta W$)을 융합하여 계산됩니다. 이를 통해 모델은 공유된 장면 지식을 활용하는 동시에, 타겟 뷰에 필요한 특정 기하 구조와 외관에 동적으로 적응할 수 있습니다.

모델은 픽셀 수준의 정확도와 지각적 품질을 모두 보장하기 위해 평균 제곱 오차(MSE)와 학습된 지각적 이미지 패치 유사도(LPIPS) 손실을 결합하여 훈련됩니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

1. UniqueSplat 프레임워크: 기존의 최첨단 방식들이 사용하는 고정된 가우시안의 한계를 넘어, 각 뷰 쿼리에 대해 가우시안을 동적으로 커스터마이징하는 최초의 피드포워드 3D 가우시안 스플래팅 모델입니다.
2. 이중 브랜치 하이퍼네트워크: 장면 지식을 뷰 비의존(공유 가능) 및 뷰 특정(적응형) 구성 요소로 분리하는 새로운 아키텍처입니다. 입력 신호로부터 가중치를 생성하는 기존의 하이퍼네트워크 기반 NVS 방식과 달리, 이 접근 방식은 타겟 뷰를 하나의 조건(condition)으로 명시적으로 모델링합니다.
3. 최첨단 성능(State-of-the-Art Performance): 광범적인 실험을 통해 UniqueSplat이 표준 벤치마크(RealEstate10K, ACID, DTU)에서 우수한 정량적 및 정성적 결과를 달성하였으며, 크로스 데이터셋 평가에서도 뛰어난 일반화 능력을 보여주었습니다.

실험 결과
저자들은 RealEstate10K, ACID, DTU 데이터셋에서 pixelNeRF, GPNR, pixelSplat, MVSplat, TranSplat 등의 방법과 비교하여 UniqueSplat을 평가했습니다.

• 데이터셋 내 성능(Intra-Dataset Performance): RealEstate10K에서 UniqueSplat은 27.28 dB의 PSNR을 달성하여 MVSplat(26.39 dB)과 TranSplat(26.69 dB)을 능가했습니다. ACID에서는 29.06 dB에 도달하여 이전 최고 기록을 크게 앞질렀습니다.
• 크로스 데이터셋 일반화(Cross-Dataset Generalization): 제로샷(zero-shot) 설정(RealEstate10K에서 학습하고 ACID 및 DTU에서 테스트)에서 UniqueSplat은 강력한 일반화 능력을 입증했습니다. 예를 들어, DTU 데이터셋에서 16.01 dB의 PSNR을 달성하여 MVSplat(13.94 dB)과 pixelSplat(12.89 dB)을 크게 압도했습니다.
• 효율성(Efficiency): 하이퍼네트워크 추가로 인해 MVSplat에 비해 복잡성이 증가하지만, UniqueSplat은 여전히 효율적입니다. 38.1M 개의 파라미터와 A6000 GPU 기준 0.065초의 추론 시간을 필요로 하며, 이는 더 무거운 트랜스포머 기반 모델인 TransSplat과 비교했을 때 성능과 계산 비용 사이의 더 나은 절충안을 제공합니다.
• 정성적 개선(Qualitative Improvements): 시각적 비교 결과, UniqueSplat은 베이스라인 방법들과 비교했을 때 특히 큰 각도 변환 및 미보이지 않는 영역(unseen regions)에서 아티팩트(균열, 블러)가 적고 구조적 보존 능력이 뛰어난 고충실도 이미지를 생성함을 보여줍니다.

의의 및 한계
본 논문은 UniqueSplat이 고정된 가우시안 표현의 경직성 문제를 해결함으로써 일반화 가능한 3D 재구성에 있어 중요한 진전을 이루었다고 주장합니다. 뷰 조건부 정보를 사전 정보로 통합함으로써, 모델은 특정 뷰포인트에 성공적으로 적응하여 더욱 사실적이고 고품질의 신규 뷰 합성을 가능하게 합니다. 이중 브랜치 설계는 일반적인 장면 이해와 뷰 특정 적응 사이의 균형을 효과적으로 맞춥니다.

그러나 저자들은 한계점도 겸허히 인정합니다. 본 방법은 입력 뷰에 대해 픽셀 정렬된 가우시안을 예측하므로, 장면의 미보이지 않는 영역(예: 희소한 입력 뷰에서 보이지 않는 폐쇄된 영역)을 렌더링할 때 여전히 아티팩트가 발생할 수 있습니다. 저자들은 이러한 도전적인 영역을 더 잘 처리하기 위해 확산 모델(diffusion models)과 같은 생성 모델을 통합하는 것이 향후 연구 과제라고 제안합니다.