Learning Stable Canonical Worlds for Novel View Synthesis and Beyond

기술 요약: 새로운 시점 합성 및 그 너머를 위한 안정적인 정준 세계(Canonical Worlds) 학습

문제 정의

현재의 피드포워드 가우시안 스플래팅(Feed-Forward Gaussian Splatting, FFGS) 방식은 실시간 새로운 시점 합성을 가능하게 하지만, "렌더링 우선(rendering-first)" 편향 문제를 겪고 있습니다. 이러한 접근 방식은 일반적으로 타겟 뷰를 합성하기 위해 다중 뷰 증거를 최적화하며, 이로 인해 뷰 의존적인 예측이 발생하는 경우가 많습니다. 입력 뷰의 수가 증가함에 따라, 이러한 방식들은 안정적이고 공유된 장면 표현으로 수렴하기보다는 노이즈가 섞이거나 중복되거나 상충하는 증거를 축적하는 경향이 있습니다. 결과적으로, 추가적인 뷰가 장면 모델을 정교하게 만드는 대신 성능을 저하시키거나 아티팩트(예: 고스팅 현상, 불일치하는 기하 구조)를 유발할 수 있습니다. 본 논문은 기존 방식들이 마(Marr)의 시각 이론에 뿌리를 둔 개념인 '정준화(canonization)'—즉, 어수선하고 뷰 중심적인 관측치를 일관된 장면 중심의 내부 모델로 변환하는 과정—를 수행하는 데 실패한다고 주장합니다.

방법론: CanonicalGS

저자들은 다중 뷰 관측치를 3D 가우시안을 디코딩하기 전의 안정적인 장면 중심 잠재 세계(latent world)로 매핑하도록 설계된 피드포워드 파이프라인인 CanonicalGS를 제안합니다. 이 방법은 2D → 2.5D → 3D 파이프라인을 따릅니다.

1. 뷰 중심 증거 형성 (View-Centric Evidence Formation)

각 입력 뷰에 대해, 시스템은 독립적으로 조밀한 시각적 특징, 깊이(depth), 그리고 불확실성 추정치를 추출합니다:

• 특징 추출 (Feature Extraction): 사전 학습된 DINO-v2 백본이 패치 레벨 특징을 추출하며, 이는 이미지 해상도로 업샘플링되어 조밀한 특징 맵($F_{view}$)을 형성합니다.
• 불확실성을 고려한 깊이 추정 (Uncertainty-Aware Depth Estimation): 플레인 스윕 스테레오(plane-sweep stereo)에서 영감을 얻은 코스트 볼륨(cost-volume) 깊이 모듈을 사용하여, 모델은 이산적인 깊이 확률 볼륨을 계산합니다. 이를 통해 깊이 맵($D$)과 깊이 가설의 분산으로부터 유도된 위치 불확실성 맵($U_{pos}$)을 생성합니다.
• 외관 불확실성 (Appearance Uncertainty): 추가적인 외관 불확실성 맵($U_{app}$)이 MLP를 통해 시맨틱 특징으로부터 예측됩니다.
• 신뢰도 맵 (Reliability Map): 이러한 불확실성 소스들은 결합되어 퍼 픽셀 신뢰도 맵($R_{view}$)을 생성하며, 높은 신뢰도는 기하학적 지지와 시각적 확실성을 나타냅니다.

2. 장면 중심 증거 집계 (Scene-Centric Evidence Aggregation)

핵심 혁신은 증거를 이미지 공간이나 가우시안 디코딩 후에 집계하는 것이 아니라, 공유된 3D 복셀 격자($\mathcal{V}$) 내에서 집계한다는 점에 있습니다:

• 래스터화 (Rasterization): 모든 뷰로부터 리프트된(lifted) 3D 포인트들은 고정된 복셀 그리드 상에 래스터화됩니다.
• 신뢰도 기반 집계 (Reliability-Guided Aggregation): 각 복셀 내에서 시스템은 "지역 대표값"(가장 높은 신뢰도를 가진 관측치)을 식별합니다. 다른 관측치들은 해당 대표값과의 신뢰도 및 특징 일치도에 따라 가중치가 부여됩니다.
  • 신뢰도가 높고 지역 대표값과 일치하는 관측치는 강력하게 기여합니다.
  • 불확별하거나 일치하지 않는 관측치는 억제됩니다.
• 출력 필드 (Output Fields): 이 과정은 두 가지 장면 중심 필드를 생성합니다:
  • $R_{scene}$: 누적된 지지력을 기록하는 신뢰도 필드입니다.
  • $F_{scene}$: 신뢰도 가중치가 적용된 장면 디스크립터를 저장하는 특징 필드입니다.

3. GP 디코딩 (GP Decoding)

디코더는 잠재 장면 필드($F_{scene}, R_{scene}$)를 렌더링 가능한 3D 가우시안 세트($G$)로 매핑합니다:

• 불투명도 제어 (Opacity Control): 각 가우시안의 불투명도($\alpha$)는 누적된 장면 신뢰도($R_{scene}$)로부터 비감소 함수(non-decreasing function)를 통해 유도됩니다. 이는 더 많은 신뢰할 수 있는 증거가 축적됨에 따라 불투명도가 변동하는 대신 증가하거나 포화되도록 보장합니다.
• 기하 구조 및 외관 (Geometry and Appearance): 나머지 속성들(위치 오프셋, 공분산, 구면 조화 함수)은 특징 필드($F_{scene}$)로부터 디코딩됩니다. 위치는 대표 리프트 포인트에 앵커링되며 학습된 오프셋에 의해 정교화됩니다.

주요 기여

1. 정준화 지향적 FFGS (Canonization-Oriented FFGS): 본 논문은 FFGS를 렌더링 파이프라인에서 표현 학습 알고리즘으로 재정의합니다. 이는 증거 통합(장면 공간에서의)과 프리미티브 예측(가우시안 디코딩)을 명시적으로 분리합니다.
2. 불확실성 인지 융합 (Uncertainty-Aware Fusion): 모든 뷰를 동일하게 취급하거나 디코딩 후에 병합하는 기존의 집계 방식과 달리, CanonicalGS는 집계 전에 증거의 가중치를 부여하기 위해 불확실성을 일급 신호(first-class signal)로 사용하여 노이즈와 중복을 억제합니다.
3. 안정적인 장면 표현 (Stable Scene Representation): 누적된 신뢰도에 기반한 비감소 불투명도 제약을 강제함으로써, 추가적인 뷰가 장면 표현을 정교화할 뿐 불안정하게 만들지 않음을 보장합니다.
4. 다운스트림 전이 가능성 (Downstream Transferability): 이 아키텍처는 보조 인지 헤드 없이도 시맨틱 세그멘테이션과 같은 다운스트림 작업에 적합한 특징을 자연스럽게 생성합니다. 이는 장면 표현이 통합되고 신뢰할 수 있는 증거를 기반으로 구축되었기 때문입니다.

실험 결과

저자들은 RealEstate10K (RE10K) 및 DL3DV 데이터셋에서 CanonicalGS를 평가하여 최첨단 FFGS 방식들(MVSplat, DepthSplat, FreeSplat, ZPressor) 및 가우시안 공간 병합 변형 모델들과 비교했습니다.

• 새로운 시점 합성 (Novel View Synthesis): CanonicalGS는 PSNR, SSIM, LPIPS 측면에서 상당한 개선을 달enc성합니다. 특히, 베이스라인 모델들이 입력 뷰가 증가함에 따라(2개에서 8개 뷰) 성능이 저하되거나 정체되는 것과 달리, CanonicalGS는 일관된 개선을 보여 RE10K에서 최대 2.5 dB의 PSNR 이득을 달성했습니다.
• 표현 안정성 (Representation Stability): 정성적 및 정량적 분석 결과, CanonicalGS의 특징은 더 많은 입력이 추가됨에 따라 참조 모델(12-view)을 향해 수렴하며 더욱 안정화되는 반면, 베이스라인들은 뷰 세트 변화에 민감함을 보였습니다.
• 다운스트림 인지 (Downstream Perception): 선형 프로브(linear probe)를 통한 시맨틱 세그멘테이션 사용 시, CanonicalGS는 베이스라인 대비 11%의 정확도 향상을 보여주었으며, 이는 학습된 잠재 세계가 시맨틱 구조를 더 잘 보존함을 입증합니다.
• 강건성 (Robustness): 깊이 추정치에 가우시안 노이즈 섭동을 가했을 때, CanonicalGS는 깊이 조건부 베이스라인들에 비해 더 적은 성능 저하를 보이며 더 높은 PSNR과 SSIM을 유지하여, 신뢰도 기반 집계의 효과를 검증했습니다.

의의 및 주장

본 논문은 CanonicalGS가 고전적 시각 이론(마의 계층 구조)과 현대적 3D 가우시안 표현 사이의 가교 역할을 성공적으로 수행했다고 주장합니다. 이 논문의 주요 의의는 추가적인 뷰가 공유된 장면 표현을 강화해야지, 뷰 의존적인 혼란을 유발해서는 안 된다는 점을 입증한 데 있습니다.

저자들은 CanonicalGS를 단순한 렌더링 도구가 아닌, 다음과 같은 기능을 가능하게 하는 표현 학습 알고리즘으로 포지셔닝합니다:

• 확장성 (Scalability): 렌더링 우선 방식과 달리 입력 뷰가 많아질수록 성능이 향상됩니다.
• 강건성 (Robustness): 불확실성 인지 융합 덕분에 노이즈가 있는 깊이 추정치와 폐색(occlusion)에 덜 민감합니다.
• 일반화 (Generalization): 안정적인 장면 중심 특징은 시맨틱 세그멘테이션과 같은 다운스트림 시각 인지 작업에 효과적으로 전이됩니다.

논문은 기하학적 입력(카메라 포즈 및 깊이 추정치)의 품질에 대한 의존성과 고정된 복셀 격자 구조와 같은 한계를 인정하며 겸허히 마무리합니다. 저자들은 향에 대한 과제로 공동 정준화(깊이와 포즈를 함께 정교화하는 것) 및 더 풍부한 불확실성 모델링을 제안하면서도, 핵심 기여는 공유된 장면 공간에서의 증거 통합으로의 전환임을 강조합니다.