기술 요약: 구면 보로노이

문제 정의

라디언스 필드 방법, 특히 3D 가우스 스플래팅 (3DGS) 은 새로운 뷰 합성에서 놀라운 성과를 거두었습니다. 그러나 뷰 종속 외관의 모델링은 종종 구면 조화 함수 (Spherical Harmonics, SH) 에 의존합니다. SH 는 전역 지지와 직교성으로 인해 계산 효율성이 높고 최적화가 용이하지만, 근본적인 한계를 안고 있습니다:

1. 고주파수 실패: SH 는 과도하게 많은 계수가 필요하지 않으면 날카로운 정반사 하이라이트 (glints) 와 같은 고주파수 신호를 표현하는 데 어려움을 겪습니다.
2. 아티팩트: SH 로 불연속적이거나 날카로운 함수를 재구성하려는 시도는 깁스 링잉 (Gibbs ringing) 아티팩트를 초래합니다.
3. 정반사: SH 는 사실적인 광택 표면의 핵심 요소인 정반사를 근본적으로 포착하지 못합니다.

대안적인 명시적 표현인 구면 가우스 (SG) 와 구면 베타 (SB) 는 더 나은 국소화를 제공하며 불연속성을 모델링할 수 있습니다. 그러나 이들은 상당한 최적화 복잡성을 도입합니다. 그들의 컴팩트한 지지 (compact support) 는 불안정한 기울기, 초기값에 대한 민감성, 그리고 국소 최소값으로 수렴하는 경향을 초래하여 실제 적용 시 최적화가 어렵습니다.

방법론

저자들은 미분 가능한 보로노이 다이어그램에서 영감을 받은 구면 함수를 위한 새로운 명시적 표현인 구면 보로노이 (Spherical Voronoi, SV) 를 제안합니다. SV 는 부드러운 경계를 가진 학습 가능한 영역으로 방향 도메인을 분할하여 외관 모델링을 위한 통합 프레임워크를 제공합니다.

1. 구면 보로노이 표현

전역 기저 (SH) 나 겹치는 커널 (SG/SB) 과 달리, SV 는 구面上的 함수 $f(\omega)$ 를 $K$ 개의 방향 사이트 $s_k$ 와 연관된 값들의 가중 합으로 모델링합니다:
$$f_{SV}(\omega) = \sum_{k=1}^{K} w_k(\omega; \tau_k) c_k$$
가중치 $w_k$ 는 소프트맥스 함수를 통해 계산됩니다:
$$w_k(\omega; \tau) = \frac{\exp(\tau_k s_k \cdot \omega)}{\sum_{k'} \exp(\tau_{k'} s_{k'} \cdot \omega)}$$

• 매개변수: 각 사이트는 방향 $s_k$, 값 $c_k$, 그리고 온도 매개변수 $\tau_k$ 를 가집니다.
• 적응성: 온도 $\tau$ 는 분할의 선명도를 제어합니다. 낮은 $\tau$ 는 부드러운 전이를 생성하는 반면, 높은 $\tau$ 는 하드 보로노이 테셀레이션에 근접합니다. 이를 통해 SV 는 부드러운 확산 조명과 날카로운 정반사 로브를 모두 표현할 수 있습니다.
• 최적화 안정성: 소프트맥스 공식은 모든 사이트에 대해 잘 정의된 기울기를 보장하여, 로브가 정렬되지 않았을 때 SG 와 SB 에서 발생하는 "경쟁" 및 불량 조건 업데이트를 방지합니다.

2. 라디언스 필드에의 적용

저자들은 SV 를 두 가지 명확한 설정에 적용합니다:

A. 뷰 방향 파라미터화 (확산 외관)
표준 라디언스 필드 파이프라인에서 SV 는 뷰 방향 표현 (일반적으로 SH) 을 대체합니다. 각 가우스 프리미티브는 학습 가능한 SV 사이트와 값을 갖습니다. 이는 저차수 SH 보다 표현력이 풍부한 뷰 종속 색상을 제공하여, 신경 디코더 없이도 확산 및 중간 광택 표면의 재구성 품질을 향상시킵니다.

B. 반사 기반 파라미터화 (정반사 외관)
반사 모델링에서 SH 의 실패를 해결하기 위해, 저자들은 학습 가능한 라이트 프로브를 사용하여 공간적으로 변하는 반사를 처리하도록 SV 를 확장합니다.

• 디퍼드 렌더링 파이프라인: 2DGS 를 기반으로 하여 기하학과 조명을 분리합니다. 기하학 패스는 위치, 법선, 거칠기, 확산 색상을 위한 버퍼를 렌더링합니다.
• 라이트 프로브: 장면 전체에 걸쳐 공간적으로 분포된 프로브 세트가 학습됩니다. 각 프로브는 반사 뷰 방향 $\omega_r$ 에서 쿼리되는 명시적 SV 함수로 지역 반사 필드를 인코딩합니다.
• 공간 보간: 표면 점에 대해 모델은 $k$-nearest 프로브를 쿼리하고 역거리 기반 SV 기여도를 보간합니다.
• 거칠기 제어: 표면 거칠기 $R$ 은 SV 온도 $\tau$ 를 조절합니다 ($\tau = (1-R)\tau_{max} + R\tau_{min}$). 낮은 거칠기 (광택 표면) 는 높은 $\tau$(날카로운 반사) 를 초래하는 반면, 높은 거칠기 (확산 표면) 는 낮은 $\tau$(넓은 로브) 를 초래합니다.
• 원거리 대 근거리: 최종 정반사 색상은 학습 가능한 원거리 큐브맵 (원거리 조명) 과 근거리 프로브 보간 (국소 상호 반사) 의 혼합입니다.

3. 가속화

픽셀당 수천 개의 SV 사이트를 평가하는 계산 비용을 완화하기 위해, 저자들은 큐브맵 기반 분할 방식을 도입합니다. 구는 저해상도 큐브맵으로 이산화되며, 각 텍셀은 작은 후보 사이트 집합이 미리 할당됩니다. 런타임 시 소프트맥스는 이 지역 후보 집합에 대해서만 계산되어 복잡성을 $O(K)$ 에서 $O(|S(t)|)$ 로 줄입니다.

주요 기여

1. 구면 보로노이 표현: 미분 가능한 소프트 보로노이 분할에 기반한 구면 함수를 위한 새로운 명시적 표현입니다. 이는 SH 의 대역 제한과 SG/SB 의 최적화 불안정성을 극복합니다.
2. 방향성 라디언스 모델링: 가우스 스플래팅에서 뷰 종속 라디언스에 SV 를 적용하여, 여러 벤치마크에서 표준 구면 기저보다 일관되게 향상된 재구성 품질을 입증했습니다.
3. 반사 모델링: 보로노이 라이트 프로브를 사용한 공간적으로 변하는 반사를 위한 완전히 명시적이고 미분 가능한 공식입니다. 이는 암시적 신경 디코더에 의존하지 않고 반사 벤치마크에서 최첨단 결과를 달성합니다.

실험 결과

이 논문은 합성 및 실제 데이터셋 모두에서 SV 를 평가합니다:

• 라디언스 모델링 (뷰 방향): Mip-NeRF 360, NeRF-Synthetic, DeepBlending, Tanks&Temples 를 포함한 벤치마크에서 SV 는 PSNR, SSIM, LPIPS 측면에서 SH, SG, SB, 그리고 강력한 신경 베이스라인인 Zip-NeRF 보다 일관되게 우수한 성능을 보입니다.
• 반사 모델링: 반사 데이터셋 (Ref-NeRF, GlossySynthetic, Ref-Real) 에서 SV 기반 방법은 최첨단 성능을 달성합니다. 이는 Ref-NeRF 와 GlossySynthetic 에서 근거리 반사를 위해 MLP 디코더를 사용하는 Ref-GS 를 능가하며, Ref-Real 에서는 경쟁력 있는 성능을 유지합니다.
• 애블레이션 연구:
  • 매개변수 수가 고정되었을 때, SV 는 SG, SB, 큐브맵 기반 프로브보다 일관되게 높은 재구성 정확도를 제공합니다.
  • 이 방법은 실시간 렌더링 속도 (표준 3DGS 의 0.45 배) 를 유지하며, Ref-GS 와 같은 다른 반사 모델링 방법보다 빠릅니다.
  • 학습 시간은 경쟁력 있습니다 (3DGS 의 2.43 배) 이는 GaussianShader 와 같은 무거운 공식보다 현저히 낮습니다.

의의

이 논문은 신중하게 설계된 명시적 표현이 신경 외관 모델에 대한 강력하고 효율적인 대안이 될 수 있다고 주장합니다. 구면의 적응적 분해와 구면 보로노이의 안정적인 최적화 행동을 활용함으로써, 이 방법은 해석 가능성과 실용적인 렌더링 성능을 유지하면서 고품질 뷰 종속 효과와 정반사를 가능하게 합니다. 이 연구는 광도 정확도의 정체와 복잡한 광택 표면 재현의 불가능성을 극복하기 위해 라디언스 필드의 방향성 구성 요소를 모델링하는 방식의 근본적인 변화가 필요함을 보여줍니다.