Universal Beta Splatting

이 논문은 3D 가우시안 스플래팅을 N 차원 이방성 베타 커널로 일반화하여 공간, 각도, 시간 차원의 복잡한 광원 효과를 보조 네트워크 없이 실시간으로 렌더링하고 해석 가능한 속성을 학습하는 통합 프레임워크인 '범용 베타 스플래팅 (Universal Beta Splatting)'을 제안합니다.

핵심

이 논문은 **'보편적 베타 스플래팅 (Universal Beta Splatting, UBS)'**이라는 새로운 기술을 소개합니다. 이 기술은 컴퓨터가 3D 장면을 실시간으로 매우 사실적으로 그려내는 (렌더링) 방식을 혁신합니다.

이해하기 쉽게 레고 블록과 점토에 비유해서 설명해 드릴게요.

1. 기존 기술의 문제점: "모든 레고 블록은 똑같은 둥근 공"

기존의 '3D 가우시안 스플래팅 (3DGS)' 기술은 장면을 그릴 때 수백만 개의 **둥근 공 (가우시안)**을 흩뿌려서 그림을 만듭니다.

• 한계: 이 공들은 모양이 고정되어 있습니다.
  • 매끄러운 벽을 그리려면 공이 너무 뭉툭해서 날카로운 모서리가 잘 나옵니다.
  • 거울이나 물처럼 빛이 반사되는 부분은 공이 둥글기 때문에 빛의 반사 각도를 정교하게 조절하기 어렵습니다.
  • 움직이는 물체를 그리려면 공들이 따로따로 움직여야 해서 계산이 복잡해지고 흐릿해집니다.
  • 마치 모든 모양의 사물을 둥근 공으로만 만들려고 애쓰는 것과 같습니다.

2. 새로운 기술 (UBS): "모양을 마음대로 바꿀 수 있는 '스마트 점토'"

이 논문이 제안한 UBS는 이 공들을 **마음대로 모양을 바꿀 수 있는 '스마트 점토'**로 바꿉니다. 이 점토를 **'베타 커널 (Beta Kernel)'**이라고 부릅니다.

이 점토의 가장 큰 특징은 세 가지 차원 (공간, 각도, 시간) 에서 모양을 각각 다르게 조절할 수 있다는 것입니다.

🌍 공간 (Space): "평평한 벽 vs 뾰족한 꽃잎"

• 평평한 벽을 그릴 때는 점토를 납작하게 눌러서 매끄럽게 만듭니다.
• 뾰족한 꽃잎이나 거친 질감을 그릴 때는 점토를 뾰족하게 세워서 디테일을 살립니다.
• 기존 기술은 공처럼 둥글기만 했다면, UBS 는 상황에 따라 납작하거나 뾰족하게 변형할 수 있습니다.

💡 각도 (Angle): " Matte(무광) vs Glossy(광택)"

• 무광 벽돌처럼 어느 방향에서 봐도 색이 같다면, 점토를 넓게 퍼뜨려서 빛을 골고루 받습니다.
• 거울처럼 특정 각도에서만 빛이 반사된다면, 점토를 매우 뾰족하게 만들어서 그 각도만 강하게 반사시킵니다.
• 기존 기술은 이 두 가지를 구분하기 위해 별도의 복잡한 코딩이 필요했지만, UBS 는 점토 모양 하나로 자연스럽게 해결합니다.

⏱️ 시간 (Time): "고정된 건물 vs 빠르게 달리는 자동차"

• 고정된 배경은 점토가 넓게 퍼져서 시간이 지나도 변하지 않게 합니다.
• 빠르게 움직이는 자동차는 점토가 좁고 뾰족하게 모여서 순간적인 움직임을 선명하게 포착합니다.

3. 왜 이것이 획기적인가요?

① 하나의 점토로 모든 것 해결 (통합)
기존에는 정적인 장면, 반사되는 장면, 움직이는 장면을 각각 다른 기술로 처리하거나 여러 개의 레이어를 쌓아야 했습니다. 하지만 UBS 는 **하나의 점토 (프라이미티브)**가 이 모든 역할을 동시에 수행합니다.

• 비유: 예전에는 벽돌, 유리, 철근을 따로 사서 집을 지어야 했지만, UBS 는 상황에 따라 벽돌이 되기도 하고 유리가 되기도 하는 '변신 블록' 하나만 있으면 됩니다.

② 더 적은 데이터, 더 빠른 속도 (효율성)
기존 기술은 복잡한 효과를 내기 위해 수많은 데이터 (색상 정보 등) 를 저장해야 했습니다. 하지만 UBS 는 점토의 모양을 조절하는 것만으로 효과를 내기 때문에 데이터 양이 70% 이상 줄어듭니다.

• 결과: 컴퓨터가 더 적은 메모리로 더 빠르게, 더 선명한 그림을 그릴 수 있습니다.

③ 뒤로 호환 가능 (안전장치)
이 기술은 기존 기술 (가우시안) 을 완전히 무시하는 게 아닙니다. 만약 점토의 모양 조절 기능을 끄면 (매개변수를 0 으로 설정), 자동으로 기존의 둥근 공 (가우시안) 과 똑같이 작동합니다.

• 비유: 새로운 스마트폰을 사도 기존 앱이 다 돌아가는 것처럼, UBS 는 기존 시스템과 완벽하게 호환되면서도 더 좋은 성능을 제공합니다.

4. 요약: 이 기술이 가져올 변화

이 기술은 컴퓨터 그래픽스 분야에서 "만능 레고"를 발명한 것과 같습니다.

• 화질: 거울 반사, 물결, 연기, 빠른 움직임 등 기존에 흐릿하거나 깨졌던 부분이 실사처럼 선명해집니다.
• 속도: 실시간으로 고화질 영상을 만들 수 있어, VR, 게임, 메타버스에서 더 자연스러운 경험을 제공합니다.
• 이해: 컴퓨터가 스스로 "이 부분은 평평한 벽이고, 저 부분은 거울이고, 저건 움직이는 물체야"라고 구분할 수 있게 되어, 향후 조명 조절이나 모션 분석 같은 고급 작업도 쉬워집니다.

결론적으로, UBS 는 복잡한 3D 장면을 그릴 때 "하나의 도구로 모든 상황에 최적화된 모양"을 만들어내는 혁명적인 기술입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 3D 가우시안 스플래팅 (3DGS) 및 신경 방사선장 (NeRF) 기반 방법론들은 실시간 렌더링과 높은 화질을 달성했지만, 다음과 같은 근본적인 한계를 가지고 있습니다.

• 고정된 가우시안 프로파일: 가우시안 커널은 모든 차원에서 동일한 종 모양 (bell-shaped) 프로파일을 가집니다. 이로 인해 날카로운 경계 (sharp boundaries), 안개나 연기 같은 체적 효과, 그리고 특정 시점에만 나타나는 반사 (specular) 현상 등을 효율적으로 모델링하기 어렵습니다.
• 차원 간 결합 (Dimensional Coupling): 6DGS 나 7DGS 와 같은 고차원 확장 방법들은 시공간 (spatial-temporal) 및 시점 (view-dependent) 정보를 통합하지만, 가우시안 분포의 대칭성으로 인해 공간, 각도, 시간 차원이 서로 강하게 결합됩니다. 이는 특정 차원 (예: 시간) 의 변화가 다른 차원 (예: 공간 형태) 에 불필요한 왜곡을 일으키게 하여, 정적인 객체와 동적인 객체를 명확히 분리하거나 복잡한 광원 효과를 표현하는 데 비효율적입니다.
• 보조 네트워크 및 인코딩 의존성: 시점 의존적 색상 (view-dependent color) 을 표현하기 위해 구면 조화 함수 (Spherical Harmonics) 나 별도의 신경망이 필요하여 파라미터 수가 급증하고 표현력이 분산됩니다.

2. 방법론 (Methodology)

저자들은 **범용 베타 스플래팅 (Universal Beta Splatting, UBS)**을 제안합니다. 이는 3D 가우시안 스플래팅을 N 차원 비등방성 (anisotropic) 베타 커널로 일반화한 통합 프레임워크입니다.

핵심 기술 요소:

1. N 차원 비등방성 베타 커널 (N-dimensional Anisotropic Beta Kernel):

   • 가우시안 커널을 대체하여 각 차원 (공간, 시점, 시간) 마다 학습 가능한 모양 파라미터 ($b$) 를 도입합니다.
   • 형태 제어: $b < 0$인 경우 평탄한 프로파일 (평면, 정적 객체), $b > 0$인 경우 뾰족한 프로파일 (텍스처, 반사, 빠른 운동) 을 생성합니다. 이를 통해 단일 프리미티브가 공간 기하, 시점 의존적 외관, 시간적 역학을 동시에 모델링할 수 있습니다.
   • 색상 인코딩 제거: 커널 자체가 시점과 시간을 내재적으로 표현하므로, 별도의 구면 조화 함수 (SH) 나 색상 인코딩이 불필요하여 파라미터 수를 대폭 줄입니다.

2. 공간 직교 초록스키 파라미터화 (Spatial-Orthogonal Cholesky Parameterization):

   • N 차원 공분산 행렬을 처리할 때, 3D 공간 부분에서는 가우시안 스플래팅의 회전/확대 구조를 유지하면서도 (직교성 보존), 비공간 차원 (시점, 시간) 과의 유연한 상관관계를 허용하는 하이브리드 방식을 사용합니다.
   • 회전 행렬을 위해 1 차 테일러 근사를 사용하여 계산 효율성을 높이고, 공간 기하학적 일관성을 유지합니다.

3. 베타 변조 조건부 슬라이싱 (Beta-Modulated Conditional Slicing):

   • 고차원 베타 커널을 렌더링 가능한 3D 표현으로 변환할 때, 표준 가우시안 조건부 분포에 베타 변조 (Beta modulation) 를 적용합니다.
   • 이를 통해 시점이나 시간 조건 ($q$) 이 변할 때, 공간적 형태가 불필요하게 왜곡되는 것을 방지하고 각 차원별 특성에 맞는 비등방성 (anisotropy) 을 유지합니다.

4. 하향 호환성 및 해석 가능성:

   • 베타 파라미터를 0 으로 설정하면 가우시안 커널로 수렴하므로, 기존 3DGS, 6DGS, 7DGS 와의 호환성을 보장합니다.
   • 학습된 베타 파라미터는 지도 학습 없이도 장면의 기하 (평면 vs 텍스처), 외관 (확산 vs 반사), 운동 (정적 vs 동적) 성분을 자연스럽게 분리해냅니다.

3. 주요 기여 (Key Contributions)

• 범용 N 차원 표현: 차원별 모양 제어가 가능한 비등방성 베타 커널을 도입하여 공간, 각도, 시간 속성을 단일 프리미티브로 통합 모델링합니다.
• 효율적인 CUDA 구현: 베타 평가, 조건부 슬라이싱, 공간 직교 연산을 위한 커스텀 CUDA 커널을 개발하여 실시간 렌더링을 달성했습니다.
• 지도 없는 장면 분해: 학습된 파라미터를 통해 기하, 외관, 운동 성분을 해석 가능하게 분리합니다.
• 하향 호환성: 기존 가우시안 기반 방법론들을 특수한 경우로 포함하며, 성능 하한선을 보장하면서도 큰 개선을 제공합니다.

4. 실험 결과 (Results)

UBS 는 정적, 시점 의존적, 동적 장면 전반에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 보였습니다.

• 정적 장면 (Static Scenes):
  • NeRF Synthetic: 3DGS 대비 +1.13 dB, 6DGS 대비 +1.32 dB 의 PSNR 향상.
  • Mip-NeRF 360: 3DGS 대비 +1.23 dB, 6DGS 대비 +2.31 dB 향상.
  • 6DGS-PBR (복잡한 물리 기반 장면): 3DGS 대비 +12.70 dB, 6DGS 대비 +3.42 dB 의 획기적인 향상 (특히 체적 산란 및 반투명 재질에서 +8.27 dB 개선).
• 동적 장면 (Dynamic Scenes):
  • 7DGS-PBR: 4DGS 대비 +5.26 dB, 7DGS 대비 +1.25 dB 향상. 심장 박동 및 체적 효과에서 뛰어난 성능.
  • D-NeRF: 4DGS 대비 +1.26 dB, 7DGS 대비 +0.51 dB 향상.
• 효율성:
  • 파라미터 감소: 3DGS 대비 41%, 4DGS 대비 73% 의 파라미터 수 감소 (보조 인코딩 제거 덕분).
  • 학습 및 렌더링 속도: 동적 시퀀스에서 7DGS 대비 학습 시간을 48.7% 단축 (59.9 분 vs 116.7 분). 실시간 렌더링 (FPS) 유지.

5. 의의 (Significance)

이 논문은 방사선장 렌더링 분야에서 **가우시안 커널의 한계를 극복하는 새로운 범용 원시 (primitive)**로 베타 커널을 정립했습니다.

• 표현력의 혁신: 고정된 종 모양 프로파일을 탈피하여, 장면의 물리적 속성 (정적/동적, 확산/반사) 에 따라 커널 형태를 적응적으로 조절함으로써 복잡한 광학 현상을 효율적으로 표현합니다.
• 실용성: 별도의 복잡한 신경망이나 인코딩 없이도 높은 화질과 실시간 성능을 동시에 달성하여, 실제 응용 (AR/VR, 게임, 시뮬레이션) 에 바로 적용 가능한 강력한 프레임워크를 제시했습니다.
• 해석 가능성: 학습 과정에서 자연스럽게 얻어지는 파라미터의 물리적 의미 (기하, 외관, 운동 분리) 는 향후 조명 재구성 (relighting) 이나 모션 분석 등 다양한 다운스트림 작업에 활용될 수 있는 잠재력을 제공합니다.

결론적으로, UBS 는 3D 가우시안 스플래팅의 자연스러운 진화이자, 고차원 방사선장 렌더링을 위한 새로운 표준으로 자리 잡을 것으로 기대됩니다.