Splat the Net: Radiance Fields with Splattable Neural Primitives

이 논문은 신경망 기반의 높은 표현력과 스태팅 방식의 실시간 효율성을 모두 갖춘 '스플래터블 뉴럴 프라미티브'를 제안하여, 기존 3D 가우스 스태팅보다 10 배 적은 프라미브와 6 배 적은 파라미터로 동등한 품질과 속도를 달성하는 새로운 3D 장면 표현 방법을 소개합니다.

핵심

🎨 "스플래트 더 넷": 3D 장면을 더 똑똑하고 가볍게 만드는 새로운 방법

이 논문은 3D 장면을 컴퓨터 화면에 어떻게 표현할지에 대한 새로운 아이디어를 소개합니다. 제목인 **"SPLAT THE NET"**은 "네트워크 (AI) 를 이용해 물체를 '툭' 하고 튀겨내다 (Splat)"라는 뜻으로, 기존 방식의 단점을 모두 해결한 혁신적인 기술입니다.

이 기술을 쉽게 이해하기 위해 레고 블록과 스마트한 그림에 비유해 설명해 드릴게요.

---

1. 기존 방식의 문제점: "무식한 레고" vs "무거운 그림"

3D 장면을 만들 때 지금까지는 두 가지 큰 방식이 있었습니다.

• 방식 A: 3D 가우스 스플래팅 (3DGS) - "수백만 개의 작은 레고"

  • 원리: 3D 공간을 아주 작은 구슬 (가우스) 수백만 개로 채워 넣습니다. 각 구슬은 모양과 색을 가지고 있어서, 이를 화면에 뿌리면 (스플래팅) 멋진 3D 장면을 볼 수 있습니다.
  • 장점: 매우 빠릅니다. 구슬을 뿌리는 건 컴퓨터가 순식간에 하니까요.
  • 단점: 양이 너무 많습니다. 복잡한 장면을 만들려면 구슬이 수백만 개 필요해서 메모리를 많이 차지하고, 구슬 하나하나가 너무 단순해서 복잡한 곡선이나 디테일을 표현하기엔 부족합니다.
  • 비유: 거대한 성을 만들기 위해 수백만 개의 작은 레고 블록을 하나하나 쌓는 것과 같습니다. 빠르지만, 블록이 너무 많아서 무겁고, 블록이 너무 단순해서 정교한 조각을 만들기 힘듭니다.

• 방식 B: 신경 방사장 (NeRF) - "똑똑하지만 무거운 AI 그림"

  • 원리: 3D 공간 전체를 하나의 거대한 AI (신경망) 가 기억합니다. "이곳의 색은 뭐야?"라고 물어보면 AI 가 계산해서 답을 줍니다.
  • 장점: 매우 정교하고 표현력이 뛰어납니다. 복잡한 곡선도 완벽하게 그립니다.
  • 단점: 계산이 너무 느립니다. 화면의 한 점 (픽셀) 을 그리기 위해 AI 가 수천 번 계산을 해야 하므로, 실시간으로 영상을 보려면 컴퓨터가 멈출 정도입니다.
  • 비유: 거대한 성을 한 명의 천재 화가가 한 줄 한 줄 정성껏 그리는 것과 같습니다. 예술적이지만, 그림을 완성하는 데 시간이 너무 오래 걸립니다.

---

2. 이 논문의 해결책: "스마트한 레고" (SPLATABLE NEURAL PRIMITIVES)

이 논문은 "레고의 속도"와 "AI 의 지능"을 합친 새로운 레고를 개발했습니다.

🧩 핵심 아이디어: "스마트한 레고 블록"

기존의 단순한 구슬 (레고) 대신, 작은 AI 네트워크가 내장된 똑똑한 레고 블록을 사용합니다.

1. 한 블록에 많은 정보: 이 레고 블록 하나하나가 단순한 구슬이 아니라, "내 안에는 복잡한 곡선과 질감이 들어있다"는 것을 알고 있습니다.
2. 수학적인 마법 (정확한 계산): 보통 AI 는 계산을 위해 수천 번 반복해야 하지만, 이 연구자들은 이 레고 블록의 수학적 성질을 이용해 한 번의 계산으로 정확한 모양을 뽑아내는 공식을 만들었습니다.
   • 비유: 일반적인 AI 가 "이 물체의 모양을 그리려면 100 번 그려봐"라고 하면, 이 방법은 "이 공식대로 그리면 딱 맞는 모양이 나와"라고 말합니다.

🚀 결과: "적은 블록으로 더 멋진 성"

• 10 배 적은 블록: 기존 방식 (3DGS) 이 100 만 개의 블록이 필요했다면, 이 방법은 10 만 개만으로도 같은 퀄리티의 장면을 만듭니다.
• 6 배 적은 메모리: 컴퓨터가 기억해야 할 데이터 양이 훨씬 줄어듭니다.
• 실시간 속도: 블록 수가 줄어들고 계산이 효율적이어서, 여전히 **실시간 (빠른 속도)**으로 영상을 볼 수 있습니다.

---

3. 왜 이것이 중요한가요? (일상적인 예시)

• 게임 개발자: 이제 더 적은 메모리로 훨씬 더 디테일한 3D 세상을 만들 수 있습니다. 스마트폰 게임에서도 고화질 3D 그래픽이 가능해질 수 있습니다.
• 가상 현실 (VR): 무거운 장비를 쓰지 않아도, 가볍고 빠른 3D 환경을 즐길 수 있게 됩니다.
• 메타버스: 복잡한 도시나 자연 풍경을 더 빠르고 정확하게 디지털로 복원할 수 있습니다.

📝 한 줄 요약

"수백만 개의 단순한 레고 (기존 방식) 나 무거운 AI 계산 (기존 방식) 대신, 수백 개의 '똑똑한 AI 레고'로 3D 장면을 만들어, 속도는 빠르고 화질은 좋으며, 컴퓨터도 가볍게 만드는 새로운 기술입니다."

이 기술은 3D 그래픽의 미래를 바꿀 수 있는, 가볍고 똑똑한 3D 표현의 새로운 표준이 될 것으로 기대됩니다.

기술 요약

SPLAT THE NET: RADIANCE FIELDS WITH SPLATTABLE NEURAL PRIMITIVES

ICLR 2026 논문 기술 요약

이 논문은 3D 장면 표현 (Radiance Fields) 분야에서 **신경망 기반의 표현력 (Expressivity)**과 기하학적 원시 (Primitive) 기반의 렌더링 효율성을 동시에 달성하기 위해 제안된 새로운 방법론인 **"Splattable Neural Primitives (SplatNet)"**을 소개합니다.

---

1. 문제 정의 (Problem Statement)

3D 장면 표현을 위한 Radiance Field 연구는 크게 두 가지 상반된 접근법으로 나뉘어 왔습니다:

• Neural Radiance Fields (NeRF 등): 높은 표현력을 가지지만, 렌더링 시 광선 추적 (Ray Marching) 을 통해 적분을 수행해야 하므로 계산 비용이 매우 높고 실시간 렌더링이 어렵습니다.
• Primitive-based Methods (3D Gaussian Splatting 등): 3D 가우시안과 같은 단순한 원시 함수들을 사용하여 이미지 평면에 투영 (Splatting) 하는 방식으로 매우 빠른 렌더링 속도를 제공합니다. 그러나 이러한 원시 함수들은 수학적 분석식 (Analytic) 에 기반하여 단순하기 때문에 복잡한 기하학적 구조를 표현하는 데 한계가 있으며, 이를 위해 수백만 개의 원시가 필요합니다.

핵심 문제: 기존에는 표현력이 높은 신경망 모델은 느리고, 빠른 원시 기반 모델은 표현력이 낮다는 이분법적 구조가 존재했습니다. 이 두 장점을 모두 충족시키면서도 복잡한 기하 구조를 적은 수의 원시로 표현할 수 있는 방법이 필요했습니다.

2. 방법론 (Methodology)

저자들은 **"Splattable Neural Primitives"**라는 새로운 볼륨 표현을 제안합니다. 이는 각 원시 (Primitive) 가 얕은 신경망 (Shallow Neural Network) 으로 파라미터화된 밀도 장 (Density Field) 을 가지며, 이를 타원체 (Ellipsoid) 로 공간적으로 제한하는 방식입니다.

핵심 기술 요소

1. 신경 밀도 장 (Neural Density Field):

   • 각 원시는 중심, 크기, 회전을 가진 타원체 $B$ 내부에 정의됩니다.
   • 밀도 $\sigma(x)$는 1 개의 은닉층을 가진 얕은 신경망 $f_\sigma$로 표현되며, 주기적 활성화 함수 (Periodic Activation, e.g., SIREN) 를 사용합니다.
   • 수식: $\sigma(x) = f_\sigma(\frac{x - x_B}{\|s_B\|_\infty})$

2. 정확한 해석적 적분 (Exact Analytical Integration):

   • 기존 신경망은 광선 따라 적분을 위해 샘플링 (Ray Marching) 이 필요하지만, 이 논문에서 사용하는 얕은 신경망 구조는 **닫힌 형식 (Closed-form) 의 부정적분 (Antiderivative)**을 가질 수 있습니다.
   • 이를 통해 시선 광선 (View Ray) 을 따라 밀도를 적분하여 2D Splatting Kernel ($\alpha$) 을 정확하고 효율적으로 계산할 수 있습니다.
   • 결과적으로 Ray Marching 없이도 정확한 투영 (Perspectively accurate) 이 가능하며, 렌더링 속도가 획기적으로 향상됩니다.

3. 렌더링 파이프라인:

   • 각 픽셀의 광선이 타원체와 교차하는 구간을 계산합니다.
   • 교차 구간에서 밀도 함수의 부정적분을 이용해 총 밀도 값을 구하고, 이를 통해 2D 불투명도 (Opacity) 커널을 생성합니다.
   • 생성된 커널들을 Alpha Blending 하여 최종 이미지를 합성합니다.

4. 구현 및 최적화:

   • Population Control: 3DGS 의 그라디언트 기반 밀도화 (Densification) 전략과 호환되지 않으므로, 신경망 가중치의 그라디언트 크기를 기준으로 원시를 분할하거나 제거하는 새로운 전략을 도입했습니다.
   • 정규화: 원시의 극단적인 비등방성 (Anisotropy) 을 방지하기 위해 스케일 벡터의 표준 편차를 최소화하는 기하학적 정규화 항을 추가했습니다.

3. 주요 기여 (Key Contributions)

• 이분법적 관점의 극복: 신경망의 높은 표현력과 원시 기반 Splatting 의 실시간 효율성을 통합한 최초의 모델입니다.
• 새로운 볼륨 표현: 타원체로 제한된 신경 밀도 장을 제안하며, 이를 통해 정확한 해석적 적분이 가능해져 Ray Marching 없이도 고품질 렌더링이 가능해졌습니다.
• 압도적인 효율성: 3D Gaussian Splatting (3DGS) 과 동급의 화질을 유지하면서 10 배 적은 원시 개수와 6 배 적은 파라미터로 장면을 표현합니다.
• 실시간 성능: 복잡한 신경망 구조임에도 불구하고 Splatting 방식을 통해 실시간 (Real-time) 렌더링 속도를 달성했습니다.

4. 실험 결과 (Results)

• Synthetic NeRF Dataset: 제한된 메모리 조건에서 3DGS 보다 높은 PSNR, SSIM, LPIPS 점수를 기록했습니다. 메모리 제약이 없는 경우에도 3DGS 와 동급의 성능을 보였습니다.
• Real-world Scenes (Mip-NeRF360, Tanks & Temples 등):
  • 복잡한 기하 구조 (예: 카펫 무늬, 나뭇잎의 정교한 형태) 를 3DGS 보다 적은 수의 원시로 더 정확하게 재구성했습니다.
  • 렌더링 속도는 3DGS 와 유사한 수준 (약 100 FPS 이상) 을 유지하면서도 메모리 사용량은 크게 줄였습니다.
• 표현력 비교: 소수의 신경 원시 (Neural Primitives) 로도 복잡한 곡선과 날카로운 모서리를 잘 표현하는 반면, 3DGS 는 동일한 수의 원시로는 이러한 구조를 표현하는 데 실패하거나 더 많은 원시가 필요했습니다.

5. 의의 및 결론 (Significance)

이 논문은 Radiance Field 분야에서 **"Neural (신경망)"**과 **"Splatting (원시 기반)"**이라는 두 가지 접근법의 장점을 성공적으로 융합했습니다.

• 기술적 혁신: 신경망 기반 밀도 장을 Splatting 렌더러에 통합하기 위해 필요한 "해석적 적분" 문제를 해결함으로써, Ray Marching 의 계산 비용을 제거하면서도 신경망의 유연성을 유지했습니다.
• 실용성: 10 배 적은 원시와 6 배 적은 파라미터로 동급의 화질을 구현함으로써, 메모리 효율성과 저장 공간 측면에서 큰 이점을 제공합니다. 이는 모바일 기기나 대용량 장면 처리에 매우 유리합니다.
• 미래 전망: 이 표현 방식은 동적 장면 (Dynamic Scenes) 재구성 및 재조명 (Relighting) 작업으로도 확장 가능함을 보였으며, 신경망 기반 표현과 Splatting 렌더링의 결합을 위한 새로운 연구 방향을 제시합니다.

요약하자면, SplatNet은 복잡한 3D 장면을 적은 리소스로 고품질, 실시간으로 렌더링할 수 있는 차세대 Radiance Field 표현법으로, 기존 NeRF 와 3DGS 의 한계를 동시에 해결한 획기적인 연구입니다.