Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives

이 논문은 렌더링 파이프라인 최적화와 새로운 가지치기 기법을 도입하여 3D 가우스 스플래팅의 렌더링 속도를 평균 6.71 배 가속화하고 모델 크기와 학습 시간을 줄인 'Speedy-Splat'을 제안합니다.

핵심

🚀 스피디-스플랫 (Speedy-Splat): 3D 장면을 '초고속'으로 그리는 마법

이 논문은 최근 화제가 된 **'3D 가우시안 스플래팅 (3D-GS)'**이라는 기술을 더 빠르고, 더 가볍게, 더 효율적으로 만든 방법론을 소개합니다.

기존 기술이 3D 장면을 표현할 때 너무 많은 '입자 (가우시안)'를 쓰고, 불필요한 계산을 반복해서 속도가 느리고 용량이 컸다면, 이 논문은 **"정확하게 필요한 것만, 정확하게 계산하자"**는 두 가지 핵심 아이디어로 문제를 해결했습니다.

---

🎨 비유로 이해하는 3D 가우시안 스플래팅

먼저 원리를 쉽게 비유해 볼까요?
3D 장면을 그리는 것은 마치 **수천 개의 반짝이는 스티커 (가우시안)**를 벽에 붙여서 그림을 완성하는 것과 같습니다.

• 기존 방식 (3D-GS): 벽에 스티커를 붙일 때, "이 스티커가 이 구석까지 닿을지도 몰라!"라고 너무 걱정하며 너무 넓은 범위를 미리 계산하고, 불필요하게 많은 스티커를 붙입니다. 그 결과, 컴퓨터가 "어디까지 계산해야 하지?"라고 고민하는 시간이 길어지고, 벽 (메모리) 이 꽉 차게 됩니다.
• 이 논문의 방식 (Speedy-Splat): 스티커가 실제로 닿는 정확한 범위만 계산하고, 필요 없는 스티커는 과감히 제거합니다. 그 결과, 그림은 거의 똑같이 예쁘지만, 작업 속도는 6 배 이상 빨라지고 벽에 붙인 스티커 수는 10 배 이상 줄어듭니다.

---

🛠️ 두 가지 핵심 기술: "정밀한 사냥"과 "대량 정리"

이 논문은 크게 두 가지 방법을 통해 속도를 비약적으로 높였습니다.

1. 정밀한 사냥: 'SnugBox'와 'AccuTile' (불필요한 계산 줄이기)

컴퓨터는 화면을 16x16 크기의 작은 타일 (블록) 으로 나누어 그립니다. 기존 방식은 스티커 (가우시안) 가 타일과 닿을지 모를 때, 너무 넓은 사각형을 미리 계산했습니다. 마치 "이 고양이 (스티커) 가 이 방 (타일) 에 들어갈지도 몰라"라고 생각해서 방 전체를 검색하는 것과 비슷합니다.

• SnugBox ( snug = 꼭 맞는): 고양이가 실제로 들어갈 수 있는 정확한 크기의 상자만 계산합니다. 불필요한 방 전체를 검색하지 않아도 되니 속도가 빨라집니다.
• AccuTile (Accurate = 정확한): 상자 안에서도 정확히 어떤 타일만 닿는지 계산합니다. 마치 "고양이는 이 방의 왼쪽 구석 타일에만 닿는다"라고 정확히 짚어주는 것입니다.

효과: 불필요한 계산을 대폭 줄여서 렌더링 속도를 약 2 배 더 빠르게 만들었습니다.

2. 대량 정리: 'Soft Pruning'과 'Hard Pruning' (불필요한 스티커 제거)

3D 장면을 그리는 과정에서 컴퓨터는 처음에 스티커를 너무 많이 붙입니다. 하지만 그중에는 그림에 거의 영향을 주지 않는 '쓰레기' 같은 스티커들이 많습니다.

• Soft Pruning (부드러운 정리): 훈련 초기에, "아직은 조금만 정리하자"라고 80% 정도의 불필요한 스티커를 잘라냅니다. 이때도 그림이 망가지지 않도록 신경을 씁니다.
• Hard Pruning (강력한 정리): 훈련이 거의 끝난 후, "이제 진짜 필요 없는 것만 남기자"라고 30% 더를 잘라냅니다.

효과: 전체 스티커 (가우시안) 수를 10 배 이상 줄였습니다. 스티커가 적으니 컴퓨터가 처리해야 할 일이 줄어들어 속도가 약 6.7 배 빨라졌습니다.

---

📊 놀라운 결과: "작아졌고, 빨라졌고, 예뻐졌다"

이 기술을 적용한 결과, 놀라운 성과가 나왔습니다.

• 속도: 렌더링 속도가 6.7 배 빨라졌습니다. (예: 초당 134 프레임 → 898 프레임!)
• 용량: 모델 크기가 10.6 배 줄었습니다. (예: 290 만 개 → 28 만 개)
• 화질: 스티커를 90% 이상 줄였는데도, 원래 그림과 비교했을 때 화질 저하는 거의 느껴지지 않을 정도로 미미했습니다.

한 줄 요약:

"기존에 무거운 트럭으로 100km 를 가려면 10 시간이 걸렸다면, 이제 경량화된 스포츠카로 1 시간 30 분 만에 같은 길을 달려가면서도 풍경은 똑같이 예쁘게 볼 수 있게 되었습니다."

💡 왜 중요한가요?

이 기술은 휴대폰이나 VR 기기처럼 성능이 제한된 장치에서도 고화질 3D 장면을 실시간으로 보여줄 수 있는 길을 열었습니다. 앞으로 메타버스, 가상 현실, 모바일 게임 등에서 훨씬 더 빠르고 매끄러운 3D 경험을 할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

3D 가우시안 스플래팅 (3D Gaussian Splatting, 3D-GS) 은 실시간 렌더링이 가능한 차세대 3D 장면 재구성 기술로 주목받고 있습니다. 그러나 다음과 같은 두 가지 주요 병목 현상이 존재합니다.

• 과도한 파라미터 수: 고품질 렌더링을 위해 수백만 개의 가우시안 (Gaussians) 이 필요하여 모델 크기가 크고 메모리 사용량이 많습니다.
• 렌더링 비효율성:
  • 과도한 타일 할당: 기존 3D-GS 는 가우시안이 이미지 평면에서 차지하는 영역을 과도하게 추정하여, 실제로는 가우시안이 영향을 미치지 않는 픽셀 (타일) 까지 처리하게 됩니다.
  • 비효율적인 가지치기 (Pruning): 기존 가지치기 기법 (예: PUP 3D-GS) 은 학습 중 민감도 (sensitivity) 를 계산하기 위해 막대한 메모리 (Hessian 행렬 저장) 가 필요하여 실시간 학습 파이프라인에 적용하기 어렵거나, 추론 속도 향상만 목표로 하여 학습 시간을 단축하지 못했습니다.

이러한 문제들은 가상현실 (VR), 모바일 엣지 디바이스, 네트워크 스트리밍 등 리소스가 제한된 환경에서 3D-GS 의 실용화를 방해합니다.

2. 방법론 (Methodology)

저자들은 렌더링 파이프라인의 비효율성을 해결하기 위해 **정밀한 타일 교차 계산 (Precise Tile Intersection)**과 **효율적인 가지치기 (Efficient Pruning)**라는 두 가지 핵심 접근법을 제안합니다.

A. 정밀한 타일 교차 계산 (Precise Tile Intersection)

가우시안이 실제로 영향을 미치는 픽셀 영역을 정확히 계산하여 불필요한 연산을 제거합니다.

1. SnugBox (Snug Bounding Box):

   • 기존 3D-GS 는 가우시안의 2D 공분산 (covariance) 의 최대 고유값을 기반으로 한 원 (circle) 을 포함하는 정사각형 영역을 타일로 할당합니다. 이는 불필요하게 넓은 영역을 포함합니다.
   • SnugBox는 가우시안의 실제 불투명도 (opacity) 임계값 ($\alpha > 1/255$) 을 기반으로 하는 타원 (ellipse) 의 축 정렬 바운딩 박스 (Axis-Aligned Bounding Box) 를 계산합니다.
   • 이를 통해 가우시안이 교차하는 타일의 수를 크게 줄여줍니다.

2. AccuTile:

   • SnugBox 로 계산된 바운딩 박스 내에서 가우시안이 실제로 교차하는 정확한 타일 집합을 식별합니다.
   • 타일 행 (row) 또는 열 (column) 을 순회하며 타원 곡선의 최소/최대 범위를 계산하는 알고리즘을 사용합니다.
   • 불필요한 타일 처리를 제거하여 렌더링 파이프라인의 하위 함수들 (정렬, 렌더링 등) 의 속도를 획기적으로 개선합니다.

B. 효율적인 가지치기 (Efficient Pruning)

기존 PUP 3D-GS 의 민감도 점수 (sensitivity score) 계산 방식을 개선하여 학습 중에도 적용 가능하도록 합니다.

1. 효율적인 민감도 점수 (Efficient Pruning Score):
   • PUP 3D-GS 는 Hessian 행렬을 계산하여 가우시안의 중요도를 평가하는데, 이는 $N \times 36$ 크기의 메모리가 필요하여 학습 중 사용이 비현실적입니다.
   • 저자들은 3D 파라미터 대신 2D 투영된 가우시안 값 ($g_i$) 에 대한 Hessian 근사를 사용합니다. 이는 스칼라 값의 제곱으로 계산 가능하여 메모리 요구량을 36 배 감소시키고, 역전파 (back-propagation) 흐름을 방해하지 않습니다.
2. 소프트 가지치기 (Soft Pruning):
   • 학습 초기 (15,000 iter 전) 밀도 증가 (densification) 단계 동안, 불투명도 리셋 직전에 가우시안의 80% 를 제거합니다.
3. 하드 가지치기 (Hard Pruning):
   • 밀도 증가 단계 완료 후 (15,000 iter 이후), 3,000 iter 간격으로 추가 30% 의 가우시안을 제거하여 최종 모델 크기를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. SnugBox: 가우시안 - 타일 교차 영역을 계산하는 정밀한 축 정렬 바운딩 박스 알고리즘.
2. AccuTile: SnugBox 를 확장하여 가우시안이 실제로 교차하는 타일만 정확히 식별하는 알고리즘.
3. Soft Pruning: 학습 중 밀도 증가 단계에 통합된 메모리 효율적인 가지치기 방법.
4. Hard Pruning: 학습 후 단계를 거쳐 모델 크기를 극도로 줄이는 가지치기 방법.
5. Speedy-Splat 파이프라인: 위 기술들을 통합하여 3D-GS 의 렌더링, 모델 크기, 학습 시간을 동시에 최적화한 전체 시스템.

4. 실험 결과 (Results)

Mip-NeRF 360, Tanks & Temples, Deep Blending 데이터셋을 대상으로 한 실험 결과는 다음과 같습니다.

• 렌더링 속도: 평균 6.71 배 가속화 (예: Tanks & Temples 'Truck' 장면에서 184.87 FPS → 1148.77 FPS).
• 모델 크기: 가우시안 수가 10.6 배 감소 (예: 2.6M 개 → 0.26M 개).
• 학습 시간: 평균 1.47 배 단축.
• 화질: PSNR 은 기저선 (Baseline 3D-GS) 대비 매우 미세하게만 감소 (약 0.4~0.6 dB 수준) 하여 시각적 품질이 거의 유지됨.
• 비교 우위: 기존 압축 기법 (PUP 3D-GS, Mini-Splatting 등) 대비 더 높은 렌더링 속도와 더 빠른 학습 속도를 달성하며, 유사한 압축 비율을 유지합니다.

5. 의의 및 결론 (Significance)

이 논문은 3D Gaussian Splatting 의 실용적 장벽인 속도와 메모리 문제를 해결하는 획기적인 접근법을 제시합니다.

• 알고리즘적 최적화: 단순히 파라미터를 줄이는 것을 넘어, 렌더링 파이프라인의 근본적인 비효율성 (과도한 타일 할당) 을 수학적으로 정밀하게 해결함으로써 성능을 극대화했습니다.
• 학습 통합: 기존에 추론 후 (post-hoc) 만 가능했던 고급 가지치기 기법을 학습 과정 자체에 통합하여, 최종 모델의 크기와 학습 시간을 동시에 줄였습니다.
• 실시간 응용 가능성: 모바일 및 엣지 디바이스에서도 고품질 3D 신디 (Novel View Synthesis) 를 실시간으로 구현할 수 있는 가능성을 열어주며, VR/AR 및 스트리밍 서비스의 발전에 기여할 것으로 기대됩니다.

결론적으로, Speedy-Splat은 3D-GS 의 성능을 유지하면서 렌더링 속도를 6 배 이상, 모델 크기를 10 배 이상 줄인 현재까지 가장 효율적인 3D 표현 기법 중 하나로 평가됩니다.