AdaGScale: Viewpoint-Adaptive Gaussian Scaling in 3D Gaussian Splatting to Reduce Gaussian-Tile Pairs

AdaGScale: 3D 가우시안 스플래팅을 위한 시점 적응형 가우시안 스케일링

1. 문제 정의 (Problem)

3D 가우시안 스플래팅 (3D-GS) 은 신경 방사선장 (NeRF) 대비 빠른 렌더링 속도를 제공하지만, 고해상도 (예: Apple Vision Pro 의 90-120 FPS 요구사항) 에서 실시간 렌더링을 달성하기에는 여전히 속도가 부족합니다.

• 병목 현상: 3D-GS 렌더링 파이프라인 중 '가우시안 - 타일 쌍 생성 (Gaussian-tile pair generation)', '정렬 (Sorting)', '래스터화 (Rasterization)' 단계가 전체 실행 시간의 약 88.1% 를 차지합니다.
• 기존 방법의 한계: 기존 연구들은 기하학적 정확도를 높여 불필요한 가우시안 - 타일 쌍을 제거하는 데 집중했습니다 (AABB, OBB, 타원 경계 등). 그러나 비영향 (non-zero contribution) 을 가진 쌍들 간의 중요도 차이를 고려하지 않았습니다. 즉, 가우시안의 중심에서 멀리 떨어진 주변부 (peripheral) 영역의 타일들은 픽셀 색상 누적에 거의 기여하지 않음에도 불구하고, 기존 방법에서는 모두 계산에 포함되었습니다.

2. 방법론 (Methodology)

저자들은 가우시안의 주변부 영역에 대한 색상 기여도가 미미하다는 관찰을 바탕으로, AdaGScale을 제안합니다. 이는 렌더링 속도를 높이기 위해 가우시안 - 타일 쌍의 수를 줄이는 시점 적응형 (Viewpoint-Adaptive) 가우시안 스케일링 기술입니다.

핵심 단계:

1. 주변부 점수 (Peripheral Score) 정의:

   • 가우시안의 경계 근처 픽셀들의 색상 기여도 합을 '주변부 점수'로 정의합니다.
   • 기여도가 낮은 영역 (주변부) 을 임계값 ($\tau$) 보다 높게 설정하여 ($Th_i$), 해당 영역의 타일 교차 테스트를 생략함으로써 쌍의 수를 줄입니다.

2. 전처리 단계에서의 효율적인 점수 추정 (Efficient Approximation):

   • 실제 점수 계산은 정렬 (Sorting) 이후에야 가능하므로 전처리 단계에서는 불가능합니다. 이를 해결하기 위해 3 단계 추정 전략을 사용합니다.
     • 투과도 (Transmittance) 근사: 픽셀별 투과도 $T_i$를 가우시안 전체의 최대값 ($max(T_i)$) 으로 근사합니다.
     • 깊이 기반 상한 추정 (Depth-Based Upper Bound): $max(T_i)$와 깊이 (Depth) 의 상관관계를 분석하여, 깊이 구간별 상한값 ($T^{Upper}_i$) 을 오프라인으로 학습된 룩업 테이블 (LUT) 을 통해 추정합니다.
     • 리만 합을 통한 폐쇄형 계산: 이산적인 픽셀 합계를 2D 가우시안 적분 (Riemann sum) 으로 근사하여, 깊이, 투영된 2D 공분산, 그리고 사용자 정의 파라미터 $K$만으로 $Th_i$를 **폐쇄형 (Closed-form)**으로 계산합니다.
   • 공식: $Th_i = \frac{K}{T^{Upper}_i(depth) \cdot 2\pi\sqrt{\det(G_{cov_i})}} + \tau$

3. 듀얼 사이즈 전략 (Dual-Size Strategy):

   • 교차 테스트 단계: 계산된 $Th_i$ (원래 임계값 $\tau$보다 큼) 를 사용하여 가우시안의 유효 영역을 축소하고, 교차하는 타일 수를 줄입니다.
   • 래스터화 (색상 누적) 단계: 실제 픽셀 색상 계산 시에는 원래의 가우시안 크기 ($\tau$) 를 그대로 유지합니다.
   • 효과: 불필요한 쌍을 제거하여 연산량을 줄이면서도, 남아있는 쌍에 대해서는 원본의 정밀한 색상을 보장하여 화질 저하를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 주변부 점수 근사 방법: 전처리 단계에서 깊이와 공분산 정보를 활용하여 가우시안의 주변부 기여도를 효율적으로 추정하는 방법을 제안했습니다.
2. AdaGScale 기술: 주변부 점수에 기반하여 중요도가 낮은 가우시안 - 타일 쌍을 제거하는 시점 적응형 스케일링 기술을 개발했습니다.
3. 재학습 불필요 및 통합 용이성: 기존 3D-GS 파이프라인 (FlashGS, Scaffold-GS 등) 에 재학습 (Retraining) 없이 통합 가능하며, 다양한 모델과 장면에서 검증되었습니다.

4. 실험 결과 (Results)

NVIDIA A6000 GPU 를 사용하여 다양한 데이터셋 (Tanks&Temples, Mip-NeRF360, UrbanScene3D 등) 과 모델 (Original 3D-GS, GaussianSpa, CityGaussian, Scaffold-GS) 로 실험했습니다.

• 속도 향상 (Speedup):
  • Original 3D-GS: 기하 평균 5.46 배 속도 향상 (PSNR 0.5dB 감소 시).
  • CityGaussian (도시 규모 고해상도 장면): 기하 평균 13.8 배 속도 향상 (PSNR 0.5dB 감소 시).
  • Scaffold-GS: MLP 기반 실시간 생성 파이프라인에서도 1.26 배 (렌더링 부분만 고려 시 1.65 배) 의 속도 향상을 달성했습니다.
• 화질 유지: PSNR 저하가 약 0.5dB 수준으로 매우 작으며, 시각적 품질 저하는 거의 감지되지 않습니다.
• 가우시안 - 타일 쌍 감소: FlashGS 대비 최대 43.07% 까지 쌍의 수를 감소시켰습니다.

5. 의의 및 결론 (Significance)

AdaGScale 은 3D-GS 렌더링의 핵심 병목인 '가우시안 - 타일 쌍'의 수를 지능적으로 줄여, 고해상도 및 대규모 장면에서도 실시간 렌더링을 가능하게 하는 획기적인 방법론입니다.

• 효율성: 불필요한 주변부 계산을 제거함으로써 GPU 연산 부하를 대폭 감소시킵니다.
• 적용성: 기존 3D-GS 기반의 모든 모델 (압축된 모델, MLP 기반 모델 포함) 에 적용 가능하며, 재학습 없이 즉시 사용 가능합니다.
• 미래 전망: AR/VR 및 메타버스와 같이 실시간 고해상도 3D 콘텐츠가 요구되는 분야에서 3D-GS 의 실용성을 크게 높이는 기술로 평가됩니다.