From Volume Rendering to 3D Gaussian Splatting: Theory and Applications

이 튜토리얼은 3D 가우스 스플래팅 (3DGS) 의 이론적 배경과 파이프라인을 개괄하고, 메모리 효율성 및 조명 표현 등의 한계를 해결하기 위한 최근 연구 동향과 표면 재구성, 아바타 모델링 등 다양한 응용 분야를 종합적으로 다룹니다.

핵심

🎨 1. 핵심 개념: "3D 장난감 구슬" vs "투명한 안개"

과거의 3D 기술 (NeRF 등) 은 장면을 투명한 안개나 연기처럼 표현했습니다. 컴퓨터가 "이 공간에 물체가 있을까? 얼마나 짙을까?"를 끊임없이 계산해야 해서 무겁고 느렸습니다. 마치 안개 속을 헤매며 물체를 찾는 것과 비슷하죠.

하지만 **3D Gaussian Splatting (3DGS)**은 완전히 다른 방식을 사용합니다.

• 비유: 장면을 **수백만 개의 작은 3D 구슬 (Gaussian)**로 가득 채우는 것입니다.
• 이 구슬들은 각각 위치, 크기, 모양, 색상, 투명도를 가지고 있습니다.
• 컴퓨터는 이 구슬들을 카메라 앞에 던져서 (Splatting), 마치 물방울이 유리창에 튀는 것처럼 이미지를 만들어냅니다.
• 결과: 안개를 계산할 필요가 없으니, 매우 빠르고 선명하게 3D 장면을 그릴 수 있습니다.

🛠️ 2. 작동 원리: "레고 조립"과 "스마트한 수정"

이 기술이 어떻게 작동하는지 3 단계로 나누어 볼까요?

1. 초기화 (레고 기초 쌓기):
   • 여러 각도에서 찍은 사진들을 분석합니다.
   • 먼저 사진들 사이의 공통점을 찾아 **초기 점 (Point Cloud)**을 만듭니다. 마치 레고의 기초 뼈대를 세우는 것과 같습니다.
2. 구슬 만들기 (3D 가우시안 생성):
   • 이 점들을 바탕으로 수백만 개의 3D 구슬을 생성합니다. 각 구슬은 사진의 색과 모양을 닮게 됩니다.
3. 수정 및 다듬기 (적응 과정):
   • 컴퓨터는 "이 구슬이 너무 크네?", "이 구슬이 너무 작아서 디테일이 안 보이네?"라고 스스로 판단합니다.
   • 큰 구슬은 둘로 쪼개고 (Split), 작은 구슬은 복사해서 (Clone) 채우고, 쓸모없는 구슬은 지웁니다 (Prune).
   • 이 과정을 반복하며 구슬들이 완벽하게 장면을 덮도록 만듭니다.

🚀 3. 왜 이것이 혁신적인가?

• 실시간 렌더링: 기존 기술은 고화질 3D 장면을 보여주기 위해 몇 초씩 걸렸지만, 3DGS 는 **게임처럼 실시간 (Real-time)**으로 보여줍니다.
• 간단한 연결: 이 방식은 컴퓨터 그래픽스 (게임 엔진 등) 가 이미 잘하는 방식과 비슷해서, 기존 프로그램에 바로 적용하기 쉽습니다.

⚠️ 4. 아직 해결해야 할 문제들 (한계점)

물론 완벽한 기술은 아닙니다. 논문에서는 다음과 같은 문제점들을 지적합니다.

• 메모리 폭탄: 장면을 표현하기 위해 구슬이 너무 많이 필요해서 (수십만 개~수백만 개), 저장 공간과 메모리를 많이 차지합니다.
• 빛의 문제: 구슬에 빛이 "녹아들어" (Baking) 있어서, 조명을 바꾸거나 반사광을 재현하기 어렵습니다. (예: 거울에 비친 모습을 자연스럽게 바꾸기 힘듦)
• 메쉬 추출의 어려움: 구슬로 만든 장면을 나중에 **매끄러운 3D 모델 (메쉬)**로 바꾸는 것이 아직은 까다롭습니다.

🌟 5. 앞으로의 가능성: 어디에 쓸 수 있을까?

이 기술은 이미 다양한 분야에서 쓰이고 있습니다.

• 아바타 만들기: 사람의 얼굴이나 전신을 3D 구슬로 만들어, 표정 변화나 움직임을 자연스럽게 구현합니다. (예: 가상 인플루언서)
• 동영상 및 4D 콘텐츠: 정적인 사진뿐만 아니라, 움직이는 영상을 3D 공간으로 재구성하여, 사용자가 원하는 각도에서 영상을 볼 수 있게 합니다.
• 생성형 AI: "고양이가 앉아 있는 1950 년대 다이너"라고 텍스트로 입력하면, AI 가 바로 3D 구슬로 된 장면을 만들어주는 기술과 결합되고 있습니다.
• 적은 사진으로 3D 만들기: 사진이 몇 장 없어도 (Sparse views) AI 가 구슬을 예측하여 3D 장면을 완성하는 기술도 개발 중입니다.

💡 요약

이 논문은 **"3D 장면을 안개 (NeRF) 로 그리는 대신, 수백만 개의 스마트한 구슬 (3DGS) 로 채워 넣음으로써, 훨씬 빠르고 선명한 3D 세상을 만들 수 있다"**는 것을 보여줍니다.

비록 메모리나 빛 처리 같은 약점은 있지만, 게임, 영화, 메타버스, 가상 현실 등 우리가 3D 콘텐츠를 소비하는 방식을 완전히 바꿔놓을 핵심 기술로 평가받고 있습니다. 마치 과거의 점토 조형에서, 이제 마법 같은 구슬 조립으로 3D 세상을 만드는 시대가 열린 셈입니다.

기술 요약

논문 요약: 볼륨 렌더링에서 3D 가우스 스플래팅 (3DGS) 으로: 이론과 응용

이 논문은 포즈가 알려진 이미지들로부터 3D 장면을 재구성하는 문제에서 볼륨 렌더링 (Volume Rendering) 이 3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS) 으로 어떻게 진화했는지에 대한 포괄적인 개요를 제공합니다. 저자들은 3DGS 의 수학적 유도, 한계점 해결을 위한 최신 확장 기술, 그리고 다양한 응용 분야를 체계적으로 분석합니다.

1. 문제 정의 (Problem)

• 기존 방식의 한계: 신경 방사선장 (NeRF) 은 볼륨 렌더링을 통해 고품질의 신시 (Novel View Synthesis, NVS) 를 가능하게 했으나, 전체 도메인 (빈 공간 포함) 에 걸쳐 신경망을 학습해야 하므로 계산 비용이 매우 높고 실시간 렌더링이 어렵다는 문제가 있었습니다.
• 목표: 고품질의 3D 재구성을 달성하면서도 실시간 렌더링이 가능하고, 메모리 효율성이 높으며, 조명 효과 (Specularity) 와 2 차 광선 (Secondary-ray) 효과를 지원할 수 있는 새로운 표현 방식이 필요했습니다.

2. 방법론 (Methodology)

가. 3D 가우스 스플래팅 (3DGS) 의 핵심 원리

• 표현 방식: 장면을 3D 가우스 (3D Gaussians) 의 집합으로 명시적으로 모델링합니다. 각 가우스는 중심 ($\mu$), 공분산 행렬 ($\Sigma$), 불투명도 ($\sigma$), 색상 ($c$) 을 가집니다.
• 초기화: 구조로부터 운동 (Structure-from-Motion, SfM) 을 통해 얻은 희소 포인트 클라우드를 기반으로 가우스를 초기화합니다.
• 볼륨 스플래팅 (Volume Splatting):
  • 기존 볼륨 렌더링 적분 (Numerical Quadrature) 대신 효율적인 래스터화 (Rasterization) 기반인 '스플래팅'을 사용합니다.
  • 3D 가우스를 카메라 좌표계로 변환한 후, 1 차 근사 (Jacobian) 를 통해 2D 가우스 (스플랫) 로 투영합니다.
  • 투영된 2D 가우스들을 깊이 순으로 정렬 (Sorting) 하고 알파 합성 (Alpha-compositing) 을 수행하여 최종 픽셀 색상을 계산합니다.
  • 이 과정은 미분 가능하여 (Differentiable) 경사 하강법을 통해 가우스 파라미터를 최적화할 수 있습니다.
• 적응 (Adaptation): 학습 과정에서 가우스의 수를 동적으로 조절합니다.
  • Split: 너무 큰 가우스는 분할합니다.
  • Clone: 국소 디테일을 포착하지 못하는 가우스는 복제합니다.
  • Prune: 지속적으로 불투명도가 낮은 가우스는 제거합니다.

나. 주요 확장 및 개선 기술 (Extensions)

• 메모리 최적화: SCAFFOLD 와 같은 방법은 MLP 와 앵커 포인트를 사용하여 가우스 수를 줄이고 메모리 부담을 경감합니다.
• 앨리어싱 및 다중 해상도: MIP-Splatting 은 2D/3D 가우스 필터를 도입하여 해상도 변경 시 발생하는 앨리어싱을 억제합니다.
• 반사 및 조명 (Specularity & Relighting): 기존 3DGS 는 조명 효과를 가우스에 '베이킹'하여 재조명이 불가능했습니다. GaussianShader, 3DGS-DR 등은 BRDF 파라미터와 환경 맵을 통합하여 물리 기반 렌더링 (PBR) 과 재조명을 지원합니다.
• 야생 환경 (In-the-Wild): WildGaussians, GS-W 등은 가변 조명, 일시적 가림 (Transient occlusions), 불완전한 포즈가 있는 자연스러운 사진 컬렉션에서도 강건한 재구성을 가능하게 합니다.
• 표면 재구성 (Surface Reconstruction): 3DGS 는 기본적으로 메쉬 추출에 적합하지 않습니다. 2DGS 는 3D 가우스 대신 2D 디스크를 사용하여 정밀한 표면과 법선 맵을 복원하며, GSDF 등은 신경 SDF 를 결합하여 메쉬를 생성합니다.
• 애니메이션 및 아바타: PhysGaussian 은 물리 시뮬레이션을 통합하고, Gaussian Avatars 는 FLAME/SMPL 모델을 기반으로 인체 아바타의 동적 재구성과 재조명을 지원합니다.
• 희소 뷰 (Sparse Views) 및 생성 모델:
  • Feed-forward Networks (FFN): PixelSplat, GS-LRM 등은 단일 이미지나 소수의 뷰에서 직접 3D 가우스 파라미터를 예측하는 네트워크를 학습합니다.
  • Diffusion Models: LGM, DreamGaussian 등은 텍스트나 이미지 입력을 통해 3D 가우스 세트를 생성하는 생성 모델을 활용합니다.

3. 주요 기여 (Key Contributions)

1. 수학적 유도: 볼륨 렌더링 방정식에서 3DGS 의 스플래팅 공식 (Volume Splatting) 을 직관적으로 유도하여 이론적 기반을 명확히 했습니다.
2. 포괄적인 서베이: 3DGS 의 메모리 문제, 조명 제한, 2 차 광선 지원 부족 등 기존 한계를 해결하기 위한 최신 연구 동향 (Extensions) 을 체계적으로 정리했습니다.
3. 응용 분야 분석: 표면 재구성, 애니메이션, 아바타 모델링, 생성형 3D 콘텐츠 등 3DGS 가 다양한 3D 재구성 작업에 어떻게 적용되고 있는지 심층적으로 조사했습니다.

4. 결과 및 성과 (Results)

• 실시간 렌더링: NeRF 대비 훨씬 빠른 렌더링 속도를 달성하여 실시간 NVS 가 가능해졌습니다.
• 고품질 재구성: 복잡한 장면에서도 디테일이 풍부한 고품질 이미지를 생성합니다.
• 유연성: 단순한 정적 장면뿐만 아니라, 유체 시뮬레이션, 동적 아바타, 야외 환경 (Wild) 등 다양한 시나리오에 적용 가능함이 입증되었습니다.
• 효율성: 희소 뷰 (Sparse views) 에서도 FFN 을 통해 실시간으로 3D 장면을 생성할 수 있게 되었습니다.

5. 의의 및 중요성 (Significance)

이 논문은 3D 재구성 분야에서 볼륨 렌더링에서 3D 가우스 스플래팅으로의 패러다임 전환을 명확히 보여줍니다. 3DGS 는 단순한 렌더링 기술을 넘어, 그래픽스 파이프라인과의 원활한 통합, 실시간 성능, 그리고 생성 모델과의 결합을 통해 3D 콘텐츠 제작의 새로운 표준으로 자리 잡았습니다. 특히, 메모리 효율성, 물리 기반 조명, 동적 시뮬레이션 등 기존 NeRF 의 한계를 극복하고 있는 점과, 향후 해결해야 할 과제 (최적 가우스 수 결정, 스플래팅 공식 정교화, 더 강력한 희소 뷰 재구성 등) 를 제시함으로써 향후 연구 방향을 제시한다는 점에서 중요한 학술적 가치를 가집니다.