MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization
이 논문은 기존 가우시안 스플래팅 (Gaussian Splatting) 모델을 레이트레이싱이 가능한 메쉬 형식으로 변환하여 고급 조명 효과를 지원하고, 추가 학습 없이 즉시 사용하거나 메쉬 기반 최적화를 통해 품질을 향상시킬 수 있는 'MeshSplats'라는 새로운 방법을 제안합니다.
원저자:Rafał Tobiasz, Grzegorz Wilczyński, Marcin Mazur, Sławomir Tadeja, Weronika Smolak-Dyżewska, Przemysław Spurek
이 논문은 **'MeshSplats(메쉬스플랫)'**이라는 새로운 기술을 소개합니다. 이 기술을 쉽게 이해하기 위해 몇 가지 비유를 들어 설명해 드릴게요.
🎨 핵심 비유: "구름에서 조각상 만들기"
지금까지 3D 그래픽 분야에서 **가우스 스플래팅 (Gaussian Splatting, GS)**이라는 기술이 대세였습니다. 이 기술은 3D 장면을 수만 개의 **'투명한 구름 조각 (타원체)'**으로 표현합니다.
장점: 컴퓨터가 이 구름 조각들을 빠르게 그려내어 (래스터화) 매우 선명하고 실시간으로 움직이는 영상을 보여줍니다.
단점: 이 '구름 조각'들은 빛이 반사되거나 그림자가 지는 복잡한 효과를 계산하는 데는 약합니다. 마치 구름에 빛을 비춰도 그림자가 선명하게 생기지 않는 것과 비슷합니다. 또한, 이 구름 조각들은 일반적인 3D 프로그램 (블렌더 등) 에서 쉽게 수정하거나 물리 법칙을 적용하기 어렵습니다.
MeshSplats는 이 문제를 해결하기 위해 **"구름 조각을 잘게 잘라 '조각상 (메쉬)'으로 바꾸는 기술"**입니다.
🛠️ MeshSplats 가 하는 일: 두 가지 방식
이 기술은 두 가지 다른 방식으로 작동합니다.
1. 방식 A: "구름을 바로 조각으로" (GS Prior)
상황: 이미 구름 (가우스) 으로 만들어진 3D 장면을 가지고 있을 때.
작동: 컴퓨터가 이 구름 조각들을 하나씩 잘게 잘라 **삼각형 조각들 (메쉬)**로 바꿉니다.
결과: 구름이었던 것이 갑자기 조각상이 됩니다.
장점: 이제 이 조각상은 일반적인 3D 프로그램 (블렌더) 에서 빛을 반사하고, 그림자를 드리우며, 물리 엔진과 상호작용할 수 있습니다. 마치 실제 조각상을 다루는 것처럼요.
단점: 구름이 조각으로 변하는 과정에서 아주 미세한 디테일이 조금 흐려질 수 있습니다. 하지만 바로 사용할 수 있습니다.
2. 방식 B: "뼈대 위에 살을 붙이기" (Mesh Prior)
상황: 이미 대략적인 모양 (뼈대) 을 가진 3D 조각상이 있을 때.
작동: MeshSplats 는 이 뼈대 위에 색깔과 투명도를 가진 작은 삼각형 조각들을 정교하게 붙입니다.
결과: 뼈대는 그대로 유지되면서, 그 위에 **빛과 그림자가 자연스럽게 표현되는 살 (색상)**이 입혀집니다.
장점: 사용자가 조각상의 모양을 직접 손으로 만져서 (편집해서) 바꿀 수 있습니다. 구름처럼 흐릿한 것이 아니라, 정확한 모양을 가진 3D 모델이 됩니다.
✨ 왜 이 기술이 특별한가요?
빛과 그림자의 마법: 기존 구름 방식은 그림자를 그리기 어려웠지만, 이제 조각상 방식이 되어 빛이 반사되고 그림자가 생기는 진짜 같은 영상을 만들 수 있습니다.
누구나 다룰 수 있음: 이 기술로 만든 3D 모델은 블렌더 (Blender) 같은 일반적인 프로그램에서 바로 열어서 수정할 수 있습니다. 더 이상 특수한 프로그램이 필요 없습니다.
최적화 (다듬기): 처음에 구름을 조각으로 바꿀 때 생기는 작은 흠집 (아티팩트) 들을 컴퓨터가 다시 다듬어주어, 원래 구름처럼 선명하면서도 조각상처럼 실용적인 모델을 만들어냅니다.
📝 요약
MeshSplats는 "빛과 그림자를 표현하기 어렵고 수정하기 힘든 구름 같은 3D 데이터를, 빛을 반사하고 수정하기 쉬운 조각상 (메쉬) 형태로 변환해주는 기술"입니다.
이제 우리는 3D 장면을 만들 때, 실시간으로 빠르게 보는 것과 빛과 그림자를 완벽하게 표현하는 것, 그리고 모델을 직접 수정하는 것을 모두 한 번에 즐길 수 있게 되었습니다. 마치 구름을 조각상으로 변신시켜, 그 조각상을 가지고 영화처럼 멋진 장면을 찍을 수 있게 된 것과 같습니다.
1. 문제 정의 (Problem Statement)
가우시안 스플래팅 (Gaussian Splatting, GS) 의 한계: 최근 3D 컴퓨터 그래픽스에서 혁신을 이룬 GS 는 3D 장면을 가우시안 원시 (primitives) 집합으로 표현하여 고품질 재구성과 실시간 렌더링을 가능하게 합니다. 그러나 GS 는 기본적으로 래스터화 (Rasterization) 기법에 의존합니다.
레이 트레이싱 (Ray Tracing) 부재: GS 는 그림자, 반사, 간접 조명 등 비일관성 광선 (incoherent rays) 이 필요한 고급 조명 효과를 처리하는 데 본질적인 한계가 있습니다. 기존 GS 기반 방법들은 구형 조화 (Spherical Harmonics, SH) 를 사용하여 뷰 의존적 효과를 근사하지만, 복잡한 조명 환경에서는 흐릿한 반사나 부정확한 그림자를 초래합니다.
기존 대안의 문제점: GS 와 레이 트레이싱을 결합하려는 시도들 (3DGRT, RaySplats 등) 이 존재하지만, 대부분 전용 렌더러가 필요하거나 학습 및 렌더링 환경이 제한적입니다. 또한, 기존 메쉬 기반 방법은 2D 이미지로부터 직접 학습하기 어렵거나 편집이 제한적입니다.
2. 방법론 (Methodology)
저자들은 MeshSplats를 제안하여, 학습된 GS 모델을 기존 컴퓨터 그래픽스 환경 (Blender, Nvdiffrast 등) 에서 렌더링 가능한 메쉬 (Mesh) 형식으로 변환하는 방법을 제시합니다.
핵심 프로세스
GS 에서 메쉬로의 변환 (Transformation):
학습된 3D 가우시안 (또는 2D 평면 가우시안) 을 메쉬 면 (mesh faces) 으로 변환합니다.
Flat Gaussians (2D) 의 경우: 가우시안의 타원 형태를 다각형 (triangle fan) 으로 근사화합니다. 가우시안의 평균 위치, 회전 행렬, 스케일 파라미터를 사용하여 타원의 경계점을 계산하고, 이를 중심으로 삼각형 팬 구조를 생성합니다.
3D Gaussians 의 경우: 타원체 (ellipsoid) 를 3 개의 직교하는 표면 (면) 으로 구성하여 메쉬화합니다. 각 표면은 타원형 단면을 가지며, 이들을 연결하여 3D 구조를 형성합니다.
색상 및 불투명도: 각 메쉬 정점 (vertex) 에 해당 가우시안의 색상 (RGB) 과 불투명도 (opacity) 를 할당합니다. 경계 정점의 불투명도는 선형 보간을 위해 조정됩니다.
두 가지 작동 모드:
GS Prior 모드: 기존 GS 모델을 래퍼 (wrapper) 로 감싸 메쉬로 변환합니다. 추가 학습 없이도 즉시 렌더링이 가능하며, 미세한 아티팩트 보정을 위한 파인튜닝 (fine-tuning) 을 지원합니다.
Mesh Prior 모드: 외부 도구로 추정된 기하학적 메쉬 (Geometry Mesh) 를 기반으로 합니다. MeshSplats 는 이 기하 메쉬 위에 색상과 불투명도가 있는 이산적인 (disjoint) 삼각형들을 배치합니다. 이는 수동 편집과 물리 시뮬레이션에 더 유리합니다.
최적화 및 파인튜닝 (Optimization):
변환된 메쉬를 Nvdiffrast 를 통해 래스터화하고, 깊이 페링 (depth peeling) 기법을 사용하여 투명도와 겹치는 기하학을 처리합니다.
손실 함수 (Loss Function): L1 Loss 와 구조적 유사도 (SSIM) 의 가중 합을 사용하여 최적화합니다.
프루닝 (Pruning): 불투명도가 임계값 이하인 면과 정점을 주기적으로 제거하여 메모리 사용량과 계산 복잡도를 줄입니다.
3. 주요 기여 (Key Contributions)
GS 에서 메쉬로의 변환 기술: 평면 가우시안 (Flat Gaussians) 을 기반으로 한 GS 모델을 레이 트레이싱이 가능한 메쉬 표현으로 직접 변환하는 새로운 방법론을 제시했습니다.
기존 렌더링 환경 호환성: MeshSplats 는 전용 GS 렌더러 없이도 Blender, Nvdiffrast 등 기존 그래픽스 툴에서 렌더링이 가능하여, 그림자, 반사, 물리 시뮬레이션 등 고급 효과를 적용할 수 있게 합니다.
아티팩트 제거 및 정밀도 향상: 변환 과정에서 발생하는 아티팩트를 줄이고 미세한 기하학적 디테일을 개선하는 최적화 파이프라인을 통해, 가우시안 기반 렌더링과 유사하거나 더 나은 품질을 달성했습니다.
유연한 편집성: 메쉬 프리어 (Mesh Prior) 모드를 통해 사용자가 메쉬 구조를 직접 수정하고 편집할 수 있는 가능성을 열었습니다.
4. 실험 결과 (Results)
정량적 평가 (Quantitative): Mip-NeRF360, Tanks and Temples, Deep Blending 데이터셋에서 기존 3DGS, RaySplats, LinPrim 등 SOTA 모델들과 비교했습니다.
GS 기반 래스터화 기술과 비교했을 때, SSIM, PSNR, LPIPS 지표에서 경쟁력 있는 성능을 보였습니다.
특히 Deep Blending (실내 장면) 데이터셋에서 뛰어난 성능을 보이며 복잡한 기하학과 투명도 효과를 잘 처리함을 입증했습니다.
SuGaR(3DGS 기반 메쉬 추출) 과 UV 텍스처 기반 방법보다 렌더링 품질 (PSNR, SSIM) 에서 우위를 점했습니다.
정성적 평가 (Qualitative):
Nvdiffrast 및 Blender EEVEE 엔진에서 렌더링 시 3DGS 와 유사한 고품질 이미지를 생성했습니다.
반사, 그림자, 물리 상호작용 (예: 물과 오브젝트의 상호작용) 이 포함된 시나리오에서 기존 GS 의 한계를 극복하고 현실적인 결과를 보여주었습니다.
최적화 전후 비교에서 'floaters'(불필요한 떠다니는 노이즈) 가 제거되고 구조적 디테일 (예: 자전거 바퀴살) 이 선명하게 재구성됨을 확인했습니다.
5. 의의 및 결론 (Significance & Conclusion)
하이브리드 접근법의 성공: GS 의 빠른 학습 속도와 재구성 능력을 유지하면서, 메쉬 기반 레이 트레이싱의 장점 (고급 조명, 물리 시뮬레이션, 편집성) 을 결합한 성공적인 사례입니다.
실용성: 별도의 전용 렌더러 개발 없이도 기존 산업 표준 툴 (Blender 등) 을 활용할 수 있어, 게임, 영화, VR/AR 등 다양한 3D 그래픽스 분야로의 적용 가능성이 높습니다.
한계점: 대면적의 저텍스처 영역 (예: 하늘) 에서 가우시안의 부드러운 감쇠를 메쉬 보간으로 완벽하게 모사하지 못해 기하학적 단편화나 불투명도 불일치가 발생할 수 있습니다.
요약하자면, MeshSplats 는 3D 가우시안 스플래팅의 한계를 메쉬 기반 렌더링으로 전환함으로써, 고품질 조명 효과와 편집 가능성을 동시에 확보한 획기적인 3D 표현 기법입니다.