Laplace-Beltrami Operator for Gaussian Splatting

1. 연구 배경 및 문제 정의 (Problem)

**3D 가우시안 스플래팅 (3DGS)**은 새로운 뷰 합성 (Novel View Synthesis) 분야에서 렌더링 품질과 실시간 성능 면에서 획기적인 성과를 거두었으나, 기하학적 처리 (Geometry Processing) 작업에는 근본적인 한계가 존재합니다.

• 기하학적 부정확성: 3DGS 최적화는 주로 시각적 충실도 (Photometric consistency) 에 초점을 맞추어, 물체 내부나 자유 공간에 불필요한 가우시안 (Outliers) 이 많이 생성됩니다.
• 기존 방법의 한계:
  • 메쉬 변환: 가우시안 중심을 메쉬로 변환하여 기존 알고리즘을 적용하는 방식은 계산 오버헤드가 크고, 과도한 평활화 (Over-smoothing) 나 노이즈 아티팩트를 유발하며, 가우시안의 방향성 정보 (공분산 행렬) 를 손실합니다.
  • 포인트 클라우드 처리: 가우시안을 단순한 점으로 취급하는 방식은 고밀도의 아웃라이어 (Outliers) 로 인해 기하학적 구조를 제대로 포착하지 못하며, 가우시안의 이방성 (Anisotropic) 특성을 무시합니다.
• 핵심 문제: 가우시안 스플래팅 표현에 내재된 기하학적 정보 (공분산 행렬) 를 활용하면서, 중간 표현 (메쉬 등) 으로 변환하지 않고 직접 **라플라시안 - 벨트라미 연산자 (LBO, Laplace-Beltrami Operator)**를 계산할 수 있는 프레임워크가 부재했습니다.

2. 제안된 방법론 (Methodology)

저자들은 3D 가우시안 스플래팅 표현을 직접적으로 처리하는 새로운 프레임워크를 제안합니다. 이는 아웃라이어 제거와 LBO 공식화 두 가지 핵심 요소로 구성됩니다.

가. 그래프 기반 아웃라이어 제거 (Graph-based Outlier Removal)

• 마할라노비스 거리 (Mahalanobis Distance) 활용: 유클리드 거리 대신 가우시안의 공분산 행렬을 고려한 마할라노비스 거리를 사용하여 이웃 관계를 정의합니다. 이는 가우시안의 이방성 (표면 방향과 수직 방향의 차이) 을 반영하여 표면과 일치하는 가우시안들은 밀집시키고, 아웃라이어는 멀리 배치합니다.
• 대칭적 이웃 그래프: 두 가우시안 $p_i, p_j$가 서로의 $k$-최근접 이웃 (Mahalanobis 기준) 일 때만 간선을 연결하는 **양방향 제약 (Bidirectional Constraint)**을 적용합니다.
• 연결 성분 필터링: 생성된 그래프에서 가장 큰 연결 성분 (Largest Connected Component) 만 선택하고 나머지를 제거하여 기하학적 노이즈를 제거합니다.

나. 가우시안 라플라시안 (Gaussian Laplacian) 공식화

• 직접적인 LBO 계산: 메쉬나 포인트 클라우드가 아닌 가우시안 중심과 공분산 행렬을 기반으로 LBO 를 직접 정의합니다.
• 정규화 벡터 추정: 기존 포인트 클라우드 LBO 가 노이즈에 취약한 법선 추정 대신, 해당 가우시안 분포의 공분산 행렬에서 최소 고유값에 해당하는 고유벡터를 법선으로 사용합니다. (가우시안이 표면에 평평하게 정렬되어 있다는 가정 하에 유효함)
• 적응형 훈련 (Adaptive Training): 훈련 과정 (3000 iteration 마다) 에 아웃라이어 제거를 통합하여, 최종적으로 기하학적으로 깨끗하고 컴팩트한 3DGS 표현을 얻습니다.

3. 주요 기여 (Key Contributions)

1. 가우시안 스플래팅용 LBO 정의: 공분산 행렬에 인코딩된 기하학적 정보를 완전히 활용하여, 중간 변환 없이 직접 계산 가능한 새로운 LBO 정의를 제시했습니다.
2. 가우시안 분포 전용 아웃라이어 제거: 마할라노비스 거리를 기반으로 한 그래프 필터링을 통해 기하학적 구조를 보존하면서 노이즈를 효과적으로 제거하는 방법을 제안했습니다.
3. 광범위한 실험적 검증: 측지선 거리 (Geodesic distance), 곡률 계산, 형태 매칭 (Shape matching) 등 다양한 기하학적 처리 작업에서 기존 포인트 클라우드 기반 및 메쉬 기반 베이스라인보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 TOSCA, Shiny Blender, DTU 등 다양한 데이터셋에서 실험을 수행했습니다.

• 고유값 (Eigenvalues) 분석: 제안된 방법 (Mahalanobis + Normal) 은 그라운드 트루스 메쉬의 스펙트럼과 가장 유사한 고유값 분포를 보였으며, 특히 저차 고유값에서 메쉬 기반 방법보다 더 정확했습니다.
• 곡률 (Curvature) 계산: 추출된 메쉬는 아티팩트로 인해 곡률 계산 오류가 컸으나, 제안된 방법은 그라운드 트루스에 훨씬 근접한 곡률을 계산했습니다.
• 측지선 거리 (Geodesic Distance): 열 확산 (Heat Diffusion) 기반 측지선 계산에서 포인트 클라우드 방법보다 월등히 우수했으며, 추출된 메쉬 기반 방법과도 경쟁력 있거나 더 나은 결과를 보였습니다.
• 형태 매칭 (Shape Matching): 함수적 맵 (Functional Maps) 프레임워크에서의 대응 관계 정확도가 포인트 클라우드 방법보다 높게 나타났습니다.
• 표현의 효율성: 적응형 훈련을 적용한 3DGS 는 재구성된 메쉬보다 10 배 이상 적은 점 (스플랫) 수로 더 깨끗한 기하학을 유지하며, 렌더링 품질 (PSNR) 은 거의 저하되지 않았습니다.

5. 의의 및 결론 (Significance)

• 표현의 본질적 활용: 3D 가우시안 스플래팅의 핵심인 **공분산 행렬 (방향성 정보)**을 기하학적 처리에 직접 활용함으로써, 불필요한 메쉬 변환 과정과 이로 인한 정보 손실/오버헤드를 제거했습니다.
• 기하학적 처리의 확장: 렌더링을 넘어 3DGS 를 3D 재구성, 형태 분석, 변형 등 다양한 기하학적 처리 작업에 적용할 수 있는 토대를 마련했습니다.
• 컴팩트하고 깨끗한 표현: 훈련 과정에 필터링을 통합함으로써, 노이즈가 제거되고 매우 컴팩트한 3D 표현을 생성할 수 있음을 보여주었습니다.

이 연구는 3D 가우시안 스플래팅이 단순한 렌더링 도구를 넘어, 컴퓨터 비전과 그래픽스 전반에 걸쳐 강력한 기하학적 표현 도구로 자리 잡을 수 있음을 시사합니다.