💻 computer science

Learning Unified Representation of 3D Gaussian Splatting

이 논문은 고유한 매핑, 채널 균질성, 그리고 내재적 기하학적 및 색상 구조의 보존을 보장함으로써 가우시안 파라미터의 학습 난이도를 극복하기 위해 연속적인 부분 다양체 필드(continuous submanifold fields)에 기반한 새로운 3D 가우시안 스플래팅 임베딩 표현을 제안한다.

원저자: Yuelin Xin, Yuheng Liu, Xiaohui Xie, Xinke Li

게시일 2026-02-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuelin Xin, Yuheng Liu, Xiaohui Xie, Xinke Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터에게 장난감 자동차나 방 전체와 같은 3D 물체를 이해하고 재현하는 법을 가르치려 한다고 상상해 보세요. 현재 가장 인기 있는 방법 중 하나는 **3D 가우시안 스플래팅(3D Gaussian Splatting)**이라고 불립니다. 이 방법을 수백만 개의 작고 흐릿한 색깔을 가진 풍선(가우시안)들로 장면을 묘사하는 것이라고 생각하면 됩니다. 각 풍선은 특정한 위치, 크기, 회전, 그리고 색상을 가지고 있습니다.

이 논문은 이 "풍선"들이 그림을 그리는 데는 훌륭하지만, 컴퓨터가 새로운 그림을 학습하거나, 이해하거나, 생성하도록 가르치는 데는 형편없다고 주장합니다. 그 이유는 다음과 같으며, 저자들은 그 대신 다른 대안을 제안합니다.

문제점: "혼란스러운 설명서"

현재 컴퓨터는 이 풍선들을 설명하는 가공되지 않은 숫자(좌표, 회절각 등)를 보고 학습합니다. 저자들은 이것이 마치 세 가지 주요 결함이 있는 설명서를 가지고 언어를 배우려는 것과 같다고 말합니다.

"중의적 의미" 문제 (비유일성):
나침반을 상상해 보세요. 로봇에게 "북쪽을 향하라"고 말하면 로봇은 무엇을 해야 할지 압니다. 하지만 현재의 시스템에서는 "북쪽을 향하는 것"을 두 가지 완전히 다른 숫자 집합으로 설명할 수 있습니다 (예를 들어, "왼쪽으로 90도 회전"과 "오른쪽으로 270도 회전"이라고 말하는 것과 같습니다). 두 지시 모두 같은 결과를 낳지만, 컴퓨터는 이를 완전히 다른 것으로 인식합니다. 이는 학습 과정을 혼란스럽게 만들어 컴퓨터가 길을 잃거나 잘못된 것을 배우게 만듭니다. 마치 정답 "5"를 "2+3" 또는 "10-5"라고 쓸 수 있는데, 선생님이 이 둘을 서로 관련 없는 개념으로 취급하며 수학을 가르치는 것과 같습니다.
"사과와 오렌지" 문제 (수치적 이질성):
풍선을 설명하는 숫자들은 제각각입니다(엉망입니다). 어떤 숫자는 매우 큰 반면(큰 방 안에 있는 풍선의 위치처럼), 어떤 숫자는 매우 작고 엄격하게 제한되어 있습니다(0과 1 사이여야 하는 회전각처럼). 이는 마치 물 한 양동이와 모래 한 양동이를 섞으려고 하면서, 그것들이 하나의 매끄러운 혼합물이 될 것이라고 기대하는 것과 같습니다. 컴퓨터는 이러한 서로 맞지 않는 척도를 효과적으로 처리하는 데 어려움을 겪습니다.
"잘못된 형태" 문제:
어떤 숫자들은 기묘하고 굽은 수학적 형태(매니폴드) 위에 존재하지만, 컴퓨터는 보통 데이터가 평평하고 직선적인 격자 위에 있다고 가정합니다. 이러한 굽은 숫자를 평평한 격자에 억지로 구겨 넣는 것은 농구공을 종이처럼 평평하게 만들려고 하는 것과 같으며, 이 과정에서 원래의 모양과 구조를 잃게 됩니다.

결과: 연구자들이 AI에게 새로운 3D 장면을 생성하거나 데이터를 압축하는 과제를 수행하도록 훈련시킬 때, 이 가공되지 않은 숫자들을 사용하면 AI가 불안정해지고, "떨림(jittery)" 현상이 발생하며, 새로운 상황에 제대로 적응하지 못하게 됩니다.

해결책: "완벽한 그림자" (서브매니폴드 필드)

저자들은 이 풍선들을 묘사하는 새로운 방법을 제안합니다. 컴퓨터에게 가공되지 않은 지저кти한 설명서(파라미터)를 주는 대신, 풍선의 그림자나 표면으로 풍선을 묘사할 것을 제안합니다.

하나의 풍선을 가져다가 빛을 비추어 그 모양과 색상을 완벽하고 매끄러운 2D 표면("등 확률 표면", iso-probability surface)에 투영한다고 상상해 보세요.

유일함: 모든 고유한 풍선은 고유한 그림자를 만듭니다. 어떤 풍선이 어떤 그림자를 만들었는지 혼동할 일이 없습니다.
균일함: 그림자는 색상과 모양이 있는 매끄럽고 연속적인 장(field)입니다. 원래의 풍선이 크든 작든 상관없이, 그림자는 항상 깔끔하고 일관된 표면을 유지합니다.
기하학적임: 이 그림자는 사물의 3D 형태를 자연스럽게 존중하며, 기하학적 구조를 온전히 유지합니다.

저자들은 이를 **"서브매니폴드 필드 표현(Submanifold Field Representation)"**이라고 부릅니다. 이는 무질서하고 혼란스러운 숫자 목록을 이 표면 위에 놓인 깨끗하고 일관된 "색칠된 점 구름(colored point cloud, 색상이 있는 점들의 집합)"으로 변환합니다.

어떻게 컴퓨터를 가르쳤는가

이 방식이 작동하도록 만들기 위해, 그들은 **변분 오토인코더(Variational Autoencoder, SF-VAE)**라는 특별한 번역기를 구축했습니다.

인코더(Encoder): 무질서한 가공되지 않은 풍선 데이터를 가져와서, 완벽한 "그림자"(서브매니폴드 필드)를 계산한 다음, 이 그림자를 깔끔한 32개의 숫자로 된 "ID 카드"(임베딩)로 압축합니다.
디코더(Decoder): 이 ID 카드를 가져와서 그림자를 재구성한 다음, 그 그림자를 다시 원래의 풍선 데이터로 변환하여 렌더링할 수 있게 합니다.

또한, 두 풍생 사이의 유사성을 측정하는 새로운 방법인 **"매니폴드 거리(Manifold Distance)"**를 발명했습니다. 이는 단순히 가공되지 않은 숫자를 비교하는 대신(숫자 비교는 오해를 불러일으킬 수 있음), "그림자"가 인간의 눈에 얼마나 비슷하게 보이는지를 측정합니다.

무엇을 발견했는가

이 논문은 새로운 "그림자" 방법을 사용하는 것이 엄청난 개선을 가져온다고 주장합니다.

더 나은 품질: 3D 장면을 재건할 때, 새로운 방법은 기존 방식보다 훨씬 더 선명하고 정확한 이미지(높은 PSNR 및 SSIM 점수)를 만들어냈습니다.
더 높은 안정성: 컴퓨터 훈련이 훨씬 더 매끄러웠습니다. 컴퓨터는 "중의적 의미"나 서로 맞지 않는 숫자들 때문에 혼란을 겪지 않았습니다.
더 뛰어난 추론 능력: 무작위로 만들어진 풍선들로 AI를 훈련시킨 후, 실제 세계의 물체(의자나 방 등)를 인식하도록 요청했을 때, 새로운 방법은 기존 방식보다 훨씬 더 잘 해냈습니다. AI는 단순히 지저분한 숫자를 암기하는 것이 아니라 형태의 본질을 학습했습니다.
더 매끄러운 전환: 한 물체에서 다른 물체로 형태를 변화시키려 할 때, 새로운 방법은 이를 매끄럽게 수행했습니다. 기존 방식은 전환 과정에서 물체가 "떨리거나" 글리치(glitch) 현상을 일으켰습니다.

요약

이 논문의 핵심은 다음과 같습니다: "3D 풍선의 무질서하고 혼란스러운 가공되지 않은 숫자로 컴퓨터를 가르치려 하지 마세요. 대신, 그 풍선들이 드리우는 깨끗하고 유일하며 매끄러운 '그림자'를 통해 가르치세요. 이렇게 하면 학습이 더 빨라지고, 더 안정적이며, 훨씬 더 나은 3D 결과를 만들어낼 수 있습니다."

기술 요약: 3D 가우시안 스플래팅의 통합 표현 학습

문제 정의

3D 가우시안 스플래팅(3DGS)은 고충실도, 실시간 3D 재구성 및 렌더링을 위한 강력한 기술로 자리 잡았으나, 고유의 파라미터화( $\theta = \{\mu, q, s, c, o\}$ )는 신경망의 학습 공간으로 사용될 때 근본적인 문제를 야기합니다. 저자들은 표준 3DGS 파라미터와 신경 구조의 귀납적 편향(inductive biases) 사이의 세 가지 결정적인 불일치를 식별했습니다:

비유일성 (모호성): 파라미터에서 렌더링된 출력으로의 매핑이 일대일이 아닙니다. 쿼터니언 부호 쌍성(quaternion sign duality, $q$ 와 $-q$ 가 동일한 회전을 나타내는 현상) 및 대칭성에 의한 변동성 등의 문제는 "임베딩 충돌(embedding collisions)"을 생성합니다. 동일한 시각적 출력을 생성하는 서로 다른 파라미터 입력은 상충하는 감독 신호(supervision signals)를 생성하여 학습 불안정성과 낮은 수렴도를 초래합니다.
수치적 이질성 (Numerical Heterogeneity): 파라미터 구성 요소들은 매우 다양한 크기와 분포를 가집니다 (예: $\mathbb{R}^3$ 공간의 공간 위치 vs $SO(3)$ 상의 단위 정규화된 쿼터니언). 이는 표준 신경망에서 효과적인 그래디언트 흐름에 필요한 균질한 특징 분포 가정을 위반합니다.
매니폴드 불일치 (Manifold Mismatch): 파라미터들은 서로 다른 수학적 매니폴드(위치의 유클리드 공간, 회전의 리 군(Lie group), 색상의 구면 조화 함수)에 존재합니다. 이러한 비유클리드 변수를 표준 유클리드 특징 공간에 강제로 밀어 넣는 것은 고유의 기하학적 구조를 깨뜨려, 표현을 압축, 규제 또는 효과적으로 일반화하기 어렵게 만듭나다.

이러한 한계점들은 불안정한 인코더, 잠재 공간 보간 시의 기하학적 "지터링(jitters)", 그리고 노이즈에 대한 낮은 강건성을 초래하여 생성, 압축, 편집과 같은 다운스트림 작업을 방해합니다.

방법론

이러한 문제를 해결하기 위해, 본 논문은 등확률 표면(iso-probability surface) 위에 정의된 연속적인 필드를 통해 가우시안 프리미티브의 고유 정보를 캡슐화하는 **서브매니폴드 필드 표현(Submanifold Field Representation)**을 제안합니다.

1. 서브매니폴드 필드 표현 ( $E$ ):
각 가우시안 프리미티브는 원시 파라미터 대신 $(M, F)$ 쌍으로 표현됩니다:

등확률 표면 ( $M$ ): $(x - \mu)^\top \Sigma^{-1} (x - \mu) = r^2$ 방정식에 의해 정의되는 2D 서브매니폴드(타원체)이며, 여기서 $r$ 은 고정된 반지름입니다. 이 표면은 기하학적 형상과 방향을 포착합니다.
색상 필드 ( $F$ ): $M$ 위의 점들을 원래의 구면 조화 계수에 기반한 뷰 의존적 색상으로 매핑하는 함수입니다.
이 공식화는 가우시안의 복사 휘도 필드(radiance field)와 그 표현 사이의 증명 가능한 유일한 일대일 대응 관계를 확립하여 파라미터 모호성을 제거합니다.

2. 서브매니폴드 필드 변이형 오토인코더 (SF-VAE):
이 연속적인 필드로부터 임베딩을 학습하기 위해, 저자들은 VAE 프레임워크를 설계했습니다:

이산화 (Discretization): 연속적인 필드를 등확률 표면에서 $P$ 개의 점을 균일하게 샘플링하여 컬러 포인트 클라우드로 이산화합니다.
인코더 (Encoder): PointNet 기반 네트워크가 포인트 클라우드를 잠재 벡터 $z$ 로 인코딩합니다.
디코더 (Decoder): 두 개의 암시적 신경망(implicit neural networks)이 원래의 필드를 재구성합니다:
- 좌표 변환 네트워크 $g_c$ 는 잠재 벡터와 단위 구 좌표를 3D 위치로 매핑합니다.
- 색상 필드 네트워크 $g_f$ 는 이 위치들에 대한 색상을 예측합니다.
파라미터 복구 (Parameter Recovery): 디코딩된 포인트 클라우드로부터 공분산 행렬을 위한 주성분 분석(PCA)과 색상 계수를 위한 구면 조화 적합(spherical harmonic fitting)을 사용하여 원래의 가우시안 파라미터( $\theta$ )를 복구합니다.

3. 매니폴드 거리 (M-Dist):
저자들은 서브매니폴드 필드 간의 유사성을 측정하기 위해 Wasserstein-2 거리(최적 운송, Optimal Transport)에 기반한 새로운 손실 함수를 도입합니다. 이 메트릭은 공간적 거리와 색상 차이를 결과적으로 함께 고려하며, 표준 파라미터 공간 거리(예: L1)보다 지각적 품질과 더 높은 상관관계를 제공합니다.

주요 기여

한계의 공식적 규명: 본 논문은 비유일성과 수치적 이질성이 신경 학습의 근본적인 장벽임을 공식적으로 식별하고 증명했습니다.
통합 표현: 가우시안 프리미티브의 유일하고 기하학적으로 일관되며 수치적으로 안정적인 인코딩을 제공하는 서브매니폴드 필드 표현을 제안합니다.
학습 프레임링: 매니폴드 거리 메트릭을 포함하는 SF-VAE 프레임워크를 개발하여, 이 통합된 공간에서의 학습이 파라미터 기반 베이스라인보다 우수한 결과를 얻음을 입증했습니다.

실험 결과

저자들은 도메인 불변성을 보장하기 위해 무작위로 생성된 가우시안 프리미티브 데이터셋에서 훈련된 자체 구현 VAE 프레임워크를 사용하여 방법을 평가했습니다.

재구성 품질: 객체 수준(ShapeSplat) 및 장면 수준(Mip-NeRF 360) 데이터셋 모두에서 서브매니폴드 필드 표현이 파라미터 기반 베이스라인을 크게 능가했습니다.
- ShapeSplat에서 SF-VAE는 파라미터 베이스라인의 37.512 대비 63.408의 PSNR을 달성했습니다.
- Mip-NeRF 360에서 SF-VAE는 파라미터 베이스라인의 18.818 대비 29.833의 PSNR을 달성했습니다.
- 지각적 지표(SSIM, LPIPS) 및 제안된 M-Dist 또한 상당한 개선을 보여주었습니다.
제로샷 일반화 (Zero-Shot Generalization): 합성 무작위 데이터로 훈련된 모델은 실제 장면에서도 효과적으로 일반화되었으며, 특정 실제 도메인에서 훈련되어 다른 도메인으로 전이된 모델보다 우수한 성능을 보였습니다. 이는 이 표현 방식이 도메인 특화된 사전 지식을 제거함을 시사합니다.
강건성 (Robustness): 서브매니폴드 임베딩 공간은 노이즈에 훨씬 더 강건합니다. 잠재 공간에 노이즈를 추가했을 때, 파라미터 임베딩에 비해 재구성 오차(M-Dist로 측정)가 훨씬 작았습니다.
잠재 공간 규칙성 (Latent Space Regularity): SF-VAE 잠재 공간에서의 선형 보간은 매끄러운 기하학적 전이를 생성하는 반면, 파라미터 보간은 회전과 스케일에서 부자연스러운 "지터링(jitters)"을 발생시킵니다.
다운스트림 적용 가능성:
- 비지도 클러스터링 (Unsupervised Clustering): SF 임베딩은 원시 파라미터에 비해 그래프 클러스터링 작업에서 더 명확한 의미론적 분리를 보여줍니다.
- 가우시안 신경 필드 (GNF): SF 임베딩을 신경 필드의 타겟으로 사용할 경우, 원시 파라미터를 직접 회귀할 때보다 더 높은 시각적 충실도(예: ShapeSplat에서 PSNR 58.6 vs 51.6)를 얻습니다.

의의 및 주장

본 논문은 제안된 서브매니폴드 필드 표현이 3DGS 프리미티브와 신경 학습 사이의 근본적인 이론적 불일치를 해결한다고 주장합니다. 이 방식은 유일한 매핑을 강제하고 데이터의 기하학적 구조를 존중함으로써 다음을 가능하게 합니다:

안정적인 학습: 임베딩 충돌 제거를 통해 더 나은 수렴을 유도합니다.
고충실도 학습: 표현 방식이 고유한 기하학적 및 광도 구조를 보존하여 우수한 재구성 및 일반화를 가능하게 합니다.
통합 프레임워크: 합성 데이터로 훈련된 단일 모델이 다양한 도메인(객체 및 장면)에 걸쳐 일반화될 수 있음을 보여주며, 이는 진정한 통합 3DGS 표현을 향한 경로를 제시합니다.

저자들은 이 접근 방식이 생성 모델링, 압축, 의미론적 이해를 포함한 미래의 학습 기반 3DGS 작업에 대한 원칙적인 토대를 제공한다고 결론지으며, 단일 프리미티브 모델링의 한계와 장면 수준 인코더에 대한 향후 연구 필요성을 인정했습니다.