기술 요약: 학습된 밀도 제어를 갖춘 생성형 3D 가우스

문제 제기

현재의 3D 생성 모델은 표현력과 효율성 사이의 근본적인 트레이드오프에 직면해 있습니다. 3D 가우스 스플래팅 (3DGS) 은 유연성으로 인해 고충실도 실시간 렌더링을 위한 매력적인 표현으로 부상했지만, 기존 생성 접근법들은 그 잠재력을 최대한 활용하는 데 어려움을 겪고 있습니다.

• 고정 구조의 한계: 대부분의 생성 방법은 3D 가우스를 고정된 볼륨 격자, 배열, 또는 픽셀 정렬 패치로 제한합니다. 이러한 접근 방식은 국소 기하학적 복잡도와 관계없이 고정된 수의 가우스를 할당하여, 단순한 영역에서는 용량이 낭비되고 복잡한 영역에서는 세부 정보가 부족해집니다.
• 미분 불가능한 밀도 제어: 표준 3DGS 의 우수한 품질은 적응적으로 프리미티브를 집중시키는 반복적이고 미분 불가능한 밀도 증가 및 가지치기 휴리스틱에서 비롯됩니다. 이러한 휴리스틱은 벡터화하기 어렵고 엔드 - 투 - 엔드 생성 학습 파이프라인에 쉽게 통합될 수 없습니다.
• 확산 모델에서의 순열 모호성: 무순서 3D 토큰 집합에 잠재 확산 모델을 적용하는 것 (3D 생성의 일반적인 패러다임) 은 순열 모호성에 시달립니다. 고유한 순서가 부재하면 상충되는 기울기 신호가 발생하여 수렴 속도가 느려지고 생성 품질이 저하됩니다.

방법론

저자들은 적응형 렌더링 프리미티브와 확장 가능한 생성 모델링을 연결하는 새로운 프레임워크인 **밀도 샘플링 가우스 (DeG)**를 제안합니다. 파이프라인은 표현 학습을 위한 DeG-VAE와 생성 합성을 위한 VecSeq Diffusion Transformer라는 두 가지 주요 구성 요소로 구성됩니다.

1. 밀도 샘플링 가우스 VAE(DeG-VAE)

핵심 혁신은 프리미티브의 공간 분포를 그 속성으로부터 분리하는 것입니다.

• 확률적 밀도 디코딩: 고정된 좌표를 회귀하는 대신, 디코더는 3D 공간 (옥트리로 매개변수화됨) 에 대한 학습 가능한 조건부 확률 밀도 함수 $q_\theta(x|Z)$를 예측합니다. 가우스 중심은 이 밀도에서 동적으로 샘플링됩니다. 이를 통해 모델은 복잡한 영역에는 더 많은 프리미티브를, 단순한 영역에는 더 적은 프리미티브를 할당할 수 있습니다.
• 효율적인 옥트리 샘플링: 조밀한 격자의 계산 비용을 피하기 위해 밀도는 $L$-레벨 옥트리에 대해 인수분해됩니다. 샘플링은 학습된 로짓을 기반으로 활성 셀이 재귀적으로 분할되는 효율적인 조상 샘플링을 통해 수행되며, 자연스럽게 빈 가지가 가지치기됩니다.
• 국소 확장: 미세한 세부 사항을 포착하기 위해 각 샘플링된 앵커 포인트는 학습된 국소 오프셋을 가진 $K$개의 개별 가우스를 생성하여 계층적 표현 ($N = P \times K$개의 총 스플랫) 을 만듭니다.
• 미분 가능한 밀도 최적화: 주요 과제는 렌더링 피드백을 사용하여 확률적 밀도 $q_\theta$를 최적화하는 것입니다. 샘플링은 미분 불가능하므로, 저자들은 렌더 손실 기여 기울기를 유도합니다.
  • 이 기울기는 이산적인 밀도 증가/가지치기 휴리스틱에 대한 완전한 미분 가능한 대응물로 작용합니다.
  • 이는 "차이 보상" 메커니즘을 활용합니다: 각 샘플링된 앵커가 렌더링 손실에 미치는 한계 기여도를 해당 앵커가 있을 때와 없을 때의 손실을 비교하여 추정합니다.
  • 이 신호는 역전파되어 프리미티브가 재구성 오차를 현저히 줄이는 영역에서 확률 밀도를 강화하며, 이미지 재구성 손실만을 사용하여 밀도 함수의 엔드 - 투 - 엔드 최적화를 가능하게 합니다.

2. VecSeq Diffusion Transformer

생성 합성을 가능하게 하기 위해 저자들은 DeG 표현에 잠재 확산 모델을 학습시킵니다.

• VecSeq(벡터 시퀀스): 무순서 잠재 토큰의 순열 모호성을 해결하기 위해 저자들은 고유한 재인덱싱 메커니즘을 제안합니다.
  • 잠재 토큰은 **최적 수송 (OT)**을 사용하여 결정론적이고 낮은 불일치를 가진 3D 소볼 (Sobol) 시퀀스에 매핑됩니다.
  • 이는 각 토큰을 특정 공간 영역에 고정시켜 모호한 집합 생성 문제를 견고한 시퀀스 생성 작업으로 변환합니다.
  • 소볼 앵커에서 파생된 위치 임베딩이 확산 트랜스포머에 주입되어 학습을 안정화하고 수렴을 가속화합니다.

주요 기여

1. DeG 표현: 학습 가능한 밀도 함수에서 중심을 샘플링함으로써 가변 크기 출력과 가우스의 적응형 할당을 지원하는 3D 표현으로, 고정 구조 제약을 제거합니다.
2. 렌더 손실 기여 기울기: 미분 불가능한 휴리스틱 없이 최적의 프리미티브 배치를 학습할 수 있도록 확률적 밀도 함수의 엔드 - 투 - 엔드 최적화를 가능하게 하는 효율적이고 미분 가능한 신호입니다.
3. VecSeq 메커니즘: 토큰을 결정론적 공간 구조에 고정시켜 점 집합에 대한 확산 학습을 안정화하는 잠재 재인덱싱 전략으로, 더 빠른 수렴과 최첨단 생성 품질을 달성합니다.

결과

Toys4K와 Objaverse 데이터셋에 대한 광범위한 실험은 제안된 방법의 유효성을 입증합니다:

• 재구성 품질: 비교 가능한 가우스 예산 (예: 약 262K 개의 가우스) 하에서 DeG-VAE 는 PSNR, SSIM, LPIPS 측면에서 TRELLIS 및 UniLat3D 와 같은 베이스라인을 크게 능가합니다. 적응형 할당은 DeG 가 베이스라인과 동일한 시각적 충실도를 달성하는 데 훨씬 적은 수의 가우스 (경우에 따라 절반 미만) 를 사용할 수 있게 합니다.
• 가변 해상도: 이 모델은 단일 잠재 코드에서 임의의 수의 가우스를 디코딩할 수 있습니다. 시각적 품질은 샘플링된 앵커의 수에 따라 매끄럽게 확장되어 렌더링 속도와 충실도 사이의 균형을 조정할 수 있습니다.
• 생성 성능: 단일 이미지에서 3D 로 생성하는 작업에서, 이 방법은 렌더링된 다중 뷰 이미지에서 이미지 조건 정렬 (CLIP-I) 과 분포 지표 (FD, KD) 에서 최첨단 점수를 달성하여 메쉬 기반 및 기타 가우스 기반 생성 모델을 모두 능가합니다.
• 어블레이션 연구:
  • 렌더 손실 기여 기울기 ($\hat{L}_{render}$) 를 제거하면 적응형 할당이 중요한 저예산 영역에서 특히 재구성이 저하됩니다.
  • VecSeq 재순서를 제거하고 (무순서 VecSet 사용) 생성 품질이 크게 저하되고 수렴 속도가 느려져 고유한 순서의 필요성이 확인됩니다.

중요성과 주장

이 논문은 고충실도 3D 가우스 생성에 대한 실용적이고 확장 가능한 기반을 확립한다고 주장합니다. 미분 불가능한 휴리스틱을 학습 가능하고 렌더링 최적화된 밀도로 대체함으로써, 이 작업은 비구조화된 프리미티브의 구조적 적응성과 격자 기반 방법의 학습 안정성을 성공적으로 결합합니다.

저자들은 DeG 를 제어 가능하고 자원 인식적인 3D 콘텐츠 합성을 가능하게 하는 솔루션으로 위치시킵니다. 이를 통해 단일 학습된 모델이 샘플링 예산을 조정하기만 하면 모바일 애플리케이션용 경량 에셋이나 고충실도 렌더링용 초밀집 에셋을 생성할 수 있습니다. 현재 이 방법은 3DGS 를 대상으로 하지만, 저자들은 잠재 공간이 형태와 질감을 충실히 재구성한다고 지적하며 향후 질감 메쉬 생성으로의 가능성을 시사합니다. 저자들은 단일 이미지 추론에서 뒷면 영역과 관련된 한계를 인정하지만, 학습된 밀도 제어의 견고함과 VecSeq 공식의 효율성을 강조합니다.