기술 요약: SplatWeaver

문제 정의

일반화 가능한 새로운 뷰 합성 (NVS) 은 장면별 최적화 없이 보정되지 않은 입력 이미지로부터 보이지 않는 뷰를 렌더링하는 것을 목표로 합니다. 최근 3D 가우시안 스플래팅 (3DGS) 기반의 피드포워드 접근 방식은 효율성과 품질을 개선했으나, 대부분 균일한 할당 전략에 의존합니다. 이러한 방법들은 각 픽셀 또는 볼륨에 고정된 수의 가우시안을 할당하여 실제 세계 장면의 공간적으로 변하는 복잡성을 무시합니다. 이러한 균일성은 두 가지 주요 문제를 초래합니다:

1. 중복성: 매끄러운 영역 (예: 평평한 벽) 은 가우시안 프리미티브로 과도하게 채워져 계산 자원과 저장 공간을 낭비합니다.
2. 과소적합: 정교한 질감, 복잡한 기하학적 구조, 고주파 세부 사항을 가진 영역은 충분한 용량이 부족하여 렌더링 충실도가 낮아집니다.

불투명도 기반 가지치기나 토크-쿼리 메커니즘과 같은 기존 솔루션들은 장면 복잡성에 따라 프리미티브를 동적으로 재할당하지 못하거나, 다양한 장면에서 확장성을 제한하는 사전 정의된 예산에 제약받습니다.

방법론

저자들은 장면 복잡성에 기반하여 피드포워드 방식으로 가우시안 프리미티브를 적응적으로 할당하는 일반화 가능한 NVS 프레임워크인 SplatWeaver를 제안합니다. 핵심 아키텍처는 다음과 같은 구성 요소로 이루어집니다:

1. 카디널리티 가우시안 전문가 및 픽셀 단위 라우팅

균일한 파라미터 세트를 예측하는 대신, SplatWeaver 는 카디널리티 가우시안 전문가를 도입합니다.

• 전문가 특화: 각 전문가 $E_e$가 0 에서 $M$(경험적으로 3 으로 설정됨) 까지의 특정 수 (카디널리티) 의 가우시안 프리미티브를 예측하도록 설계된 전문가 세트를 구성합니다. 여기에는 매끄러운 영역에서 희소성을 가능하게 하는 0 개의 프리미티브를 예측하는 "널 전문가 (Null Expert)"가 포함됩니다.
• 라우팅 메커니즘: 픽셀 단위 라우터가 각 공간 위치에 가장 적합한 전문가를 할당합니다. 전체 가우시안 파라미터를 직접 회귀하는 대신, 각 전문가가 공간 위치 ($\mu$) 와 잠재 특징 ($F_l$) 으로 구성된 "숨겨진 가우시안" 세트를 예측합니다.
• 파라미터 정제: 최종 가우시안 속성 (스케일, 회전, 불투명도, 색상) 은 숨겨진 가우시안 특징을 해당 픽셀 단위 특징 및 $K$개의 이웃 숨겨진 가우시안의 특징과 어텐션 기반 메커니즘을 사용하여 집계함으로써 유도됩니다. 이는 물리적 일관성과 맥락 인식 정밀도를 보장합니다.

2. 주파수 사전 지시

라우팅 프로세스를 안정화하고 복잡성 인식 할당을 보장하기 위해, 프레임워크는 주파수 사전 지시 모듈을 통합합니다:

• 고주파 사전 지식: 시스템은 입력 이미지로부터 이산 웨이블릿 변환 (DWT) 을 사용하여 고주파 에너지 맵을 추출합니다. 이러한 맵은 고주파 에너지가 더 조밀한 가우시안 커버링이 필요한 구조적 복잡성과 상관관계가 있으므로 보조 사전 지식으로 작용합니다.
• 지시 및 정규화: 주파수 맵은 라우터를 안내하기 위해 픽셀 특징을 변조합니다. 또한, 훈련의 전반부 동안 라우팅 정규화 손실이 도입됩니다. 이 손실은 고주파 에너지를 가진 픽셀이 고카디널리티 전문가로, 저에너지 픽셀이 저카디널리티 전문가 (또는 널 전문가) 로 라우팅되도록 장려하여 "복잡한 곳에서는 조밀하고, 매끄러운 곳에서는 희소하다"는 분포를 확립합니다.

3. 훈련 목적 함수

모델은 장면 기하학, 외관, 카메라 포즈를 공동으로 복원하도록 훈련됩니다. 총 손실 함수는 다음을 결합합니다:

• 렌더링 손실 (MSE 및 지각 손실).
• 라우팅 정규화 손실 (초기 전문가 선택을 안내하기 위해).
• 예산 정규화 손실 (픽셀 수 대비 총 가우시안 수를 초과하는 것을 패널티로 부과하기 위해).
• 포즈 및 깊이 증류 손실 (사전 훈련된 VGGT 사용).

주요 기여

1. 적응형 할당 프레임워크: 고정된 예산이나 장면별 최적화가 필요 없이 피드포워드 방식으로 장면 복잡성에 따라 가우시안 프리미티브를 동적으로 할당하는 SplatWeaver 제안.
2. 카디널리티 가우시안 전문가: 다양한 수 (0 에서 $M$) 의 프리미티브를 예측하는 특화된 전문가를 라우팅하여 유연하고 적응적인 분포를 가능하게 하는 라우팅 패러다임 도입.
3. 주파수 인식 라우팅: 고주파 구조적 단서를 활용하여 전문가 선택을 안정화하고 물리적으로 타당한 할당을 촉진하는 주파수 사전 지시 모듈 및 라우팅 정규화 개발.
4. 고충실도 효율성: 최신 방법들에 비해 훨씬 적은 수의 가우시안 프리미티브로 더 충실한 렌더링을 제공함을 입증.

실험 결과

다양한 뷰 설정 (4, 8, 16, 24 개의 입력 뷰) 하에서 DL3DV, RealEstate10K, Mip-NeRF 360을 포함한 다양한 벤치마크에서 광범위한 실험이 수행되었습니다.

• 성능: SplatWeaver 는 PSNR, SSIM, LPIPS 지표에서 AnySplat, EcoSplat, C3G 와 같은 최신 방법들을 일관되게 능가합니다. 예를 들어, 16 개의 뷰를 사용한 DL3DV 벤치마크에서 SplatWeaver 는 20.11 의 PSNR 을 달성하여 AnySplat(19.09) 을 능가하면서도 훨씬 적은 수의 가우시안 (451k 대 1522k) 을 사용했습니다.
• 효율성: 이 방법은 우수한 품질 - 효율성 트레이드오프를 달성합니다. 압축된 변형 (SplatWeaver†) 은 표준 방법의 가우시안 수의 10% 미만을 사용하면서도 경쟁력 있는 성능을 유지합니다.
• 일반화: 모델은 미세 조정 없이 RealEstate10K 및 Mip-NeRF 360 에서 강력한 제로샷 일반화를 보여줍니다.
• 포즈 추정: 프레임워크는 더 희소하고 대표적인 장면 표현으로부터 더 신뢰할 수 있는 기하학적 사전 지식을 추출함으로써 VGGT 및 AnySplat 과 같은 베이스라인에 비해 카메라 포즈 추정 정확도를 향상시킵니다.
• 애블레이션 연구: 실험은 각 구성 요소의 필요성을 확인합니다. 카디널리티 전문가 라우팅이 가장 큰 향상 (+1.63 dB) 을 제공한 다음, 주파수 사전 지시 (+0.58 dB) 와 이웃 조건부 예측 (+0.24 dB) 이 뒤를 이었습니다.

중요성 및 주장

이 논문은 SplatWeaver 가 일반화 가능한 NVS 에서 균일한 가우시안 할당의 근본적인 한계를 해결한다고 주장합니다. 고정된 예산 패러다임에서 복잡성 인식 적응형 할당 전략으로 전환함으로써, 이 방법은 더 원칙적이고 유연한 3D 장면 표현을 달성합니다.

저자들은 그들의 접근 방식이 다음과 같다고 주장합니다:

• 이전의 균일한 방법에서 내재된 매끄러운 영역의 구조적 중복성과 복잡한 영역의 과소적합을 제거합니다.
• 기하학적 직관과 일치하는 "복잡한 곳에서는 조밀하고, 매끄러운 곳에서는 희소하다"는 분포를 가능하게 합니다.
• 수동 예산 확장이 필요 없이 장면 복잡성과 뷰 커버리지에 따라 가우시안 예산을 자동으로 조정하는 확장 가능한 솔루션을 제공합니다.
• 시각적 품질을 훼손하지 않고 저장 요구 사항을 줄이고 렌더링 속도를 높이는 컴팩트한 표현을 제공하여 일반화 가능한 새로운 뷰 합성에서 효율성과 충실도의 새로운 기준을 설정합니다.