Structure-Aware Gaussian Splatting for Large-Scale Scene Reconstruction

문제 정의

3D 가우시안 스플래팅(3DGS)은 소규모 장면의 신규 시점 합성(NVS)에서 놀라운 잠재력을 보여주었으나, 대규모 장면(예: 도시 규모 환경)에 적용할 때는 상당한 어려움에 직면한다. 대규모 장면은 종종 관측이 희소한 영역을 포함하며, 이로 인해 초기 포인트 클라우드가 과도하게 희소할 수 있다. 이러한 저주파(low-frequency) 희소 포인트들이 고주파(high-frequency) 이미지에 의해 직접적으로 감독(supervision)될 때, 학습 과정에서 **통제되지 않은 밀집화(uncontrolled densification)**와 **중복된 프리미티브(redundant primitives, floaters)**가 생성되는 문제가 발생한다.

이 문제는 렌더링 해상도와 밀집화 전략 사이의 불균형에서 기인한다. 기존 방식들은 일반적으로 학습 전에 미리 결정되는 **하드코딩된 스케줄링 전략(hard-coded scheduling strategies)**에 의존한다. 이러한 정적 스케줄은 장면의 주파수 콘텐츠의 실제 수렴 동작을 인지하지 못한다. 결과적으로, 조기 최적화를 불안정하게 만드는 성급한 고해상도 감독을 강요하거나, 필수적인 정밀화를 지연시켜(수렴 속도 저하) 효율성과 재구성 품질을 저하시킬 수 있다.

방법론

저자들은 장면 재구성 문제를 **신호 구조 복구(signal structure recovery)**의 관점에서 재정의한다. 이들은 이미지 감독과 3D 가우시안 표현의 주파수 특성을 동기화하는 통합 프레임워크를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다.

1. 신호 주파수 특성 규명 (Signal Frequency Characterization)

본 논문은 평균 샘플링 주파수와 **유효 대역폭(effective bandwidth)**을 수학적으로 도출한다:

• 샘플링 주파수: 초점 거리와 샘플링 깊이를 기반으로 정의되며, 이미지 해상도가 신호의 샘플링 주파수를 직접적으로 조절한다는 점을 인정한다.
• 장면 신호 대역폭: 장면의 불투명도 필드(opacity field)는 3D 가우시안의 가중치 합으로 모델링된다. 저자들은 전력 스펙트럼 밀도(power spectral density)를 분석하여 장면의 평균 주파수 근사치를 도출한다. 수백만 개의 프리미티브에 대해 계산 비용이 많이 드는 연속 적분을 수행하는 대신, 개별 가우시안 프리미티브의 **반전력(half-power, 3dB) 대역폭($\omega_{3dB}$)**을 활용하여 장면의 전역 주파수 콘텐츠를 추정한다.

2. SIG: 이미지 감독과 가우시안 주파수의 동기화

도출된 주파수 지표를 바탕으로, 저자들은 이미지 해상도를 적응적으로 전환하고 가우시안 밀집화를 조절하는 새로운 스케줄러인 SIG를 제안한다:

• 주파수 정렬 해상도 스케줄러 (Frequency-Aligned Resolution Scheduler): 고정된 반복 횟수 대신, 스케줄러는 장면 주파수의 기울기($\frac{d\omega}{diter}$)를 모니터링한다. 장면 대역폭이 안정화되면(현재 주파수 수준에서 수렴함을 의미), 훈련 이미지 해상도를 높인다. 이는 가우시안이 고해상도 감독을 지원할 수 있을 만큼 충분한 저주파 구조를 먼저 회복했을 때만 고해상도 감독이 도입되도록 보장한다.
• 밀집화 스케줄러 (Densification Scheduler): 각 해상도 업데이트 이후, 스케줄러는 통제된 횟수의 밀집화 라운드를 수행한다. 이를 통해 초기 단계에서의 통제되지 않은 프리미티브 증가를 방지하고, 가우시안의 수가 증가된 샘플링 주파수에 적절히 대응하여 확장되도록 보장한다.

3. 구체 제약 가우시안 (Sphere-Constrained Gaussians)

제약 없는 최적화로 인한 플로터(floater) 및 구조적 무시 문제를 해결하기 위해, 저자들은 **구체 제약 가우시안(Sphere-Constrained Gaussians)**을 도입한다:

• 기하학적 사전 지식 (Geometric Priors): 각 가우시안에는 앵커(anchor)(포인트 클라우드로부터의 초기 위치)와 **최대 오프셋(maximum offset)**이 할당된다.
• 가지치기 메커니즘 (Pruning Mechanism): 최적화 과정 중, 가우시안의 변위가 앵커와 스케일 인자에 의해 정의된 구체 제약을 초과하면 해당 가우시안은 제거(pruning)된다. 이는 초기 포인트 클라우드의 공간적 사전 지식을 활용하여 구조적 무결성을 유지한다.
• 적응형 제어: 제약은 밀집화 작업에 따라 다르게 적용된다:
  • 복제 (Replication): 새로운 가우시안은 현재 위치를 새로운 앵커로 상속받지만(공간적 변위를 허용), 최대 오프셋은 그대로 상속받는다.
  • 분할 (Splitting): 새로운 가우시안은 원래의 앵커를 상속받고 감소된 최대 오프셋(0.7×)을 상속받아 고주파 영역에서의 안정성을 보장한다.
• 밀집화 정규화: 표준 감독이 약한 텍스처가 없는 영역에서 기하학적-색상 일관성을 강화하기 위해 재투영(reprojection)에 기반한 광도 손실(photometric loss)을 도입한다.

주요 기여

1. 주파수의 수학적 정의: 본 논문은 3D 가우시안 표현의 평균 주파수를 정의하고, 이러한 주파수와 동기화되는 스케줄러(SIG)를 제안하여 중복성을 완화하고 훈련을 가속화한다.
2. 구체 제약 가우시안: 초기 포인트 클라우드의 구조적 사전 지식을 활용하여 최적화 공간을 제한함으로써, 플로터를 줄이고 장면 기하 구조를 보존하는 새로운 최적화 제약을 제공한다.
3. 통합 프레임워크: 주파수 정렬 스케줄링과 기하학적 제약의 결적합을 통해, 대규모 장면에 대해 효율성과 렌더링 품질 모두에서 상당한 개선을 이루며 최첨단(SOTA) 성능을 달와 성취한다.

실험 결과

제안된 방법은 세 가지 대규모 데이터셋인 Mill19, UrbanScene3D, MatrixCity(합성 데이터)에서 평가되었다. 이 방식은 NeRF 기반 베이스라인(Mega-NeRF, SwitchNeRF) 및 3DGS 기반 베이스라인(VastGS, CityGS, DOGS, BlockGS, DashGS)과 비교되었다.

• 재구성 품질: 제안된 방법(Ours-L)은 'rubble' 장면에서 최상의 베이스라인(CityGS) 대비 +0.9 dB의 PSNR 이득을 달성했다. 또한 모든 데이터셋에서 우수한 SSIM 및 LPIPS 점수를 보여, 더 나은 구조적 유사성과 지각적 품질을 입증했다. 정성적 결과는 이 방법이 다른 방법들에서 흔히 나타나는 플로터를 생성하지 않으면서 고주파 세부 사항을 포착함을 보여준다.
• 효율성: 본 프레임워크는 훈련 속도를 크게 향 향상시켰다. 'rubble' 장면에서 블록당 BlockGS 대비 1.5배, CityGS 대비 1.4배 빠른 속도를 달성했다.
• 절제 연구 (Ablation Studies): 주파수 정렬 해상도 스케줄러를 제거했을 경우(w/o FARS), 과도한 밀집화로 인해 품질이 크게 저하되고 훈련 시간이 증가했다. 구체 제약 가우시안을 제거했을 경우(w/o SCG), 더 높은 중복성(더 많은 포인트)과 낮은 품질이 나타나 기하학적 제약의 필요성을 확인시켜 주었다.

의의 및 주장

본 논문은 대규모 3DGS 재구성의 저하가 근본적으로 감독 신호(이미지)와 대상 신호(가우시안 표현) 사이의 **주파수 불일치(frequency misalignment)**에 의해 발생한다고 주장한다. 하드코딩된 정적 스케줄에서 벗어나 주파수 일관적이고 기하학을 인식하는(frequency-consistent, geometry-aware) 접근 방식으로 전환함으로써, 저자들은 다음을 입증한다:

• 해상도와 밀집화는 서로 독립적인 개념이 아니라, 장면의 수렴 상태에 의해 유도되는 결합된 메커니즘으로 취급되어야 한다.
• 구체 제약을 통해 초기 포인트 클라우드의 공간적 사전 지식을 활용하는 것은, 블록 단위 훈련을 방해하는 복잡한 신경 디코더에 의존하지 않고도 희소 영역에서 플로터를 방지하는 데 필수적이다.
• 제안된 프레임워크는 신호 복구 과정과 자연스럽게 일치하는 계층적 구조(coarse-to-fine)의 보다 본질적인 구축을 가능하게 하며, 대규모 장면 재구성을 위한 강력한 솔루션을 제공한다.

저자들은 본 방법이 자연스럽게 거친(coarse) 가우시안과 미세한(fine) 가우시안을 생성하지만, 향후 연구에서 이를 명시적인 LoD(Level-of-Detail) 렌더링 전략과 통합하여 추가적인 최적화를 탐구할 수 있다고 언급하였다.