기술 요약: SpeeDe3DGS

문제 정의

DeformableGS 및 4DGS와 같은 동적 3D 가우시안 스플래팅(3DGS)의 확장 모델들은 학습된 신경 모션 필드(neural motion fields)와 가우시안 프리미티브를 결합하여 시간 변화에 따른 장면을 고충실도로 재구성합니다. 그러나 이러한 방식은 효율성과 충실도 사이의 상당한 간극 문제를 겪습니다. 매 프레임마다 변형을 계산하기 위해 가우시안당 개별적인 신경 추론(per-Gaussian neural inference)이 필요하므로, 분석적 또는 비신경 표현 방식에 비해 막대한 계산 비용이 발생하여 학습 및 렌더링 속도가 느려집니다. 신경 모션 필드는 우수한 재구성 품질을 제공하지만, 프리미티브당 발생하는 추론 오버헤드는 실시간 시나리오에서의 적용을 제한합니다.

방법론

저자들은 신경 모션 필드의 표현력을 유지하면서 중복된 신경 추론을 줄임으로써 이 간극을 메우기 위해 설계된 프레임워크인 SpeeDe3DGS(Speedy Deformable 3D Gaussian Splatting)를 제안합니다. 이 접근 방식은 세 가지 상호 보완적인 모듈을 통합합니다.

1. 시간적 민감도 프루닝 (Temporal Sensitivity Pruning, TSP)

TSP는 중복되거나 영향력이 낮은 가우시안을 제거함으로써 동적 3DGS 모델의 과잉 매개변수화 문제를 해결합니다. 고정된 시점에서 그래디언트를 평가하는 정적 프루닝 방식과 달리, TSP는 모든 학습 뷰와 타임스텝에 걸쳐 재구성 손실(reconstruction loss)의 2차 민감도를 집계하여 시간적 민감도 프루닝 점수를 계산합니다.

• 메커니즘: 각 가우시안($g_i$)의 투영된 기여도가 학습 포즈 및 타임스탬프($P_{gt}$) 집합에 대해 갖는 그래디언트 크기를 계산합니다.
• 목표: 공간과 시간 모두에서 재구성에 미치는 누적 영향력이 낮은 가우시안을 식별함으로써, 움직임에 의존적인 중복성을 제거하고 프리미티브 수와 그에 따른 변형 추론 비용을 직접적으로 줄입니다.

2. 시간적 민감도 샘플링 (Temporal Sensitivity Sampling, TSS)

TSS는 관측된 프레임에서는 안정적으로 보이지만, 관측되지 않은 타임스탬프로 외삽(extrapolate)했을 때 불안정성(소위 "floaters" 현상)을 보이는 가우시안의 제거를 방지하기 위해 설계된 안정화 메커니즘입니다.

• 메커니즘: 민감도 추정 과정에서, TSS는 변형 함수의 타임스탬프 입력값에 선형적으로 감쇠하는 가우시안 섭동($t + X(i)$)을 주입합니다. 이는 작은 움직임의 변화에 대한 모델의 민감도를 조사합니다.
• 목표: 학습 프레임에서는 양호해 보이지만 작은 시간적 섭동 하에서 드리프트(drift)가 발생하는 가우시안은 낮은 민감도 점수를 받게 되어 제거됩니다. 이를 통해 지면 진실(ground-truth) 감독 없이도 플로터(floater) 아티팩트를 억제하고 시간적 일관성을 개선합니다.

3. GroupFlow

프루닝이 프리미티브의 수를 줄인다면, 남은 가우시안들은 여전히 변형을 위해 개별적인 신경 추론이 필요합니다. GroupFlow는 학습된 신경 모션 필드를 효율적이고 공유된 강체 변환(rigid transformations)으로 증류(distill)함으로써 이 문제를 해결합니다.

• 메커니즘:
  1. 모션 분석: 변형 가능한 가우시안들의 궤적을 분석하여 유사한 움직임을 가진 클러스터를 식별합니다. 최장점 샘플링(farthest point sampling)을 통해 제어점(control points)을 선택하고, 가우시안들을 가장 유사한 궤적을 가진 제어점에 할당합니다.
  2. 강체 증류: 각 그룹에 대해, Umeyama 정렬을 사용하여 시간 가변적인 SE(3) 강체 변환(회전 및 이동)을 추정하여 그룹을 캐노니컬 프레임에서 현재 프레임으로 매핑합니다.
  3. 추론: 모든 가우시안에 대해 고유한 변형을 예측하는 대신, 시스템은 그룹 내의 모든 가우시안에 단일 공유 SE(3) 변환을 적용합니다.
• 목표: 이는 모션 궤적의 수를 $N$(가우시안당)에서 $J$(그룹당)로 줄여, 국부적 강체 모션 모델링을 통해 시간적 일관성을 유지하면서 추론 속도를 크게 가속화합니다.

주요 기여

1. 시간적 민감도 프루닝 (TSP): 동적 장면에서 중복된 가우시안을 제거하기 위해 시간에 따라 민감도를 집계하는 그래디언트 기반 프루닝 전략으로, 변형 및 렌더링 비용을 줄입니다.
2. 시간적 민감도 샘플링 (TSS): 시간적 섭동을 통해 일관되지 않은 프리미티브(floaters)를 노출시키고 제거함으로써 프루닝 과정을 안정화하고 재구성 안정성을 높이는 시간적 섭동 기술입니다.
3. GroupFlow: 학습된 신경 변형 필드를 그룹화된 SE(3) 변환으로 증류하여, 가우시안당 추론을 효율적인 그룹 단위 강체 모션으로 대체하는 방법입니다.

실험 결과

저자들은 MonoDyGauBench(50개 동적 장면)와 NeRF-DS, D-NeRF, HyperNeRF를 포함한 특정 데이터셋에서 SpeeDe3DGS를 평가했습니다.

• MonoDyGauBench 성능:

  • DeformableGS 베이스라인에 TSP와 TSS를 통합하면, 신경 필드의 충실도를 유지하면서도 10배 적은 프리미티브를 사용하여 평균적으로 렌더링 속도는 6.78배, 학습 속도는 2.18배 가속화됩니다.
  • GroupFlow를 추가하면 렌더링 속도가 13.71배까지 증가하며 학습 시간은 2.53배 단축됩니다.
  • 전체 SpeeDe3DGS 파이프라인은 모든 비신경(non-neural) 베이스라인보다 속도 면에서 앞서며, 이미지 품질(PSNR, SSIM)에서도 이들을 능가합니다.

• 특정 장면 결과 (HyperNeRF "chicken" 장면):

  • 렌더링 속도 9.88배 향상.
  • 가우시안 수 11.37배 감소.
  • 학습 시간 2.87배 단축.

• 메모리 효율성:

  • 프루닝 통합은 메모리 사용량을 크게 줄여, 기존 베이스라인 방법들이 메모리 한계를 초과했던 장면(종종 48 GB VRAM 필요)에 대해서도 24 GB VRAM(RTX A5000) 환경에서 학습이 가능하게 합니다.

의의 및 주장

본 논문은 SpeeDe3DGS가 동적 3D 가우시안 스플래팅의 효율성-충실도 간극을 성공적으로 메웠다고 주장합니다. 시간적으로 인지하는 프루닝과 모션 증류를 결합함으로써, 이 프레임워크는 신경 필드의 충실도를 유지하면서 실시간 렌더링 속도를 달성합니다.

저자들은 이 접근 방식이 단순히 품질을 속도로 맞바꾸는 것이 아니라, TSS와 GroupFlow의 규제 효과가 노이즈가 있거나 불안정한 움직임이 있는 장면에서 재구성을 안정화하여 때로는 프루닝되지 않은 베이스라인보다 더 높은 이미지 품질을 제공한다고 강조합니다. 이 연구는 중복된 프리미티브를 줄이고 유사한 모션 궤적을 그룹화하는 것이 동적 3DGS를 고품질 재구성 능력을 갖춘 신경 모션 필드의 장점을 유지하면서도 분석적 모델의 속도에 도달하게 함을 보여줍니다.