GrainGS: Gradient-Decoupled Gaussian Splatting for Efficient Dynamic Novel View Synthesis

기술 요약: GrainGS: 효율적인 동적 신규 시점 합성을 위한 그래디언트 디커플링 가우시안 스플래팅

문제 정의
동적 장면 재구성은 3D 가우시안 스플래팅(3D-GS)을 사용하여 미세한 움직임을 모델링하는 것과 구조적 안정성을 유지하는 것, 그리고 압축된 표현을 보장하는 것 사이의 근본적인 트레이드오프 문제에 직면해 있습니다. 기존 방식들은 일반적으로 다음과 같은 뚜렷한 한계를 가진 두 가지 범주로 나뉩니다:

1. 개별 프리미티브 방식(Per-primitive methods): 유연한 국소 변형 자유도를 제공하지만, 프리미티브의 중복 성장이 발생하기 쉽고 약한 구조적 제약으로 인해 정준 기하학(canonical geometry)이 불안정해지는 경려가 있습니다.
2. 앵커 기반 방식(Anchor-based methods): 희소한 제어 노드나 계층적 스캐폴드를 통해 공간적 규칙성을 부여하여 안정성을 높입니다. 그러나 이 방식들은 종종 인접한 가우시안들에 동일한 변형 신호를 전파하여 미세한 국소 움직임을 억제합니다.

저자들이 식별한 핵심적이고 종종 간과되는 문제는 **그래디언트 얽힘(gradient entanglement)**입니다. 현재의 프레임워크에서 정준 좌표는 변형 네트워크의 미분 가능한 입력 역할을 합니다. 결과적으로, 프레임별 변형 그래디언트가 정준 표현으로 역전파되어 시간 불변적인 기하학적 참조를 교란합니다. 또한, 전용 시간적 외관 모델이 없는 경우, 시간적 광도 변화(예: 움직이는 그림자, 경면 반사)가 기하학적 변형 파라미터에 잘못 흡수되어 기하학적 일관성을 더욱 저하시키기도 합니다.

방법론: GrainGS
GrainGS는 기하학적, 움직임, 외관 최적화 경로를 분리하도록 설계된 계층적 앵커 스캐폴드와 개별 가우시안 변형을 결합한 동적 가우시안 프레임워크를 제안합니다. 이 방법은 세 가지 핵심 메커니즘을 통해 작동합니다:

1. 정적 웜업을 포함한 계층적 앵커 스캐폴드:

   • 이 방법은 Structure-from-Motion(SfM) 데이터에서 유도된 희소한 3D 앵커 포인트 집합으로 초기화됩니다. 각 앵커는 학습 가능한 오프셋과 공유된 Static MLP를 통해 "자식" 가우시안 집합을 생성합니다.
   • 정적 웜업(Static Warm-up): 시간적 모델링이 시작되기 전, 전용 웜업 단계($T_w$ 반복 횟수까지)에서 모든 타임스탬프의 이미지를 샘플링하여 정준 앵커 파라미터와 Static MLP만을 최적화합니다. 이 단계 동안 변형 네트워크는 고정됩니다. 이는 움직임 그래디언트가 도입되기 전에 전체 움직임 범위를 아우르는 견고하고 시간 불변적인 기하학적 토대를 구축합니다.

2. 그래디언트 디커플링된 개별 가우시안 변형:

   • 결합 학습 중에, 정준 위치가 변형 네트워크(DeformNet)에 입력되기 전에 stop-gradient 연산이 적용됩니다.
   • 구체적으로, DeformNet의 입력은 $sg(x_{can})$이며, 여기서 $sg(\cdot)$는 그래디언트 흐름을 차단합니다. 이는 재구성 손실이 변형 네트워크를 통해 정준 기하학을 업데이트하는 것을 방지합니다.
   • 각 가우시안은 자신의 정준 위치와 시간 임베딩을 기반으로 시간적 오프셋($\Delta x, \Delta r, \Delta \rho$)을 독립적으로 예측합니다. 이를 통해 앵커 스캐폴드의 구조적 제약 내에서 국소적으로 변화하는 움직임을 허용하는 동시에, 정준 참조가 안정적이고 시간 불변적으로 유지되도록 합니다.

3. 정준-잔차 외관 분해(Canonical-Residual Appearance Decomposition):

   • 시간적 광도 변화가 기하학적 변형을 오염시키는 것을 방기하기 위해, 외관을 두 개의 브랜치로 분해합니다:
     • 정준 브랜치(Canonical Branch): 시간 불변적인 View-MLP가 앵커 특징과 시선 방향만을 기반으로 기본 색상($c_{can}$)과 신경 불투명도 점수($o_{can}$)를 예측합니다.
     • 잔차 브랜치(Residual Branch): 경량화된 시간 조건부 MLP가 유계된 색상($\Delta c$) 및 불투명도 잔차($\Delta o$)를 예측합니다.
   • 최종 외관은 이 브랜치들의 조합으로 구성됩니다. 이러한 명시적 분리는 프레임별 조명 변화가 기하학적 파라미터가 광도 변화를 설명하도록 강제하는 대신 잔차 브랜치에 의해 모델링되도록 보장합니다.

주요 기여

1. GrainGS 프레임워크: 구조적 압축성과 미세한 국소 움직임 포착 사이의 균형을 달성하기 위해, 구조적으로 규칙적인 앵커 스캐폴드와 미세한 개별 가우시안 변형을 통합한 새로운 동적 3D-GS 방법입니다.
2. 그래디언트 디커플링 전략: 정적 웜업과 stop-gradient 격리를 결합한 2단계 최적화 전략을 도입했습니다. 이는 변형에 의한 간섭이 정준 표현을 방해하는 것을 효과적으로 차단하여 기하학적 참조를 안정화합니다.
3. 외관 분해: 정준-잔차 외관 모델을 통해 시간적 광도 변화를 명시적으로 처리함으로써, 기하학적 파라미터가 조명 변화를 설명해야 하는 압박을 줄였습니다.
4. 최첨단 성능: 광범한 실험을 통해 본 방법이 경쟁력 있는 재구성 품질, 실시간 렌더링 속도 및 매우 압축된 모델 저장 용량을 달enc함이 입증되었습니다.

실험 결과
저자들은 합성 데이터셋인 D-NeRF(8개 장면)와 실제 다중 뷰 데이터셋인 DG-Mesh(6개 장면)에서 GrainGS를 평가했습니다.

• 재구성 품질: D-NeRF에서 GrainGS는 평균 36.98 dB의 PSNR을 달성하여 SC-GS(36.73 dB) 및 MoDec-GS(36.45 dB)와 같은 강력한 베이스라인을 능가했습니다. 8개 장면에 걸친 24개 지표 항목 모두에서 상위 3위 안에 들었습니다. DG-Mesh에서는 6개 장면 모두에서 가장 높은 PS로를 달성했으며, 특히 Torus2Sphere 장면에서 MoDec-GS보다 0.69 dB 더 높은 성능을 보였습니다.
• 렌더링 효율성: GrainGS는 평균 435.6 FPS로 렌더링되며, 이는 D-3DGS보다 1.4배, SC-GS보다 1.7배 빠릅니다.
• 저장 압축성: 이 방법은 단 4.67 MB의 저장 공간을 필요로 하며, 이는 SC-GS(32.49 MB) 대비 7.0배, 4D-GS(23.68 MB) 대비 5.1배 감소한 수치입니다.
• 정성적 분석: 시각적 비교 결과, GrainGS는 경쟁 방법들이 흔히 보이는 블러링이나 기하학적 아티팩트 현상 없이 미세한 기하학적 디테일(예: Hook 장면의 갑옷, Jumping Jacks의 손가락 윤곽)을 복구하고 복잡한 조명 변화(예: Horse의 그림자)를 더 효과적으로 처리함을 보여줍니다.

의의 및 주장
본 논문은 Grain-GS가 변형 그래디언트가 정준 기하학을 불안정하게 만드는 동적 3D-GS의 핵심적인 문제인 그래디언트 얽힘 문제를 해결한다고 주장합니다. 정적 정준 스캐폴드와 시간적 변형/외관 브랜치 사이의 엄격한 분리를 강제함으로써, 이 방법은 구조적 붕괴 없이 고충실도 움직임 모델링을 가능하게 하는 안정적인 기하학적 참조를 제공합니다.

저자들은 GrainGS가 개별 프리미티브 방식의 표현력과 앵커 기반 방식의 구조적 안정성 사이의 간극을 성공적으로 메운다고 주장합니다. 실험 결과는 명시적인 그래디언트 격리와 외관 분해가 고품질, 실시간, 저장 효율적인 동적 신규 시점 합성을 달성하는 데 필수적임을 시사합니다. 이 연구는 모든 동적 장면의 문제를 해결한다고 주장하는 것이 아니라, 기존의 최첨단 방법들과 비교하여 재구성 품질, 렌더링 속도 및 모델 크기의 균형을 맞추는 데 있어 상당한 개선을 보여주는 것입니다.