기술 요약: MVFusion-GS

1. 문제 정의

3D 가우시안 스플래팅(3DGS)을 변형 필드(deformation fields)를 통해 동적 장면으로 확장하는 것은 두 가지 핵심 과제, 즉 동적 장면 재구성(전경의 움직임을 충실히 모델링하는 것)과 방해 요소 없는 재구성(일시적인 객체를 제거하여 깨끗한 정적 배경을 복구하는 것)에 중점을 둡니다. DeGauss와 같이 정적 및 동적 분기로 장면을 분리하는 디커플링된 프레임워크들은 결정적인 한계점을 가지고 있는데, 바로 명시적인 모션 인식(motion awareness)의 결여입니다.

표준 변형 네트워크는 개별 가우시안의 움직임 패턴이나 시간적 맥락을 명시적으로 모델링하지 않고, 시공간 그리드를 통해 잠재 특징(latent features)을 인코딩합니다. 결과적으로 이러한 네트워크는 저진폭 또는 일시적인 움직임을 포착하는 데 실패하는 경우가 많습니다. 이는 "의사 정적(pseudo-static)" 잔차로 이어지며, 동적인 전경 요소가 정적인 것으로 잘못 분류되어 배경 분기에 남게 됩니다. 이러한 오염은 재구성된 정적 배경의 품질을 저하시키고 부정확한 전경 변형을 초래합니다.

2. 방법론: MVFusion-GS

저자들은 기존의 변형 네트워크를 강화하는 플러그인 방식의 정교화 프레임워크인 MVFusion-GS를 제안합니다. 이 방법은 기존의 변형 헤드(deformation heads)를 수정할 필요 없이, 순수하게 특징 공간(feature space)에서 작동하는 경량 정교화 단계를 추가하여 베이스라인 변형 네트워크를 거친 예측기로 취급합니다.

전체 변형은 다음과 같이 공식화됩니다:
$$\Delta \mathcal{G}_d(t) = \Delta \mathcal{G}_d^{\text{base}}(t) + \Delta \mathcal{G}_d^{\text{MR}}(t)$$
여기서 정교화 항 $\Delta \mathcal{G}_d^{\text{MR}}(t)$는 베이스라인 특징과 두 개의 새로운 모션 인식 모듈을 결합한 융합 특징 벡터로부터 예측됩니다.

A. 모션-분산 가이드 정교화 (MVG)

이 모듈은 가우시안별 변형 통계량을 시간에 따라 집계함으로써 글로벌 모션 큐(global motion cues)의 부재 문제를 해결합니다.

• 글로벌 궤적 시그니처 (Global Trajectory Signature): 시스템은 주기적으로 여러 타임스텝에 걸쳐 각 가우시안의 변형 궤적을 샘플링합니다. 위치 변위, 회전 크기, 스케일 변화(등방성 및 이방성 모두 포함)에 대한 통계량(평균 및 분산)을 계산합니다. 이들은 장기적인 모션 강도 사전 정보 역할을 하는 13D 글로벌 궤적 시그니처($v_i$)로 집계됩니다.
• 로컬 분산 사전 (Local Variance Dictionary): 단기적인 변화를 포착하기 위해, 경량 사전이 슬라이딩 시간 윈도우 내에서 로컬 모션 분산을 캐싱합니다. 이는 보간법(interpolation)을 통해 임의의 쿼리 시간 $t$에 대한 즉각적인 모션 강도 점수($e_i(t)$)를 제공합니다.
• 주입 (Injection): 이러한 시그니처들은 경량 MLP를 통해 변형 특징 공간으로 인코딩되어, 네트워크가 정적인 가우시안과 실제 움직이는 가우시안을 구분할 수 있도록 명시적인 사전 정보를 제공합니다.

B. MotionFormer 시간적 어텐션 (MFTA)

MVG가 글로벌 통계량을 제공한다면, MFTA는 국소적인 시간적 의존성을 모델링하여 단기적인 시간적 상호작용을 다룹니다.

• 시간적 특징 구성: 시간 $t_i$에서의 가우시안에 대해, 모듈은 $t_{i-w}, t_i, t_{i+w}$를 포함하는 시간적 이웃을 구성합니다. 변형 특징, 예측된 변형, 그리고 로컬 모션 강도를 사용하여 토큰을 형성합니다.
• 교차 어텐션 (Cross-Attention): 트랜스포머 기반의 교차 어텐션 메커니즘은 이웃한 타임스텝으로부터 정보를 집계하여, 네트워크가 일관된 변형 예측을 위해 로컬 시간적 맥락을 활용할 수 있도록 합니다.
• 주입 (Injection): 결과물인 시간적 모션 특징은 변형 헤드에 의해 디코딩되기 전, 베이스라인 및 MVG 특징과 융합됩니다.

학습 전략

학습은 세 단계로 진행됩니다:

1. 기본 기하 구조 (Base Geometry): 변형을 비활성화한 상태에서 정적 기하 구조를 최적화합니다.
2. 기본 변형 (Base Deformation): 베이스라인 변형 네트워크를 활성화하여 기본적인 변환을 학습합니다.
3. 모션 인식 정교화 (Motion-Aware Refinement): 전체 MVG 및 MFTA 브랜치를 활성화하고, 변형 업데이트를 정교화하기 위해 제로 초기화된 가중치(zero-initialized weights)와 함께 엔드투엔드로 학습합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 식별합니다:

1. 이중 작업 플러그인 모듈: 변형 네트워크의 모션 인식을 강화하여, 동적 장면 재구성과 방해 요소 없는 재구성 벤치마크 모두에서 일관된 개선을 이끌어내는 프레임워크입니다.
2. 모션-분산 가이드 정교화 (MVG): 글로벌 궤적 통계량을 명시적인 모션 강도 사전 정보로 집계하여, 더 정확한 동적-정적 분리를 용이하게 하는 메커니즘입니다.
3. MotionFormer 시간적 어텐션 (MFTA): 교차 어텐션을 활용하여 교차-시간적 모션 의존성을 모델링함으로써, 변형 정확도와 시간적 일관성을 모두 향상시키는 트랜스포머 기반 모듈입니다.

4. 실험 결과

본 방법은 NeRF On-the-Go (방해 요소 없음), RobustNeRF (교차 뷰 불일치가 있는 방해 요소 없는 환경), 그리고 Neu3D (동적 장면 재구성)에서 평가되었습니다.

• 방해 요소 없는 재구성 (NeRF On-the Go): MVFusion-GS는 모든 평균 지표(PSNR, SSIM, LPIPS)에서 최첨단(SOTA) 성능을 달-성했습니다. 특히 모든 6개 테스트 장면에서 가장 낮은 LPIPS를 기록하여 우수한 지각적 품질을 입증했습니다. 정성적 결과는 DeGauss와 같은 베이스라인 방법에서 지속되던 "유령 같은(ghostly)" 의사 정적 잔차(예: 흐릿한 보행자 실루엣)가 제거되었음을 보여주었습니다.
• 동적 장면 재구성 (Neu3D): 본 방법은 최고의 평균 PSNR과 LPIPS를 달성했습니다. 동적 영역에서 SpaceTimeGS 및 ST-4DGS와 같은 SOTA 방법들을 능가하였으며, 경쟁 모델들이 모션 블러를 보이는 고도로 역동적인 영역(예: 불꽃, 빠르게 움직이는 물체)에서도 더 날카로운 구조적 디테일을 보존했습니다.
• 절제 연구 (Ablation Studies): MVG 또는 MFTA를 제거하면 성능 저하가 발생하여, 장기 모션 통계량과 단기 시간적 맥락 모두가 필요함을 확인했습니다. 전체 모델은 위치 분산만을 사용하거나 셀프 어텐션을 사용한 변형 모델보다 우수한 성능을 보여, 글로벌 시그니처와 교차 어텐션 메커니즘의 특정 설계를 검증했습니다.

5. 의의 및 주장

본 논문은 명시적 모션 인식이 전경 모션 모델링과 정적 배경 재구성 모두를 개선하는 핵심이라고 주장합니다. 의사 정적 가우시안을 동적 브랜치로 정확하게 재할당함으로써, 본 방법은 두 가지 이점을 얻습니다:

1. 더 깨끗한 배경: 동적 요소를 잘못 분류하여 발생하는 아티팩트를 제거함으로써 방해 요소 없는 재구성에 필수적인 기능을 수행합니다.
2. 더 미세한 전경 디테일: 표준 변형 네트워크가 놓치기 쉬운 미세하고 일시적인 움직임을 포착하여 동적 재구성에 필수적인 기능을 수행합니다.

저자들은 결론에서 본 방법이 여전히 신뢰할 수 있는 초기 모션 큐를 제공하기 위해 베이스라인 변형 필드에 의존한다는 점을 인정하며 신중한 입장을 유지합니다. 초기 변형이 과소 적합(underfit)되어 잔차 아티팩트가 남을 수 있는 심한 폐쇄(occlusion)나 극도로 약한 모션 증거가 있는 경우를 언급하며, 더 강력한 모션 인식 재할당을 위한 향후 연구의 필요성을 시사했습니다.