💻 computer science

SplitGaussian: Reconstructing Dynamic Scenes via Visual Geometry Decomposition

SplitGaussian은 정적 기하 구조와 동적 움직임을 명시적으로 분리함으로써 아티팩트를 방지하고 시간적 일관성을 향상시켜 단안 비디오로부터의 동적 3D 장면 재구성을 개선하는 새로운 프레임워크입니다.

원저자: Lechao Cheng, Jiahui Li, Jingxuan He, Shengeng Tang, Gang Huang, Tianrui Hui, Yaxiong Wang, Zhun Zhong

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

원저자: Lechao Cheng, Jiahui Li, Jingxuan He, Shengeng Tang, Gang Huang, Tianrui Hui, Yaxiong Wang, Zhun Zhong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 단 한 대의 비디오 카메라만을 사용하여 북적이는 공원의 완벽하고 움직이는 3D 영화를 만들려고 한다고 상상해 보십시오. 당신은 나무와 벤치는 제자리에 고정시키면서도, 뛰어다니는 아이들은 자연스럽게 움직이게 하고 싶습니다. 이때 나무가 녹아내리는 것처럼 보이거나 아이들이 유령 같은 잔상을 남기지 않도록 말입니다. 이것이 바로 평면적인 영상을 우리가 걸어 다닐 수 있는 3D 세계로 바꾸려는 분야인 '동적 장면 재구성(dynamic scene reconstruction)'의 꿈입니다. 이를 위해 과학자들은 '가우시안 스플래팅(Gaussian Splatting)'이라는 영리한 기술을 사용합니다. 이것은 장면을 단단한 블록이 아니라, 수천 개의 작고 뭉글뭉글한 3D 페인트 구름으로 그리는 것과 같습니다. 각 구름은 특정한 색상, 특정한 모양, 그리고 특정한 위치를 가집니다. 장면을 볼 때 컴퓨터는 이 구름들을 서로 혼합하여 선명하고 사실적인 이미지를 만들어냅니다. 문제는 장면 속의 사물들이 움직일 때 이 구름들이 혼란에 빠진다는 점입니다. 만약 컴퓨터가 구름에게 색을 바꾸는 동시에 움직이기까지 하라고 강요하면, 정적인 부분(나무 등)은 흔들리기 시작하고, 움직이는 부분(아이들 등)은 흐릿한 잔상을 남깁니다. 이는 마치 무겁고 뻣뻣한 의상을 입고 춤을 추려는 것과 같아서, 모든 것이 엉키게 됩니다.

이것이 바로 "SplitGaussian"이라는 제목의 논문에서 연구자들이 해결하려고 하는 퍼즐입니다. 그들은 기존 방식들이 동일한 세트의 페인트 구름에게 두 가지 상충하는 일을 하도록 강요하고 있다는 점을 발견했습니다. 즉, 배경을 나타내기 위해 완벽하게 가만히 있어야 하고, 동시에 움직이는 물체를 나타내기 위해 늘어나고 찌그러져야 한다는 것입니다. 이러한 '엉킴(entanglement)'은 배경을 왜곡시키고 움직이는 물체를 깜빡거리게 만들었습니다. 이를 해결하기 위해 연구팀은 단순하지만 강력한 아이디어를 제안했습니다. 바로 구름에게 모든 것을 다 하라고 하지 말고, 업무를 두 개의 별도 팀으로 나누는 것입니다. 한 팀의 구름은 전적으로 정적인 세계(배경)를 위해 할당되며, 이들은 위치를 절대 바꾸지 않고 조명이 변할 때 색상만 약간 조절하도록 지시받습니다. 다른 팀의 구름은 전적으로 동적인 세계(움직이는 물체)를 위해 할당되며, 이들은 춤추고, 늘어나고, 회전할 수는 있지만 그들의 '페인트(색상)'는 일관되게 유지합니다. 이렇게 처음부터 '기하학(geometry, 사물의 위치)'과 '외형(appearance, 사물의 모습)'을 분리함으로써, 컴퓨터는 훨씬 더 빠르게 학습하고 훨씬 더 깨끗하고 안정적인 3D 세계를 만들어낼 수 있습니다.

이 논문은 이러한 '시각적 기하학 분해(Visual Geometry Decomposition)'가 단일 비디오로부터 고품질의 3D 영화를 구현하는 열쇠라고 제안합니다. 저자들은 배경 구름을 공간에 고정시킨 채 밝기나 색상만 조절하게 함으로써, 정적인 물체가 흔들려 보이는 '모션 리키지(motion leakage)' 현상을 방지할 수 있다는 것을 발견했습니다. 한편, 움직이는 구름은 질감을 바꾸는 것에 신경 쓰지 않고 오로지 어떻게 변형되고 움직일지에 모든 에너지를 집중할 수 있었습니다. 그들은 아이폰으로 촬영한 실제 영상과 반짝이는 물체가 있는 복잡한 3D 장면을 포함한 여러 데이터셋을 통해 이 아이디어를 테스트했습니다. 결과적으로 SplitGaussian 방식은 이전의 최고 수준의 방식들보다 더 선명한 이미지를 생성하고 더 적은 아티팩트(왜곡 현상)를 만들어냈습니다. 예를 들어, 한 까다로운 데이터셋에서 이 방식은 이미지 품질의 척도인 24.03 PSNR을 달 Achieve하며 다른 선도적인 기술들을 앞질렀습니다. 또한 그들은 자주 관찰되지 않는 '흐릿한 구름'을 정리하지 않으면(이를 '가시성 기반 프루닝(visibility-driven pruning)'이라 부릅니다), 영상의 가장자리가 지저리적이고 노이즈가 많아 보인다는 것을 발견했습니다.

논문은 움직이는 부분과 정지된 부분을 동시에 처리하려는 단일 통합 모델이라는 과거의 사고방식에 강력히 반대합니다. 그들은 이러한 접근 방식이 필연적으로 벽이나 탁자 같은 단단한 물체가 카메라가 움직임에 따라 미세하게 뒤틀리거나 이동하는 '기하학적 왜곡(geometric distortions)'을 초래한다는 것을 보여줍니다. 또한 단순히 움직이는 부분에 더 복잡한 수학을 추가한다고 해서 문제가 해결되지 않는다는 점도 분명히 합니다. 대신 그들은 근본 원인이 두 종류의 움직임 사이의 분리가 부족하다는 데 있음을 보여줍니다. 저자들은 광범 (ablation studies, 시스템의 구성 요소를 하나씩 제거하며 무엇이 고장 나는지 확인하는 실험)을 통해 자신들의 발견에 대해 매우 확신하고 있습니다. 그들은 정적인 것과 동적인 것의 분리, 깊이(depth)를 위한 특수 훈련, 그리고 보이지 않는 구름을 정리하는 작업 등 그들의 퍼즐 조각 하나하나가 최종적인 성공에 기여했음을 발견했습니다. 그들은 두 단계의 과정을 거치기 때문에 자신들의 방식이 일부 단순한 방식보다 학습 시간이 조금 더 걸린다는 점을 인정하지만, 그 대가는 훨씬 더 안정적이고 사실적인 결과물입니다. 궁극적으로 SplitGaussian은 장면을 완벽하게 움직이게 하려면, 컴퓨터에게 무엇을 '움직이지 말아야 할지'를 정확히 가르쳐야 한다는 것을 시사합니다.

기술 요약: SplitGaussian

문제 정의

단안 비디오로부터 동적인 3D 장면을 재구성하는 것은 컴퓨터 비전의 근본적인 과제로, 제한된 관측으로부터 움직임, 구조, 그리고 외관(appearance)을 공동으로 추론하는 것을 요구한다. 최근 3D 가우시안 스플래팅(3DGS)에 기반한 방법들은 최적화 속도와 렌더링 품질을 개선했지만, 기존의 동적 재구성 방식들은 종종 정적 요소와 동적 요소를 공유된 표현 내에 얽히게 만든다. 이러한 결합은 다음과 같은 몇 가지 결정적인 아티팩트를 초래한다:

모션 리키지(Motion Leakage): 정적 영역과 동적 영역 모두에 통합된 변형 필드(deformation field)를 적용하면 모션 아티팩트가 정적 영역으로 전파되어, 기하학적 왜곡(예: 강체 구조의 뒤틀림) 및 시간적 깜빡임(temporal flickering)을 유발한다.
외관 불일치(Appearance Inconsistency): 기하학과 외관을 공동으로 모델링하면 전역 조명의 복잡한 상호작용을 설명하지 못한다. 구체적으로, 정적 기하 구조는 움직이는 물체에 의해 투영되는 그림자나 상호 반사로 인해 시간에 따라 변하는 복사 특성을 보일 수 있는데, 고정된 외관 모델은 이를 포착할 수 없다. 반대로, 동적 가우시안에 시변 외관(time-varying appearance)을 추가하면 변형(deformation)과 외관 사이의 모호함이 발생하여 모션 학습을 불안정하게 만들 수 있다.

현재의 솔루션들은 외부 단서(광학 흐름 등)나 듀얼 브랜치 아키텍처에 의존하는 경우가 많지만, 이들 역시 얽혀 있는 메타 표현(meta-representations) 문제로 인해 기하학과 외관의 역동성을 완전히 분리해내지 못한다.

방법론

저자들은 **시각적 기하 분해(Visual Geometry Decomposition, VGD)**를 통해 장면 표현을 정적 및 동적 구성 요소로 명시적으로 분해하는 프레임워크인 SplitGaussian을 제안한다. 핵심 철학은 배경 기하 구조로부터 모션 모델링을 분리하여, 동적 브랜치만이 시간에 따라 변형되도록 하고 정적 브랜치는 고정된 기하 구조와 시변 외관을 유지하도록 하는 것이다.

1. 시각적 기하 분해

시간 $t$ 에서의 장면은 두 가우시안 집합의 합집합으로 표현된다:

정적 구성 요소 ( $G_s$ ): 고정된 기하 구조(중심 $\mu_s$ 및 공분산 $\Sigma_s$ )를 유지한다. 시간에 따라 변하는 조명(예: 움직이는 물체에 의한 그림자)을 처리하기 위해 **잔차 외관 모델(residual appearance model)**을 사용한다. 외관 파라미터(구면 조화 함수 계수 및 불투명도)는 공간 및 시간 인코딩을 조건으로 하는 다층 퍼셉트론(MLP)을 통해 업데이트되지만, 기하 구조는 고정된 상태를 유지한다.
동적 구성 요소 ( $G_d$ ): **변형 네트워크(deformation network)**를 통해 시변 기하 구조를 모델링한다. 캐노니컬 가우시안 파라미터는 공유된 시공간 인코딩을 기반으로 위치, 스케일, 회전 변화를 예측하는 네트워크에 의해 오프셋된다. 동적 가우시안의 외관은 고정된 상태로 유지되는데, 이는 진화하는 기하 구조만으로도 모션에 의한 조명 변화를 충분히 설명할 수 있기 때문이다.

2. 통합 시공간 인코딩

변형 네트워크와 정적 외관 MLP는 모두 공간 좌표와 시간을 위한 통합된 사인파 위치 인코딩 $\gamma(\cdot)$ 를 공유한다. 이는 분해 과정 전반에 걸쳐 일관된 파라미터화를 보장하여, 훈련 중 상호 정교화(mutual refinement)를 용이하게 한다.

3. 훈련 프로토콜

본 프레임워크는 2단계 훈련 파이프라인을 채택한다:

단계 I (분리 및 프루닝): 정적 및 동적 구성 요소는 영역별 바이너리 마스크(오픈 보캐블러리 트래커에 의해 생성됨)를 사용하여 별도로 최적화된다. 또한, 지속적으로 가시성이 낮거나 기여도가 낮은 정적 가우시안을 제거하여 중복성을 줄이고 뷰 경계 근처의 최적화를 안정화하는 가시성 기반 프루닝(Visibility-Driven Pruning, VDP) 전략이 도입된다.
단계 II (결합 최적화): 두 구성 요소가 공동으로 최적화된다. 정적 브랜치는 외관 모델을 정교화하고, 동적 브랜치는 변형 네트워크를 업데이트한다. 그래디언트는 두 구성 요소 전체로 전파되어 상호 정교화를 가능하게 한다.

4. 깊이 인식 사전 훈련

Structure-from-Motion(SfM) 초기화에서 발생하는 기하학적 불일치를 해결하기 위해, 짧은 사전 훈련 단계를 거쳐 정적 가우시안 기하 구조를 단안 깊이 맵(depth map)과 정렬시킨다. 이는 본 최적화가 시작되기 전 초기 기하학적 정렬을 개선한다.

주요 기여

명시적 분해: 본 논문은 가우시안 프리미티브를 정적 및 동적 구성 요소로 분해하는 새로운 방식을 도입하여, 기하학과 외관의 분리된 모델링을 가능하게 한다. 정적 가우시안은 기하 구조를 고정하되 외관을 적응시키고, 동적 가우시안은 외관을 고정한 채 기하 구조를 변형시킨다.
통합 프레임워크: 저자들은 공유 시공간 인코딩, 전용 변형 네트워크, 가시성 기반 프루닝을 특징으로 하는 통합 프레임워크를 구성하였다. 이 설계는 복잡한 듀얼 스트림 아키텍처나 외부 폐쇄(occlusion) 모델링 없이도 효율성을 높이면서 문제를 해결한다.
성능 향상: 광범적인 실험을 통해 SplitGaussian이 렌더링 품질(PSNR, SSIM, LPIPS), 기하학적 안정성, 모션 분리 측면에서 최신 기법들을 능가함을 입증하였다.

실험 결과

본 방법은 NeRF-DS, HyperNeRF, iPhone(핸드헬드 캡처)의 세 가지 데이터셋에서 평가되었다.

정량적 성능: NeRF-DS 데이터셋에서 SplitGaussian은 모든 지표에서 우수하거나 경쟁력 있는 결과(예: 풀 모델 기준 24.03 PSPS, 0.8505 SSIM, 0.1274 LPIPS)를 달성하였으며, Deformable 3DGS, 4DGS, GauFre와 같은 베이스라인 모델들을 앞질렀다. HyperNeRF와 까다로운 iPhone 데이터셋에서도 유사한 경쟁력을 보였다.
정성적 개선: 시각적 비교 결과, SplitGaussian은 더 선명한 디테일, 깨끗한 정적 영역, 그리고 더 시간적으로 일관된 움직임을 생성한다. 특히 복잡한 조명과 비강체(non-rigid) 운동이 있는 장면에서 베이스라인 방법들이 보이는 기하학적 드리프트(geometric drift)와 텍스처 붕괴를 효과적으로 방지한다.
절제 연구(Ablation Studies):
- 결합 최적화: 별도 훈련(단계 I)에서 결합 최적화(단계 II)로 전환했을 때 PSNR(+0.94 dB)과 지각적 품질이 크게 향 Improves 되었다.
- 외관 모델링 (APP): 정적 외관 모듈을 추가하는 것은 미세한 조명 변화(예: 부드러운 그림자)를 포착하는 데 결정적이었으며, LPIPS를 0.0227 감소시켰다.
- 가시성 기반 프루닝 (VDP): VDP를 제거하면 관측이 희소한 영역에서 밝은 경계 아티팩트가 발생하여, 주변부의 사실성을 유지하는 데 VDP의 역할을 확인시켜 주었다.
- 마스크 강건성: 모델은 불완전한 동적 마스크(침식, 팽창 또는 손상된 마스크)에 대해서도 강건함을 보여주었으며, 파편화된 감독 하에서도 일관된 재구성을 유지했다.

의의 및 주장

본 논문은 동적 3DGS 재구성에서 발생하는 아티팩트의 근본 원인이 시간에 따른 기하학과 외관의 결합된 모델링에 있다고 주장한다. 이러한 속성들을 명시적으로 분해함으로써, SplitGaussian은 더 안정적이고 해석 가능한 재구성 과정을 달성한다. 저자들은 본 접근 방식이 다음을 수행한다고 강조한다:

모션 리키지 방지: 변형을 동적 가우시안으로 제한함으로써 정적 영역의 기하학적 안정성을 유지한다.
전역 조명 처리: 정적 가우시안을 위한 잔차 외관 모델은 동적 기하 변형 없이도 시간에 따라 변하는 조명 효과(그림자, 반사)를 포착한다.
효율성 향상: 통합된 인코딩과 프루닝 전략을 통해 복잡한 멀티 브랜치 또는 폐쇄 인식 아키텍처가 필요한 방법들보다 빠른 수렴과 적은 메모리 사용량을 가능하게 한다.

본 연구는 이러한 분리된 설계가 시간적 일관성과 재구성 충실도를 높일 뿐만 아니라 수렴 속도를 가속화하여, 단안 비디오로부터의 동적 장면 재구성을 위한 강력한 솔루션을 제공한다고 결론짓는다.