Learning Explicit Continuous Motion Representation for Dynamic Gaussian Splatting from Monocular Videos

이 논문은 SE(3) B-스플라인 모션 베이스와 적응형 제어 메커니즘, 소프트 세그먼트 재구성 전략 등을 활용하여 단안 비디오로부터 고품질의 동적 가우시안 스플래팅을 가능하게 하는 새로운 방법을 제안하고 있습니다.

핵심

1. 핵심 비유: "부드러운 춤을 추는 3D 구슬들"

이 기술의 기본은 **3D 가우시안 스플래팅 (3D Gaussian Splatting)**이라는 개념입니다. 이를 쉽게 설명하면, 장면을 수백만 개의 **작은 3D 구슬 (빛나는 입자)**로 가득 채운다고 상상해 보세요. 이 구슬들이 모여서 풍차, 사람, 자동차 같은 물체를 이룹니다.

문제는 **"움직임"**입니다.

• 기존 기술의 문제: 구슬들이 움직일 때, 마치 인형극처럼 꾹꾹 눌리거나, 갑자기 꺾이는 듯한 '부자연스러운 점프'가 생깁니다. 특히 바람에 흔들리는 풍차처럼 복잡한 움직임을 표현하면 구슬들이 찢어지거나 흐릿해집니다.
• 이 연구의 해결책: 구슬들이 움직일 때 **부드러운 곡선 (B-스플라인)**을 그리며 춤추게 합니다. 마치 **유연한 줄 (스플라인)**에 구슬들을 꿰어서, 줄을 당기면 구슬들이 끊기지 않고 자연스럽게 미끄러지듯 움직이게 만든 것입니다.

2. 세 가지 마법 같은 기술

이 연구는 단순히 구슬을 움직이는 것뿐만 아니라, 더 똑똑하게 만들기 위해 세 가지 장치를 추가했습니다.

① "적응형 조종사" (Adaptive Control Mechanism)

• 상황: 장면에 따라 움직임이 복잡한 곳 (예: 빠르게 돌아가는 풍차 날개) 과 단순한 곳 (예: 가만히 있는 배경) 이 다릅니다.
• 해결: 모든 구슬에게 똑같은 수의 조종사를 붙이면 비효율적입니다. 이 기술은 "복잡하게 움직이는 곳은 조종사를 더 많이 붙이고, 단순한 곳은 줄여주는" 지능형 시스템을 도입했습니다.
• 비유: 마치 교통 체증이 심한 교차로에는 경찰관을 더 보내고, 한적한 도로에는 경찰관을 줄이는 것과 같습니다. 덕분에 계산 속도는 빠르지만, 복잡한 움직임은 정교하게 표현됩니다.

② "시간의 부드러운 다리" (Soft Segment Reconstruction)

• 상황: 동영상을 볼 때, 아주 먼 과거의 모습과 현재 모습을 갑자기 연결하면 어색합니다. (예: 1 초 전의 풍차 위치와 10 초 후의 위치를 바로 연결하면 꺾여 보임)
• 해결: 이 기술은 "가까운 시간대의 모습일수록 선명하게, 먼 시간대의 모습일수록 흐릿하게" 처리합니다.
• 비유: 시간이라는 다리를 걸을 때, 가까운 곳은 단단하게 디디고, 먼 곳은 발을 살짝 떼는 것과 같습니다. 이렇게 하면 긴 시간 동안 움직인 물체가 갑자기 튀어나오거나 찌그러지는 현상을 막아줍니다.

③ "상상력을 보충하는 마법 거울" (Diffusion-based Multiview Prior)

• 상황: 우리는 한쪽 방향 (단일 카메라) 으로만 찍은 영상을 가지고 있습니다. 그래서 카메라가 돌아갈 때, 보이지 않는 뒷면이 어떻게 생겼는지 알 수 없어 그림이 뭉개지거나 엉망이 됩니다.
• 해결: 최신 AI(확산 모델) 가 가진 **"상상력"**을 빌려옵니다. AI 는 "이 풍차의 앞면이 저렇다면, 뒷면은 아마 이런 모양일 거야"라고 추측해 줍니다.
• 비유: 눈을 가리고 그림을 그릴 때, 옆에 있는 친구가 "여기 저 부분은 이렇게 그려봐"라고 힌트를 주는 것과 같습니다. 이 힌트를 받아서 보이지 않는 부분까지 자연스럽게 채워 넣습니다.

---

3. 왜 이것이 중요한가요?

이 기술을 사용하면:

• 휴대폰으로 찍은 짧은 영상 하나만으로도, 그 장면을 360 도 자유롭게 돌아다니며 볼 수 있습니다.
• 풍차, 춤추는 사람, 움직이는 자동차처럼 복잡한 움직임도 끊김 없이, 선명하게 재현됩니다.
• 기존 기술들보다 화질이 훨씬 좋고, 계산 속도도 빠릅니다.

요약

이 논문은 "움직이는 3D 장면을 만들 때, 구슬들이 끊기지 않고 부드럽게 춤추게 하고, 복잡한 부분은 집중 관리하며, 보이지 않는 부분은 AI 의 상상력으로 채워주는" 새로운 방법을 개발했습니다. 덕분에 우리는 스마트폰으로 찍은 영상만으로도 마치 가상 현실 (VR) 에 들어간 것처럼 생생한 3D 경험을 할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

단안 (Monocular) 비디오로부터 고화질의 동적 장면을 재구성하고 새로운 뷰 (Novel View) 를 합성하는 것은 컴퓨터 비전의 중요한 과제입니다. 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 불연속적인 운동 표현: 기존 동적 3D 가우스 스플래팅 (Dynamic 3DGS) 방법들은 가우스의 위치와 방향 (Orientation) 변형을 명시적으로 연속적으로 모델링하지 못합니다. 특히 방향 변형이 불연속적이면 렌더링 시 아티팩트 (Artifact) 가 발생하고 부드러운 모션 표현이 어렵습니다.
• 복잡한 모션 처리의 어려움: 단안 비디오는 다중 뷰 정보가 부족하여, 복잡한 모션이 있는 영역에서 과적합 (Overfitting) 이 발생하거나 모션 블러 (Motion Blur) 가 심해지는 문제가 있습니다.
• 장기 간격 변형의 간섭: 긴 시간 간격의 프레임 사이에서 가우스의 변형을 추정할 때 발생하는 불확실성이 장면 재구성을 방해합니다.

2. 제안 방법 (Methodology)

저자들은 단안 비디오에서 고화질 동적 가우스 스플래팅을 가능하게 하기 위해 **명시적인 연속 운동 표현 (Explicit Continuous Motion Representation)**을 도입한 새로운 프레임워크를 제안합니다.

2.1. SE(3) B-spline Motion Bases

• 연속성 보장: 가우스의 위치와 방향 변형 궤적을 수학적으로 연속인 SE(3) 누적 B-spline으로 표현합니다. 이는 기존 방법들이 직선 보간이나 불연속 변환을 사용하던 것과 달리, 부드러운 궤적을 보장합니다.
• 제어점 기반: 학습 가능한 제어점 (Control Points) 을 사용하여 SE(3) B-spline 운동 베이스를 구성하며, 이를 통해 동적 가우스의 궤적을 제어합니다.
• 적응형 제어 메커니즘 (Adaptive Control Mechanism):
  • 가지치기 (Pruning): 불필요한 제어점을 제거하여 계산 효율성을 높이고 과적합을 방지합니다.
  • 밀도 증가 (Densification): 복잡한 모션이 발생하는 영역에서는 자동으로 운동 베이스의 밀도를 높여 표현력을 유지합니다.

2.2. 소프트 세그먼트 재구성 (Soft Segment Reconstruction)

• 문제 해결: 단안 비디오에서 참조 타임스탬프와 관측 타임스탬프 사이의 시간 간격이 길어질수록 변형 추정의 정확도가 떨어집니다.
• 해결책: 관측 시점의 가우스 불투명도 (Opacity) 를 시간 간격에 따라 가중치 (Sigmoid 함수) 를 두어 조절합니다. 시간 간격이 긴 참조 프레임의 가우스는 불투명도를 낮춰 재구성 시 간섭을 줄이고, 가까운 시간대의 가우스에 집중하도록 합니다.

2.3. 확산 기반 다중 뷰 사전 지식 (Diffusion-based Multiview Prior)

• 과적합 방지: 단안 데이터의 부족으로 인한 과적합을 해결하기 위해, **다중 뷰 확산 모델 (Multi-view Diffusion Model)**을 활용합니다.
• SDS Loss: 훈련 뷰에서 보이지 않는 영역 (Invisible Areas) 에 대한 사전 지식을 확산 모델에서 추출하여 Score Distillation Sampling (SDS) 손실 함수를 적용합니다. 이는 새로운 뷰 합성 시 구조적 일관성을 유지하고 아티팩트를 줄여줍니다.

2.4. 손실 함수 및 초기화

• 초기화: 정적 가우스는 배경 깊이 재투영로, 동적 가우스는 2D 트랙릿 (Tracklet) 의 깊이 재투영로 초기화합니다.
• 손실 함수: 재구성 손실 (L1, SSIM), 깊이 손실, 모션 부드러움 손실 (ARAP, Optical Flow), 카메라 부드러움 손실, 그리고 위에서 언급한 SDS 손실을 종합적으로 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 명시적 연속 운동 모델링: SE(3) B-spline 운동 베이스를 사용하여 동적 가우스의 위치와 방향 변형을 연속적으로 명시적으로 모델링하는 프레임워크를 제안했습니다.
2. 적응형 제어 및 소프트 세그먼트 전략: 복잡한 모션에 대응하기 위한 적응형 제어 메커니즘과 장기 변형 간섭을 줄이는 소프트 세그먼트 재구성 전략을 도입했습니다.
3. 확산 모델 기반 일반화: 다중 뷰 확산 모델을 통해 훈련 뷰에 과적합되지 않고 새로운 뷰로 잘 일반화되도록 SDS 손실을 적용했습니다.

4. 실험 결과 (Results)

• 데이터셋: iPhone Dataset 과 NVIDIA Dataset 에서 평가 수행.
• 성능: 기존 최첨단 (SOTA) 방법들 (MoSca, HiMoR, SplineGS, SoM 등) 보다 mPSNR, mSSIM, LPIPS 모든 지표에서 우수한 성능을 보였습니다.
  • 예: iPhone 데이터셋에서 mPSNR 20.17 (기존 최고 19.33), NVIDIA 데이터셋에서 PSNR 27.81 (기존 최고 27.12) 달성.
• 시각적 품질: 회전하는 풍차와 같은 복잡한 모션 영역에서도 선명하고 구조가 잘 보존된 새로운 뷰를 합성하며, 기존 방법들이 보이는 아티팩트를 크게 줄였습니다.
• 추적 정확도: 대응점 (Correspondence) 추적 정확도 (PCK-T) 에서도 다른 방법들을 능가했습니다.
• Ablation Study: 제안된 모든 구성 요소 (적응형 제어, 소프트 세그먼트, SDS Loss 등) 가 성능 향상에 기여함을 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 단안 비디오 기반 동적 3DGS 분야에서 위치와 방향의 연속성을 동시에 보장하는 명시적 운동 표현을 성공적으로 도입하여, 복잡한 모션 환경에서도 고품질의 새로운 뷰 합성을 가능하게 했습니다. 확산 모델을 활용한 다중 뷰 사전 지식 도입은 단안 데이터의 한계를 극복하는 새로운 방향을 제시합니다.
• 한계:
  • 매우 큰 비강체 (Non-rigid) 변형이 있는 장면에서는 여전히 어려움을 겪습니다.
  • 카메라나 물체의 움직임이 매우 빠른 블러가 있는 단안 비디오에서는 성능이 저하될 수 있습니다.

이 논문은 동적 3D 가우스 스플래팅의 핵심적인 문제인 '불연속적인 모션 표현'과 '단안 데이터의 과적합'을 해결하기 위한 체계적인 접근법을 제시하여, 향후 동적 장면 재구성 연구에 중요한 기여를 할 것으로 기대됩니다.