VeGaS: Video Gaussian Splatting

이 논문은 비선형 동역학을 포착하고 연속 프레임을 2D 가우시안으로 모델링하는 'Folded-Gaussian' 분포를 도입하여, 기존 비디오 가우시안 모델의 편집 한계를 극복하고 프레임 재구성 성능과 현실적인 비디오 수정이 가능한 'VeGaS'를 제안합니다.

핵심

🎬 VeGaS: 비디오를 '접어서' 만드는 마법 같은 기술

이 논문은 VeGaS (Video Gaussian Splatting) 라는 새로운 기술을 소개합니다. 쉽게 말해, "비디오를 더 똑똑하게 압축하고, 자유롭게 편집할 수 있게 해주는 새로운 방식" 입니다.

기존의 기술들이 가진 한계를 극복하고, 마치 레고 블록처럼 비디오의 각 부분을 자유롭게 조립하고 변형할 수 있게 해줍니다.

---

1. 기존 기술의 문제점: "비디오는 너무 무겁거나, 편집하기 힘들어요"

비디오를 디지털로 저장할 때 두 가지 큰 길이 있습니다.

• 길 A (INR - 신경망 방식): 비디오를 하나의 거대한 '수식'으로 만듭니다.
  • 장점: 파일 크기가 매우 작습니다 (압축률이 좋음).
  • 단점: 편집이 불가능합니다. 수식 전체를 다시 계산해야 하므로, "이 사람 얼굴만 크고 싶어요"라고 하면 전체 수식이 망가집니다.
• 길 B (기존 3D 가우스 방식): 비디오를 수많은 '구슬' (3D 가우스) 들로 만듭니다.
  • 장점: 편집이 가능합니다. 구슬 하나하나를 움직여 배경을 바꾸거나 물체를 이동시킬 수 있습니다.
  • 단점: 구슬들이 너무 단순해서, 빠르게 움직이는 복잡한 동작 (예: 춤추는 사람, 물결치는 바다) 을 표현하려면 구슬이 너무 많이 필요하거나, 움직임이 뻣뻣해집니다. 마치 직선으로만 움직이는 로봇처럼요.

2. VeGaS 의 해결책: "비디오를 '접는' 기술 (Folded-Gaussians)"

VeGaS 는 이 두 가지의 장점을 합치고, 새로운 아이디어를 추가했습니다.

📐 비유: "접힌 종이" vs "평평한 종이"

기존 기술은 비디오의 움직임을 평평한 종이 위에 그리는 것과 같습니다. 직선으로만 움직일 수 있어서, 종이 위에 복잡한 곡선을 그리려면 종이를 구겨야 합니다.

하지만 VeGaS 는 종이를 '접어서' (Fold) 움직임을 표현합니다.

• 접힌 종이 (Folded-Gaussian): 종이를 접으면, 한 번에 복잡한 곡선 모양을 만들 수 있습니다.
• 원리: VeGaS 는 비디오의 시간 (프레임) 과 공간 (화면) 을 연결할 때, 단순한 직선이 아니라 구불구불한 곡선 (비선형) 을 따라 움직이는 '접힌 구슬'을 사용합니다.
• 결과: 아주 빠르고 복잡한 움직임도 적은 수의 구슬로 자연스럽게 표현할 수 있습니다.

3. VeGaS 가 어떻게 작동할까요? (3 단계)

1. 3D 공간에 비디오를 눕히기:
   • 보통 비디오는 '시간'이 흐르는 2D 이미지들의 연속입니다. VeGaS 는 이를 3D 공간에 펼쳐진 '평행한 평면'들로 생각합니다. (시간이 흐를수록 평면이 뒤로 밀려나는 느낌)
2. 접힌 구슬 (Folded-Gaussians) 배치:
   • 이 3D 공간에 '접힌 구슬'들을 뿌립니다. 이 구슬들은 시간이 흐를수록 모양이 변하거나 꺾이면서, 다음 프레임으로 자연스럽게 이어집니다.
   • 마치 물결치는 물이나 춤추는 사람처럼, 구슬들이 꺾이며 움직임을 따라갑니다.
3. 프레임마다 '자르기' (Conditioning):
   • 특정 시간 (예: 10 번째 프레임) 을 찍으면, 3D 공간에 있는 접힌 구슬들을 그 시간에 맞춰 '자릅니다'.
   • 그 결과로 나온 2D 단면이 바로 우리가 보는 비디오 프레임이 됩니다.

4. 왜 이것이 대단한가요? (실제 효과)

VeGaS 는 단순히 비디오를 잘 재생하는 것을 넘어, 마치 비디오를 점토처럼 다루게 해줍니다.

• 🎨 편집의 자유:
  • 배경과 전경 분리: 정적인 배경 (하늘, 벽) 은 큰 구슬로, 빠르게 움직이는 물체 (사람, 자동차) 는 작은 구슬로 따로 관리합니다.
  • 자유로운 변형: 그림 2 와 4 에서 보듯, 비디오 속 특정 물체를 확대 (Scale), 배수 (Multiplication), 이동시킬 수 있습니다. 마치 포토샵에서 레이어를 조작하듯, 비디오의 특정 객체만 선택해서 변형할 수 있습니다.
• 🚀 더 선명한 화질:
  • 복잡한 움직임도 적은 데이터로 표현하므로, 기존 기술보다 더 선명하고 자연스러운 화질을 보여줍니다. (실험 결과, 다른 최신 기술들보다 점수가 높았습니다.)
• ⏱️ 프레임 보간 (Frame Interpolation):
  • 두 프레임 사이를 '접힌 구슬'을 따라 잘게 나누면, 원래 없던 중간 프레임을 자연스럽게 만들어낼 수 있습니다. (예: 30 프레임 비디오를 60 프레임으로 부드럽게 만드는 것)

5. 요약: VeGaS 는 어떤 기술인가요?

"비디오를 단순한 이미지들의 나열이 아니라, 3D 공간에 '접혀진' 구슬들의 흐름으로 이해하는 기술"

기존의 딱딱하고 직선적인 방식에서 벗어나, 유연하고 곡선적인 움직임을 표현할 수 있게 해줍니다. 덕분에 비디오를 더 작게 압축하면서도, 원하는 대로 자유롭게 편집하고 변형할 수 있는 새로운 시대를 열었습니다.

한 줄 요약:

"VeGaS 는 비디오를 접힌 종이처럼 다루어, 복잡한 움직임을 자연스럽게 표현하고, 마치 레고처럼 비디오 속 객체를 자유롭게 변형하게 해주는 마법 같은 기술입니다."

기술 요약

1. 문제 정의 (Problem)

기존의 비디오 처리 및 편집 기술에는 다음과 같은 한계가 존재했습니다.

• 암시적 신경 표현 (INR) 의 한계: INR 은 신경망을 사용하여 이산적인 비디오 데이터를 연속적인 함수로 근사화하여 압축 효율과 재구성 품질이 뛰어납니다. 그러나 신경망 가중치에 데이터가 인코딩되어 있어, 특정 객체나 프레임을 선택적으로 수정하는 편집 (Editing) 작업에는 적합하지 않습니다.
• 기존 3D 가우스 스플래팅 (3DGS) 기반 모델의 제약: 비디오를 3D 가우스로 표현하는 VGR (Video Gaussian Representation) 과 같은 모델은 편집이 가능하지만, 가우스의 변형을 선형 변환 (Linear Transformations) 과 이동 (Translations) 으로만 제한합니다. 이는 비디오 내의 복잡한 비선형 운동 (Nonlinear Dynamics) 을 정확하게 모델링하거나 정교한 편집을 수행하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 VeGaS (Video Gaussian Splatting) 모델을 제안했습니다. 핵심은 비디오 스트림 내의 비선형 동역학을 포착할 수 있는 새로운 확률 분포인 Folded-Gaussians를 도입한 것입니다.

가. Folded-Gaussians (접힌 가우스)

• 개념: 기존의 3D 가우스 분포를 일반화하여 비선형 구조를 모델링할 수 있도록 설계된 분포입니다.
• 작동 원리:
  • 시간 변수 ($t$) 에 대한 조건부 확률 분포가 임의의 곡선 (비선형) 을 따라 정렬된 1 차원 가우스 분포가 되도록 합니다.
  • 공간 변수 ($s$) 에 대해 시간 의존적인 변환을 적용합니다: $s \to \sqrt{a(t)}(s - m_s) + m_s + f(m_t - t)$.
  • 여기서 $f$는 다항식 함수로 비선형 시프트를, $a(t)$는 시간 변수의 가능도 (Likelihood) 를 기반으로 한 스케일링 함수로, 비디오의 일부 프레임에만 존재하는 요소 (예: 카메라에 접근했다가 사라지는 객체) 를 효과적으로 표현합니다.
• 특징: 조건부 분포는 여전히 고전적인 2D 가우스가 되지만, 결합 분포는 비선형 구조를 갖게 되어 복잡한 운동 패턴을 정밀하게 표현할 수 있습니다.

나. VeGaS 모델 아키텍처

• 3D 공간에서의 비디오 표현: 비디오 프레임을 3D 공간 내의 평행한 평면으로 간주하고, 3D 가우스 스플래팅을 적용합니다.
• 프레임 조건부 생성: 각 프레임의 발생 시간 ($t_i$) 에서 3D Folded-Gaussians 를 조건부 (Conditioning) 로 취하여 해당 프레임에 맞는 2D 가우스를 생성합니다.
• 동적 프레임 피팅 (Dynamic Frame Fitting): 고정된 프레임 간격을 사용하지 않고, 학습 가능한 파라미터를 통해 프레임 발생 시간을 최적화하여 재구성 품질을 극대화합니다.
• MiraGe 기반 표현: 개별 프레임은 MiraGe(2D 이미지를 3D 가우스로 표현하는 방법) 를 기반으로 모델링되어, 전체 비디오나 특정 프레임을 대상으로 한 고해상도 렌더링 및 편집을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. Folded-Gaussians 도입: 비선형 구조를 모델링할 수 있는 새로운 가우스 분포 가족을 제안하여, 3D 가우스 스플래팅 프레임워크에 통합했습니다.
2. VeGaS 모델 제안: Folded-Gaussians 를 활용하여 2D 비디오 데이터를 처리하고, 비선형 동역학을 정확하게 표현하는 새로운 비디오 표현 방식을 제시했습니다.
3. 성능 및 편집 능력 입증: 재구성 작업에서 기존 최첨단 (SOTA) 모델들을 능가하는 성능을 보였으며, 비디오 데이터의 현실적인 수정 (확대, 축소, 객체 복제 등) 을 가능하게 함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

저자들은 DAVIS 및 Bunny 데이터셋을 사용하여 VeGaS 를 평가했습니다.

• 프레임 재구성 (Frame Reconstruction):
  • PSNR 및 SSIM 지표: Omnimotion, CoDeF, VGR, DNeRV 등 기존 SOTA 모델들과 비교했을 때, VeGaS 는 모든 테스트 비디오에서 가장 높은 PSNR 및 SSIM 점수를 기록했습니다.
  • 예: DAVIS 데이터셋의 'Bear' 비디오에서 VGR(30.17) 대비 VeGaS(31.79) 가 더 높은 PSNR 을 보였습니다.
• 프레임 보간 (Frame Interpolation):
  • 연속적인 표현을 활용하여 프레임 사이의 보간을 수행했을 때, VGR 대비 더 자연스럽고 품질이 높은 결과를 보여주었습니다 (시각적 평가).
• 비디오 편집 (Video Edition):
  • 전역 수정: 선택된 객체의 크기 조절 (Scaling) 이나 복제 (Multiplication) 등 전역적인 조작이 가능했습니다.
  • 국소 수정: 특정 프레임만 선택하여 해당 프레임의 일부 요소만 수정하는 것이 가능했습니다. 이는 기존 선형 변환만 가능한 모델에서는 불가능했던 기능입니다.
• Ablation Study:
  • 다항식 함수 $f$의 차수를 7 으로 하고, 배치 크기를 3 으로 설정했을 때, 초기 가우스 개수 0.5M 로 학습 시 가장 우수한 재구성 품질 (PSNR 39.02) 을 달성했습니다.

5. 의의 및 결론 (Significance)

• 비선형 동역학의 정밀한 모델링: VeGaS 는 기존 3DGS 기반 비디오 모델이 가지던 선형 변환의 한계를 극복하고, Folded-Gaussians 를 통해 복잡한 비선형 운동 패턴을 자연스럽게 표현할 수 있게 했습니다.
• 고품질 편집 가능성: INR 의 압축/재구성 장점과 3DGS 의 편집 가능성을 결합하여, 비디오의 특정 객체나 프레임을 고해상도로 유지하면서 자유롭게 수정할 수 있는 새로운 패러다임을 제시했습니다.
• 실용성: 이 연구는 비디오 압축, 초해상도, 그리고 생성형 AI 를 활용한 비디오 편집 등 다양한 응용 분야에서 중요한 기반 기술이 될 것으로 기대됩니다.

요약하자면, VeGaS는 Folded-Gaussians 라는 수학적 기법을 도입하여 비디오의 비선형 움직임을 3D 가우스로 정밀하게 모델링함으로써, 압도적인 재구성 품질과 유연한 편집 기능을 동시에 실현한 획기적인 모델입니다.