기술 요약: 4DSloMo

문제 정의

다시점 비디오로부터 빠른 동적 장면을 재구성하는 것은 스포츠 분석, 자율 주행, VR/AR 콘텐츠 제작 등의 응용 분야에서 필수적입니다. 그러나 현재의 4D 캡처 시스템은 일반적으로 30 FPS 미만(예: 15~30 FPS)의 프레임 레이트에 제한되어 있어, 옷의 움직임이나 급격한 운동 동작과 같은 고속 움직임을 포착하기에는 불충분합니다. 저프레임 입력을 통해 고속 움직임을 직접 재구성하면 기존 방식들이 복잡하고 비선형적인 움직임에 대한 중간 프레임을 정확하게 보간하지 못하기 때문에 심각한 아티팩트와 모션 왜곡이 발생할 수 있습니다.

특수 고속 카메라를 통해 프레임 레이트를 높이는 것은 비용이 많이 들고 데이터 전송 대역폭 요구 사항을 증가시킵니다. 반대로, 순수하게 알고리즘적인 프레임 보간(예: CNN 또는 표준 확산 모델 사용)은 빠른 움직임에 필요한 물리적 정보를 복구하는 데 실패하여 심각한 아티팩트나 잘못된 모션 궤적을 초래하는 경우가 많습니다.

방법론

저자들은 표준 저프레임 카메라를 사용하여 고속 4D 재구성을 달성하기 위해 새로운 하드웨어 캡처 방식과 소프트웨어 기반의 생성적 정제 파이프라인을 결합한 4DSloMo 프레임워크를 제안합니다.

1. 비동기 캡처 방식 (Asynchronous Capture Scheme)

새로운 하드웨어 없이 효과적인 프레임 레이트를 높이기 위해, 저자들은 비동기 캡처 전략을 도입합니다.

• 메커니즘: 모든 카메라를 동시에 캡처하도록 동기화하는 대신, 시스템은 그룹 내 카메라들의 시작 시간을 엇갈리게 설정합니다.
• 구현: 카메라를 그룹(예: 그룹당 $K$대의 카메라)으로 나눕니다. 그룹 내 $i$번째 카메라는 $t_i = i \cdot (\tau/K) + j \cdot \tau$ 시점에 캡처를 시작하며, 여기서 $\tau$는 기본 프레임 간격(예: 1/25초)입니다.
• 결론: 이는 효과적으로 시간 해상도를 $K$배만큼 증가시킵니다. 예를 들어, 8대의 25 FPS 카메라를 그룹으로 나누어 사용하면 시스템은 100–200 FPS에 해당하는 캡처 레이트를 달낼 수 있습니다.
• 과제: 이 방식은 특정 타임스탬프에서의 가용 뷰포인트 수를 줄여, 희소 뷰(sparse-view) 재구성 문제와 눈에 띄는 "플로터(floater)" 아티팩트를 유발합니다.

2. 아티팩트 제거 비디오 확산 모델 (Artifact-Fix Video Diffusion Model)

희소 뷰와 시간적 불일치로 인해 발생하는 아티팩트를 해결하기 위해, 저자들은 생성적 정제 모듈을 제안합니다.

• 동기: 이미지 확산 모델은 공간적 아티팩트는 수정할 수 있지만, 프레임을 독립적으로 처리하기 때문에 4D 재구성에서 시간적 불일치를 초래합니다.
• 아키텍처: 모델은 Wan2.1 비디오 확산 모델을 기반으로 구축되었습니다. 비디오-VAE를 사용하여 렌더링된 비디오를 잠재 공간(latent space)으로 압축합니다. 이 모델은 초기 4D 가우시안 모델로부터 렌더링된 노이즈가 있고 아티팩트가 있는 비디오를 조건(condition)으로 받아 깨끗하고 시간적으로 일관된 비디오를 생성합니다.
• 학습 전략:
  • 데이터 큐레이션: 기존 4D 시퀀스(DNA-Rendering)를 시간적으로 서브샘플링하여 비동기 캡처와 큰 움직임을 시뮬레이션함으로써 750개의 쌍으로 구성된 데이터셋을 구축했습니다. 이 비동기 입력에 대해 4D 가우시안 스플래팅(GS4D) 모델을 학습시켜 "노이즈가 있는" 렌더링을 생성하고, 이를 원본 그라운드 트루스 비디오와 쌍을 이룹니다.
  • 미세 조정(Fine-tuning): 인코더와 디코더는 고정한 채 DiT(Diffusion Transformer) 블록에 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정을 수행합니다. 학습 목표는 생성된 잠재값과 타겟 잠재값 사이의 차이를 최소화하는 것입니다.
• 통합: 정제된 비디오는 $L_1$ 거리와 지각적 손실(LPIPS)을 포함하는 결합 손실 함수를 통해 4D 가우시안 모델을 감독(supervise)하는 데 사용되며, 이를 통해 비디오 확산 사전 지식(prior)을 4D 재구성에 증류(distilling)합니다.

3. 4D 재구성 파이프라인

전체 파이프라인(그림 2 참조)은 다음과 같이 진행됩니다:

1. 초기화: 비동기적으로 캡처된 다중 뷰 비디오로부터 초기 4D 가우시안 스플래팅(GS4D) 모델을 재구성합니다.
2. 렌더링: 이 초기 모델로부터 고프레임 레이트 비디오를 렌더링하며, 이 과정에서 뷰포인트 희소성으로 인한 아티팩트가 본질적으로 포함됩니다.
3. 정제: 아티팩트 제거 비디오 확산 모델이 렌더링된 비디오를 처리하여 깨끗하고 시간적으로 일관된 출력을 생성합니다.
4. 최적화: 정제된 비디오를 감독 신호로 사용하여 4D 가우시안 모델을 추가 최적화함으로써 공간적 세부 사항과 시간적 일관성을 모두 개선합니다.

주요 기여

1. 하드웨어 솔루션: 카메라 시작 시간을 엇갈리게 하여 효과적인 프레임 레이트를 높이는 저비용 비동기 캡처 시스템을 통해, 표준 25–30 FPS 카메라로 100–200 FPS 재구성을 가능하게 합니다.
2. 소프트웨어 솔루션: 희소 뷰 4D 재구성을 처리하도록 특별히 학습된 새로운 아티팩트 제거 비디오 확산 모델을 제안합니다. 이미지 기반 방식과 달리, 이 모델은 시공간적 사전 지식을 활용하여 시간적 일관성을 유지하면서 "플로터" 아티팩트를 제거합니다.
3. 데이터셋: 빠르고 복잡한 동적 장면을 포착하는 비동기 다중 뷰 비디오를 포함한 최초의 실제 환경 데이터셋(12개 시퀀스)을 구축하여, 제안된 방식의 실질적인 타당성을 검증했습니다.

실험 결과

본 방법은 합성 데이터셋(DNA-Rendering, Neural3DV)과 커스텀 실제 캡처 설정에서 평가되었습니다.

• 정량적 성능: DNA-Rendering 데이터셋에서 제안된 방법은 PSNR 26.76, SSIM 0.845, LPIPS 0.293을 달성하여 K-Planes, 4DGS, GS4D를 포함한 최신 베이스라인들을 능가했습니다. Neural3DV 데이터셋에서도 유사한 개선(PSNR: 33.48)이 관찰되었습니다.
• 절제 연구(Ablation Studies):
  • 비동기 vs. 동기: 비동기 캡처는 확산 모델 없이도 동기 캡처에 비해 큰 움직임에 대한 재구성 품질을 크게 향arly 개선했습니다.
  • 비디오 vs. 이미지 확산: 비디오 확산 모델을 사용하는 것이 이미지 확산 모델보다 우수한 시간적 일관성을 보여주었습니다. 이미지 확산 모델은 프레임 간 텍스처 변화를 유발했습니다.
  • 아티팩트 제거: 아티팩트 제거 모델의 포함은 LPIPS를 크게 감소시켰으며, 특히 복잡한 질감과 비선형적 움직임(예: 치마, 흔드는 팔)이 있는 영역에서 시각적 충실도를 향상시켰습니다.
• 실제 환경 검증: 춤과 스포츠의 실제 캡처에서, 본 방법은 동기 캡처나 표준 보간법으로는 해결할 수 없었던 고속 움직임을 성공적으로 재구성했습니다.

의의 및 주장

본 논문은 4DSloMo가 고속 4D 재구성을 위한 강력한 결합 하드웨어-소프트웨어 솔루션을 제공한다고 주장합니다. 비동기 트리거링을 통해 캡처 프레임 레이트를 카메라의 네이티브 프레임 레이트와 분리함으로써, 이 방법은 값비싼 고속 하드웨어 없이도 기존 4D 캡처 어레이의 한계를 극복합니다.

또한, 저자들은 비디오 확산 기반의 아티팩트 제거 접근 방식이 이미지 확산 기반 정제 방식이 해결하지 못하는 시간적 불일치 문제를 해결한다는 점을 강조합니다. 이 연구는 캡처 전략과 재구성 파이프라인이 결과적으로 발생하는 희소성과 모션 복잡성을 처리하도록 공동 설계된다면, 일반 비디오 카메라를 사용하여 고속 움직임의 중간 프레임을 복구하는 것이 가능하다는 것을 보여줍니다. 최초의 비동기 다중 뷰 데이터셋 공개는 이 분야의 추가적인 연구를 촉진하기 위함입니다.