ViVo: A Dataset for Volumetric Video Reconstruction and Compression

1. 문제 정의 (Problem)

기존의 볼륨 비디오 (Volumetric Video) 연구는 다중 뷰 비디오 (Multi-view Video, MVV) 재구성 및 압축 기술 발전에 중요한 역할을 해왔습니다. 그러나 현재 존재하는 데이터셋들은 다음과 같은 한계점을 가지고 있어 실제 산업 환경에서의 알고리즘 개발과 검증을 어렵게 만들었습니다.

• 다양성 부족: 기존 데이터셋 (예: ZJU-MoCap, CMU Panoptic 등) 은 주로 인간 중심의 시나리오에 집중되어 있으며, 반사, 투명, 액체, 연기 등 실제 제작 환경에서 흔히 발생하는 저수준 (low-level) 의 복잡한 재질과 동적 텍스처를 포함하지 못합니다.
• 비현실적인 촬영 환경: 많은 데이터셋이 배경 노이즈를 제거하기 위해 배우를 물리적으로 격리된 공간에서 촬영합니다. 이는 실제 프로덕션 파이프라인 (영화 제작 등) 에서 배우와 스태프가 함께 움직이는 상황을 반영하지 못하며, 동적인 배경 노이즈 처리라는 중요한 과제를 간과합니다.
• 데이터 포맷의 제한: 기존 데이터셋은 종종 3D 포인트 클라우드나 보정되지 않은 RGB 데이터만 제공하며, 프레임 단위의 정밀한 카메라 보정 (per-frame calibration), 깊이 (Depth) 데이터, 오디오 동기화 등이 부족하여 고품질 재구성과 압축 연구에 제약이 따릅니다.

2. 방법론 및 제안된 데이터셋 (Methodology: ViVo Dataset)

이 논문은 위 한계를 극복하기 위해 ViVo (VolumetrIc VideO) 라는 새로운 데이터셋을 제안합니다. 이는 실제 산업 프로덕션 파이프라인을 충실히 반영하도록 설계되었습니다.

• 데이터 수집 환경: 영국 브리스톨에 위치한 Condense Reality 의 'Metaverse Studio'에서 전문 스태프가 촬영했습니다. 배우와 스태프가 함께 움직이는 현실적인 환경을 재현했습니다.
• 하드웨어 및 사양:
  • 카메라: 14 대의 Azure Kinect 카메라가 구형 (Spherical) 으로 배치되었으며, 배우의 앞쪽에 편향되어 있습니다.
  • 해상도 및 프레임: 각 카메라는 30FPS 로 2560×1440 (RGB) 및 640×576 (Depth) 해상도의 데이터를 동기화하여 수집했습니다.
  • 메타데이터: 프레임 단위의 카메라 보정 (Pose, Intrinsic), 오디오 데이터가 포함되어 있습니다.
• 콘텐츠 다양성:
  • 인물: 12 명의 배우 (다양한 인종, 성별, 연령대, 헤어스타일, 피부색) 가 참여했습니다.
  • 동적 요소: 불꽃, 액체, 풍선, 반사/투명 재질, 인플레이션 의상 (유니콘 등), 다중 인물 및 동물 (개) 상호작용 등 다양한 동적 텍스처와 재질을 포함합니다.
  • 총량: 32 개의 고유한 시퀀스 (60~120 초), 총 14 개의 뷰, 프레임당 최대 1 억 5 천 5 백만 개의 포인트 클라우드 생성 가능.
• 보조 도구:
  • SAM2 기반 GUI: 동적인 전경 마스크 (Foreground Mask) 를 생성하고 수정할 수 있는 도구 제공.
  • 포인트 클라우드 생성: RGB-D 데이터를 기반으로 프레임당 1 억 5 천 5 백만 개 이상의 포인트 클라우드를 생성하는 파이프라인 제공.
  • 3D 박스 마스크 및 다운샘플링 도구: 처리 효율성을 높이기 위한 도구 포함.

3. 주요 기여 (Key Contributions)

1. 최초의 산업형 볼륨 비디오 데이터셋: 실제 제작 환경을 시뮬레이션하며, 인간 중심 특성 (피부, 머리카락 등) 과 동적 시각 현상 (투명, 반사, 액체 등) 을 모두 아우르는 최초의 다중 뷰 인간 비디오 데이터셋입니다.
2. 완전한 메타데이터 제공: 기존 데이터셋과 달리 프레임 단위의 카메라 보정, RGB-D 데이터, 오디오, 그리고 이를 처리하기 위한 오픈 소스 도구를 함께 제공합니다.
3. 포괄적인 벤치마크 수행: 최신 (SotA) 3D 재구성 모델 (4D-GS, STG, SC-GS) 과 볼륨 비디오 압축 알고리즘 (TMIV, MV-HiNeRV, MV-IERV) 을 ViVo 데이터셋에서 평가하여 기존 모델의 한계를 규명했습니다.

4. 실험 결과 (Results)

A. 동적 신시각 합성 (Dynamic Novel View Synthesis, NVS)

• 모델 비교: 4D-GS, STG, SC-GS 세 가지 모델을 평가했습니다.
• 성능:
  • STG: 전반적으로 PSNR 및 SSIM 지표에서 가장 좋은 성능을 보였으나, 시간이 지남에 따라 (특히 50 프레임 이후) 구조가 붕괴되거나 인물이 희미해지는 문제가 발생했습니다.
  • SC-GS: 제어점 (Control Points) 기반의 강성 (Rigidity) 모델링을 사용하지만, ViVo 와 같은 희소 뷰 (Sparse-view) 환경과 복잡한 동적 텍스처 (예: 트럼펫 연주자의 움직임, 큰 인형 의상) 에서는 재구성이 실패하거나 투명하게 나타나는 등 한계를 보였습니다.
  • 4D-GS: STG 보다는 성능이 낮았으나 안정적인 재구성을 보였습니다.
• 지표의 한계: 기존 객관적 지표 (PSNR, SSIM) 는 초기 프레임의 높은 점수로 인해 시간적 편향 (Temporal Bias) 을 일으켜, 장기 시퀀스의 품질 저하를 제대로 반영하지 못함을 발견했습니다.

B. 다중 뷰 비디오 압축 (MVV Compression)

• 모델 비교: TMIV (MPEG 표준), MV-HiNeRV, MV-IERV (INR 기반) 를 비교했습니다.
• 성능:
  • 압축 효율: INR 기반 모델인 MV-HiNeRV가 TMIV 대비 최대 46.63% (PSNR 기준) 의 비트 절감 효과를 보이며 압축 효율 면에서 압도적인 우위를 점했습니다.
  • 화질: 저비트레이트 조건에서도 미세한 텍스처와 기하학적 일관성을 잘 유지하며, 시각적 아티팩트가 적었습니다.
  • 복잡도: INR 기반 모델들은 TMIV 보다 낮은 복잡도로 더 빠른 디코딩 속도를 달성하여 실시간 응용에 유리함을 입증했습니다.
• 한계: 'Pony'와 같이 텍스처가 매우 복잡한 장면에서는 저비트레이트 조건에서 아티팩트가 더 두드러지게 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구 방향 제시: ViVo 데이터셋은 기존 데이터셋이 간과했던 '희소 뷰 (Sparse-view)' 환경에서의 동적 재구성 문제와 '복잡한 재질/동적 배경' 처리의 어려움을 부각시켰습니다.
• 알고리즘 개발 촉진: 현재 SotA 모델들이 공간적/시간적 세부 사항을 재현하는 데 한계가 있음을 보여주었으며, 더 강력한 재구성 및 압축 알고리즘 개발의 필요성을 강조했습니다.
• 평가 지표 개선 필요: 기존 객관적 지표의 시간적 편향 문제를 지적하고, 운동 속도에 따른 가중치 부여 등 더 강건한 평가 지표 개발의 필요성을 제기했습니다.
• 오픈 액세스: 데이터셋, 소스 코드, 처리 도구 (GUI) 를 공개하여 (https://vivo-bvicr.github.io/) 향후 연구자들이 실제 산업 파이프라인에 부합하는 6DoF 다중 뷰 재구성 및 압축 연구를 수행할 수 있는 기반을 마련했습니다.

요약하자면, ViVo 는 단순한 데이터셋을 넘어 볼륨 비디오 기술이 직면한 실제적인 난제들을 해결하기 위한 새로운 벤치마크이자, 더 정교한 AI 기반 재구성 및 압축 기술 개발을 위한 필수적인 자원으로 평가됩니다.