VolHuMe: a High-Resolution Large Scale Dataset of Volumetric Human Meshes

기술 요약: VolHuMe: 고해상도 대규모 볼류메트릭 휴먼 메쉬 데이터셋

문제 정의
현재의 4D 인간 재구성(reconstruction)을 위한 데이터셋들은 규모, 캡처 품질, 그리고 주석(annotation)의 풍부함 사이에서 근본적인 트레이드오프에 직면해 있다. "인 더 와일드(In-the-wild)" 데이터셋은 노이즈가 많은 이미지, 희소한 시점, 제어되지 않은 조명 문제로 어려움을 겪는 경우가 많으며, 합성(synthetic) 데이터셋은 미세한 기하학적 충실도가 부족하다. 반대로, 고품질의 기하학적 구조를 제공하는 통제된 환경의 데이터셋들은 소수의 피사체만을 다루거나 원거리 전신 캡처에 의존하는 경향이 있다. 이러한 원거리 뷰에 대한 의존은 얼굴 표정, 손의 관절 움직임, 의류 질감과 같은 미세하고 정밀한 디테일을 재구성하는 데 한계를 준다. 또한, 기존 리소스들은 견고한 학습에 필요한 다양한 모달리티(modality)의 종합적인 결합—즉, 고해상도 텍스처 메쉬, 밀집 포인트 클라우드, 다중 뷰 RGB/깊이 데이터, 그리고 정확한 파라메트릭 모델 피팅(예: SMPL-X)을 동시에 제공하지 못하는 경우가 빈번하다.

방법론 및 데이터 획득
이러한 격차를 해소하기 위해, 저자들은 고품질 4D 휴먼 스캔으로 구성된 대규모 데이터셋인 VolHuMe를 소개한다. 데이터는 최첨리적인 스튜디오 설정인 Mantis Vision Volumetric Capture System을 사용하여 획득되었다.

• 하드웨어: 이 시스템은 32개의 모듈로 구성된 원통형 캡처 볼륨(직경 2.5m, 높이 3m)을 특징으로 한다. 각 모듈은 두 개의 공면(coplanar) RGB 카메라와 구조광 기반 깊이 추정을 위한 하나의 단색 카메라를 포함하며, 총 64개의 RGB 카메라(2456 × 2054 픽셀)와 32개의 깊이 카메라(1280 × 1024 픽셀)로 구성된다.
• 캡처 전략: 전통적인 전신 캡처 방식과 달리, VolHuMe는 근거리 부분 뷰(close-range, partial-view) 캡처 전략을 사용한다. 카메라는 피사체로부터 80~120cm 거리에 배치된다. 이러한 근접성은 뷰를 병합한 후 가능한 최고 수준의 디테일을 구현할 수 있게 하며, 원거리 전신 커버리지보다 미세한 신체 부위의 해상도를 우선시한다.
• 피사체 및 기간: 데이터셋은 104명의 다양한 성인 피사체(여성 40%, 남성 60%, 연령 18~70세)를 포함한다. 각 피사체는 1분 동안 기록되었으며, 총 156,000개의 주석 프레임을 생성하였다.
• 주석(Annotations): 데이터셋은 다음과 같은 광범위한 그라운드 트루스(ground truth)를 제공한다:
  • 고해상도 메쉬 및 애니메이션 준비가 된 리그드(rigged) 메쉬.
  • 밀집 포인트 클라우드.
  • 다중 뷰 RGB 및 깊이 이미지.
  • 의류 세그멘테이션(segmentation).
  • SMPL-X 피팅: 피부 오차 4.73mm, 의류 침투 오차 20.05%로 검증되어, 실시간 인체 측정 산업 표준을 충족한다.
  • FLAME 모델 피팅: 얼굴 특징의 정확도를 높이기 위해 적용되었다.

핵심 기여

1. 고해상도 근거리 데이터셋: VolHuMe는 신체 부위의 근거리 고해상도 캡처를 우선시하여, 원거리 전신 스캔에서 흔히 손실되는 미세한 기하학적 및 질감 디테일을 보존하는 최초의 대규모 데이터셋이다.
2. 포괄적인 그라운드 트루스: 메쉬, 포인트 클라우드, SMPL-X/FLAME 피팅, 다중 뷰 이미지를 포함한 완전한 주석 세트를 제공하며, 이는 단일 리소스로서 매우 드문 사례로 다양한 연구 과제를 가능하게 한다.
3. 희소 다중 뷰 벤치마크: 이 데이터셋은 밀집된 카메라 배열에 의依赖하지 않고 부분적인 관측으로부터 고충실도 재구성을 요구하는 32개 모듈의 희소 다중 뷰 설정을 제공함으로써 현재의 SOTA(State-of-the-Art) 방법론들에 도전한다.

실험 결과
저자들은 SOTA 방법론들을 평가하고 현재의 한계를 드러내기 위해 3D 및 4D 재구성 작업에 대해 VolHuMe를 벤치마킹하였다.

• 뷰 합성(View Synthesis) 및 메쉬 추정:

  • 표준 NeRF 및 3D 가우시안 스플래팅(3DGS) 방식은 시점의 희소성과 균일한 배경으로 인해 원천 데이터에서 수렴에 실패했다. 안정적인 학습을 위해 배경 합성(background compositing)을 포함한 커스텀 변형 모델이 필요했다.
  • 사진 측량(Photogrammetry) 기반 방법은 가장 우수한 메쉬 재구성 정확도를 달아냈으나, 여전히 그라운드 트루스 메쉬의 디테일에는 미치지 못했다.
  • Radiant Foam은 NeRF와 3DGS 방식을 모두 능가하는 최고의 뷰 합성 성능(PSNR 39.20, SSIM 0.981)을 달성했다.
  • 3DGS 방식은 NeRF에 비해 중주파수(mid-frequency) 텍스처 회복 능력이 개선되었으나, 미세한 디테일을 지나치게 매끄럽게 만드는(over-smooth) 경향이 있었다.

• 4D 휴먼 재구성:

  • GPS-Gaussian: VolHuMe에서 평가했을 때, 이 방법은 PSNR 36.85를 달성하여 THuman2.0 데이터셋에서의 결과(25.57)를 크게 상회했다. 이는 VolHuMe의 고충실도 그라운드 트루스가 더 나은 다운스트림 재구성을 이끌어낸다는 것을 나타낸다.
  • Animatable Gaussians: Vol-HuMe에서 29.59의 PSNR을 기록하였는데, 이는 160개의 카메라를 사용하는 ActorHQ 데이터셋의 결과(30.36)와 유사한 수준이다. 이는 Vol-HuMe가 32개의 희소 모듈만을 사용했음에도 불구하고 달성한 결과이다.
  • 공간 샘플링 분석: Blender를 이용한 통제된 실험 결과, Vol-HuMe의 근거리 부분 뷰는 원거리 4K 전신 이미지의 926,774 픽셀과 비교하여 1,582,839 픽셀의 유효 공간 커버리지를 제공함을 입증했다. 이는 근거리 설정이 더 적은 수의 카메라로도 우수한 공간 샘플링을 제공한다는 점을 확인시켜 준다.

의의 및 주장
본 논문은 VolHuMe가 현재의 평가 테스트베드의 한계를 드러내는 도전적인 벤치마크 역할을 한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 근거리 부분 관측은 유효 공간 샘플링 및 디테일 회복 측면에서 밀집된 전신 캡처 설정과 대등하거나 그 이상의 재구성 품질을 달성할 수 있다.
2. 기존의 SOTA 방법들은 희소한 다중 뷰 입력에 직면했을 때 미세한 기하학적 및 질감 디테일을 완전히 활용하는 데 어려움을 겪으며, 종종 이를 위해 보조적인 전처리(배경 합성 등)를 필요로 한다.
3. 이 데이터셋은 특히 손, 얼굴, 의류의 상세한 관절 움직임이 필요한 작업에서 고충실도 휴민 재구성, 렌더링 및 뷰 합성을 발전시키기 위한 필수적인 리소스를 제공한다.

저자들은 자신의 데이터셋이 새로운 역량을 가능하게 하지만, 현재의 방법론들은 디테일을 잃지 않으면서 희소하고 근거리인 데이터를 처리하기 위해 상당한 적응이 여전히 필요하다는 점을 언급하며 겸허한 태도를 유지한다. 그들은 VolHuMe를 해결된 문제가 아니라, 미래의 4D 휴먼 모델링 연구를 견인하기 위한 엄격한 테스트베드로 규정한다.