ShapeGaussian: High-Fidelity 4D Human Reconstruction in Monocular Videos via Vision Priors

기술 요약: ShapeGaussian

문제 정의

일상적인 단안 비디오(monocular videos)로부터 사진처럼 사실적이고 고충실도(high-fidelity)의 4D 인간 장면을 재구성하는 것은 컴퓨터 비전 분야에서 여전히 중요한 과제입니다. 기존 방식들은 성능과 견고성 사이에서 양극단의 문제를 겪습니다:

1. 일반적인 가우시안 스플래팅 방법 (예: 4DGS): 이러한 방식들은 강력한 비전 사전 지식(vision priors)이 부족합니다. 급격한 인간의 움직임이 포함된 단안 비디오에 적용될 경우, 제약이 없는 최적화 문제와 다각도 뷰 단서의 부족으로 인해 높은 변형 역학(high-deformation dynamics)을 포착하는 데 어려움을 겪습니다. 이는 종종 부정확한 기하 구조와 낮은 신규 뷰 합성(novel view synthesis) 성능으로 이어집니다.
2. 템플릿 기반 방식 (예: HUGS, GART): 이들은 강한 형태 사전 지식을 제공하기 위해 SMPL과 같은 파라메트릭 인간 모델에 의존합니다. 사진처럼 사실적인 결과를 생성할 수는 있지만, 인간 포즈 추정 오류에 매우 취약합니다. 부정확한 포즈 추정은 느슨한 의류, 머리카락, 또는 부분적인 폐쇄(occlusion)가 포함된 복잡한 시나리오에서 비현실적인 아티팩트를 유발하여, 고충실도 재구성 작업에 대한 적용성을 제한합니다.

특정 피사체나 동작에 완벽하게 맞지 않는 경직된 인간 템플릿에 의존하지 않으면서도, 고충실도 재구성과 견고성을 모두 달성할 수 있는 방법론이 필요합니다.

방법론

저자들은 데이터 기반 비전 사전 지식을 활용하는 템플릿 프리(template-free), 2단계 파이프라인인 ShapeGaussian을 제안합니다.

1. 데이터 기반 사전 지식 및 초기화

이 방법은 SMPL에 의존하는 대신, 풍부한 2.5D 정보를 추출하기 위해 검증된 사전 학습된 비전 파운데이션 모델을 활용합니다:

• 시맨틱 마스크 (Semantic Masks): 인간 세그멘테이션을 위해 사용됩니다.
• 깊이 지도 (Depth Maps): 일반 단안 깊이 지도와 인간 특화 깊이 지도의 조합을 사용합니다.
• 인간 UV 맵 (Human UV Maps): 트래킹을 위한 조밀한 2D 대응 관계(예: DensePose를 통해)를 설정하는 데 사용됩니다.

형태 인식 초기화 (Shape-Aware Initialization):
급격한 움직임이 있는 일상적인 단안 비디오에서 유효한 SfM(Structure-from-Motion) 포인트를 얻기 어려운 문제를 해결하기 위해, 저자들은 형태 인식 초기화 체계를 도입합니다:

• 깊이 정렬 (Depth Alignment): 일반 깊이 지도와 인간 특화 깊이 지도를 희소(sparse) SfM 포인트와 RANSAC을 사용하여 정렬함으로써 일관되고 정렬된 깊이 지도($D^*$)를 생성합니다.
• 희소 가우시안 생성 (Sparse Gaussian Generation): 정렬된 깊이 지도를 사용하여 2D 키포인트를 3D로 리프팅합니다. 초기 회전은 프레임 간의 직교 프로크루스테스 정렬(orthogonal Procrustes alignment)을 통해 결정됩니다.
• 변형 필드 초기화 (Deformation Field Initialization): 정렬된 깊이로부터 도출된 고정밀 희소 3D 대응 관계를 사용하여 변형 필드를 초기화하며, 공동 최적화 전 필드를 3D 포인트와 정렬시키기 위해 변형 손실(deformation loss)을 최소화합니다.

2. 다중 참조 프레임을 갖춘 변형 모델

단일 정준 참조 프레임(canonical reference frame)을 사용하는 기존 연구와 달리, ShapeGaussian은 단일 프레임에서의 가우시안 가시성 문제를 해결하기 위해 다중 참조 프레임($t_1, \dots, t_B$)을 사용합니다.

• 변형 필드 $F_\theta$는 시간 인코딩과 위치 인코딩을 기반으로 위치($\delta x$), 회전($\delta r$), 스케일($\delta s$)에 대한 오프셋을 예측합니다.
• 시간 $t$에서의 가우시안의 최종 변형 상태는 $B$개의 참조 프레임에서의 상태에 대한 가중 합으로 계산되며, 여기서 가중치는 학습됩니다. 이를 통해 특정 참조 프레임에서 가우시안이 가려지더라도 모델이 이를 추적할 수 있게 합니다.

3. 최적화

방법론은 모든 프레임에 걸쳐 변형 네트워크와 3D 가우시안을 공동 최적화합니다.

• 손실 함수 (Loss Function): 전체 손실은 색상 손실($L_{color}$), D-SSIM 손실($L_{D-SSSI}$), 정렬된 사전 지식과 렌더링된 깊이를 비교하는 깊이 손실($L_{depth}$), 그리고 강성 손실($L_{rigid}$)로 구성됩니다.
• 다중 프레임 밀도 제어 (Multi-frame Density Control): 기하학적 일관성을 유지하기 위해 모든 참조 프레임에 걸쳐 적응형 밀도 제어(가우시안 복제/분할)가 일관되게 적용됩니다.
• 웜업 전략 (Warm-up Strategy): 초기화 단계에서 구축된 기하학적 사전 지식이 강력한 감독(supervision)에 의해 파괴되는 것을 방지하기 위해 초기 에포크(epoch) 동안 "동결(freezing)" 손실이 적용됩니다.

주요 기여

1. 템플릿 프리 고충실도 재구성: 이 방법은 2D 비전 사전 지식을 활용하여 인간 중심의 장면을 재구성하며, 명시적인 템플릿 기반 방식에서 발생하는 포즈 추정 오류로 인한 아티팩트를 효과적으로 완화합니다.
2. 다중 참조 프레임: 저자들은 템플릿 프리 방식으로 가시적이지 않은 2D 키포인트 문제를 해결하기 위해 다중 참조 프레임을 사용하여, 고변형 동작에 대한 변형 정확도를 크게 향상시켰습니다.
3. 형태 인식 초기화: 일반 깊이 지도와 인간 특화 깊이 지도를 SfM 포인트와 결합하여 견고한 기하학적 토대를 제공함으로써, 역동적인 단안 시나리오에서의 희소 SfM 한계를 극복하는 새로운 초기화 체계를 제시했습니다.
4. 우수한 성능: 광범ical한 실험을 통해 ShapeGaussian이 재구성 정확도, 시각적 품질 및 다양한 인간 동작에 대한 견고성 측면에서 일반적인 가우시안 방식과 템플릿 기반 방식 모두를 능가함을 입증했습니다.

결과

방법론은 NeuMan 및 ZJU Mocap 데이터셋에서 평가되었습니다.

• 정량적 성능: NeuMan 데이터셋에서 ShapeGaussian은 4DGS, Deformable-GS, HUGS, Shape-of-Motion 등의 방법보다 PSNR, SSIM, LPIPS 지표에서 앞서는 최첨단(SOTA) 결과를 달s성했습니다. 예를 들어, "Seattle" 시퀀스에서 HUGS의 25.94, 4DGS의 21.03 대비 27.68의 PSNR을 기록했습니다.
• 정성적 성능: 시각적 비교 결과, ShapeGaussian은 템플릿 기반 방식(포즈 추정 오류 발생) 및 일반적인 방식(기하 구조 포착 실패)에 비해 더 정확한 인간 형상을 생성하고 아티팩트가 적음을 보여줍니다. 이 방법은 조밀한 키포인트를 성공적으로 추적하며, Shape-of-Motion과 같은 다른 데이터 기반 방식이 발산하는 지점에서도 안정성을 유지합니다.
• 절제 연구 (Ablation Studies): 핵심 구성 요소인 인간 전용 깊이 지도(HDM), 다중 참조 프레임(MF), 또는 변형 필드 초기화(DFI)를 제거했을 때 성능이 크게 저하되었으며, 이는 각 구성 요소의 필요성을 입증합니다.

의의 및 주장

본 논문은 ShapeGaussian이 템플릿 프리 방식의 유연성과 사전 지식 기반 방식의 견고성 사이의 간극을 성공적으로 메움으로써 4D 인간 재구성의 중요한 진전을 이루었다고 주장합니다. 비전 사전 지식을 효과적으로 통합하고 다중 참조 프레임 전략을 활용함으로써, 이 방법은 파라메트릭 인간 모델의 제약 없이 일상적인 단안 비디오로부터 고충실도의 사진 같은 재구성을 달성합니다.

저자들은 이 방법이 복잡한 움직임에는 견고하지만, 현재 외부 시맨틱 사전 지식과 정확한 카메라 파라미터에 의존하고 있다는 점을 언급합니다. 또한, 템플릿 기반 방식과 달리 현재는 새로운 인간 포즈를 합성하는 기능(즉, 관찰된 동작을 재구성하는 것이 아니라 새로운 포즈를 애니메이션화하는 것)을 지원하지 않습니다. 이러한 한계에도 불구하고, 이 접근 방식은 실제 환경의 단일 카메라 설정에서 동적 장면 재구성을 위한 더 자연스럽고 적응 가능한 솔루션을 제공합니다.