AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors

1. 문제 정의 (Problem)

기존의 3D 인간 아바타 재구성 방법론들은 대부분 가려짐 (Occlusion) 이 없는 완전한 시야와 종종 표준 자세 (Canonical Pose) 를 가진 입력을 가정합니다. 그러나 실제 세계 (예: YouTube 동영상) 에서는 사람들이 가구, 사물, 다른 사람들에 의해 자주 가려지며, 카메라 시점이 제한되어 신체의 상당 부분이 관찰되지 않는 경우가 대부분입니다.

이러한 심각한 가려짐 (Heavy Occlusion) 환경에서 완전하고 애니메이션 가능한 3D 아바타를 재구성하는 데는 다음과 같은 근본적인 어려움이 존재합니다:

• 관찰되지 않은 영역: 신체의 일부 영역이 단 한 번도 카메라에 잡히지 않아 직접적인 지도 (Supervision) 가 부재합니다.
• 다중 뷰 (Multi-view) 부재: 특정 자세에서 다양한 각도의 관측 데이터가 없어 자세 의존적 (Pose-dependent) 인 외관 변화를 학습하기 어렵습니다.
• 기존 방법의 한계: 기존 NeRF 나 3D Gaussian Splatting (3DGS) 기반 방법들은 가려진 영역을 복원하거나 YouTube 와 같은 비제어 환경의 단안 (Monocular) 비디오에서 작동하지 못합니다.

2. 방법론 (Methodology)

AHOY 는 가려진 YouTube 단안 비디오로부터 완전하고 애니메이션 가능한 3D Gaussian 아바타를 재구성하는 4 단계 파이프라인을 제안합니다. 핵심 아이디어는 **동일성 (Identity) 을 유지하도록 미세 조정된 비디오 확산 모델 (Video Diffusion Model)**을 "할루시네이션 (Hallucination)" 도구로 사용하여 관찰되지 않은 영역에 대한 밀도 높은 지도 데이터를 생성하는 것입니다.

3.1 단계 1: 거친 아바타 구성 (Coarse Avatar Construction)

• 텍스트 매핑 및 인페인팅: 입력 비디오 프레임에서 SMPL 파라미터와 DensePose 를 추정하여 가시 영역을 표준 자세 (Canonical Pose) 의 UV 맵으로 매핑합니다. 관찰되지 않은 영역은 FLUX 와 같은 인페인팅 모델로 채워 완전한 표준 자세 이미지를 생성합니다.
• 다중 뷰 생성: 생성된 표준 이미지와 사전 훈련된 다중 뷰 확산 모델을 사용하여 정면, 측면, 후면 등 4 개의 표준 뷰 이미지를 생성합니다.
• 거친 3DGS 학습: 생성된 뷰들을 기반으로 표준 자세의 Gaussian 맵 (Canonical Gaussian Maps) 을 학습하여 초기 거친 아바타를 구성합니다.

3.2 단계 2: 할루시네이션 기반 지도 생성 (Hallucinated Supervision Generation)

• 동일성 미세 조정 (Identity Finetuning): 입력 비디오를 사용하여 LoRA (Low-Rank Adaptation) 기법으로 비디오 확산 모델 (Wan 2.2) 을 미세 조정하여 대상자의 특정 외관과 신원을 학습시킵니다.
• 구조화된 모션 시퀀스: 신체의 모든 면을 노출하고 다중 뷰 커버리지를 확보하기 위해 회전 (Turn) 이나 정적 자세 (앉기 등) 를 포함한 구조화된 모션 시퀀스를 설계합니다.
• RF-Inversion 을 통한 할루시네이션: 거친 아바타를 렌더링한 후, 이를 미세 조정된 확산 모델의 잠재 공간 (Latent Space) 에 역투영 (Inversion) 하고 다시 디코딩하여 관찰되지 않은 영역이 채워진 고품질 할루시네이션 비디오를 생성합니다. 이 비디오는 신체의 전체적인 구조는 유지하되, 가려졌던 부분의 질감과 외관을 합리적으로 복원합니다.

3.3 단계 3: 다중 뷰 불일치 하의 풀 아바타 학습 (Learning Full Avatar)

할루시네이션 비디오는 생성 모델 특성상 뷰 간 기하학적 불일치가 있을 수 있으므로 이를 해결하기 위한 전략을 도입합니다.

• 표준 자세에서 자세 의존적 (Pose-dependent) 으로 전환: 할루시네이션 비디오가 제공하는 밀도 높은 다중 뷰 데이터를 활용하여, 고정된 표준 Gaussian 맵에서 자세에 따라 변형되는 Gaussian 맵으로 아키텍처를 업그레이드합니다.
• Map Pose 와 LBS Pose 의 분리 (Decoupling):
  • Map Pose: StyleUNet 에 입력되어 특정 자세의 Gaussian 속성을 정의하는 고정된 포즈.
  • LBS Pose (Linear Blend Skinning): 프레임별로 최적화되어 할루시네이션 비디오의 기하학적 불일치를 흡수 (Absorb) 하는 포즈.
  • 이 분리를 통해 Gaussian 의 일관성을 유지하면서도 프레임별 왜곡을 보정합니다.
• 헤드/바디 분리 지도 (Head/Body Split Supervision): 확산 모델이 생성한 얼굴은 신원 (Identity) 이 왜곡될 수 있으므로, 얼굴 영역은 FLAME 기반의 전용 다중 뷰 확산 모델로 생성된 이미지로 지도하고, 몸통은 할루시네이션 비디오로 지도하여 얼굴 신원을 보존합니다.

3.4 단계 4: 3D 씬 내 애니메이션 및 합성

학습된 아바타는 새로운 SMPL 포즈로 구동 가능하며, 모바일 비디오로 재구성된 3DGS 씬과 합성되어 사실적인 증강 현실 (AR) 또는 영화 제작 파이프라인에 활용될 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 가려진 환경에서의 재구성: YouTube 와 같은 비제어 환경의 단안 비디오에서 심한 가려짐이 있더라도 완전한 3DGS 아바타를 재구성하는 최초의 방법론 중 하나입니다.
2. 할루시네이션을 지도로 활용 (Hallucination-as-Supervision): 관찰되지 않은 영역을 채우기 위해 확산 모델을 단순히 이미지 생성에 그치지 않고, 3D 학습을 위한 밀도 높은 지도 데이터 생성 도구로 활용했습니다.
3. 이중 단계 아키텍처 (Canonical-to-Pose-dependent): 초기 거친 아바타 학습과 이후 자세 의존적 외관 학습을 분리하여, 다중 뷰 데이터가 부족한 상황에서도 고품질 변형을 학습할 수 있게 했습니다.
4. 불일치 흡수 메커니즘: 생성된 데이터의 기하학적 불일치를 해결하기 위해 Map Pose 와 LBS Pose 를 분리하여 최적화하는 새로운 기법을 제안했습니다.
5. 신원 보존: 얼굴과 몸을 분리하여 지도함으로써, 확산 모델의 할루시네이션으로 인한 얼굴 신원 손실을 방지했습니다.

4. 실험 결과 (Results)

• 데이터셋: YouTube 비디오 (가려짐 포함) 와 BEHAVE (다중 뷰 가려짐 데이터셋) 에서 평가했습니다.
• 성능: 기존 SOTA 방법들 (LHM, IDOL, PSHuman, SyncHuman 등) 보다 PSNR, SSIM, LPIPS 모든 지표에서 압도적인 성능을 보였습니다.
  • 특히 가려진 입력 (Occluded Input) 조건에서 다른 방법들은 불완전한 재구성을 보인 반면, AHOY 는 완전한 아바타를 생성했습니다.
  • **새로운 자세 (Novel Pose)**와 새로운 뷰 (Novel View) 모두에서 높은 사실감과 일관성을 유지했습니다.
• 애니메이션: 재구성된 아바타는 새로운 포즈로 구동될 때 자연스러운 움직임을 보이며, 3DGS 씬과 합성되어 사실적인 렌더링이 가능함을 시연했습니다.

5. 의의 및 결론 (Significance)

AHOY 는 컴퓨터 비전 및 그래픽스 분야에서 "가려짐 (Occlusion)"을 단순한 장애물이 아닌 극복 가능한 요소로 재정의했습니다. 이 연구는 다음과 같은 의미를 가집니다:

• 데이터 소스의 확장: 제어된 촬영 환경이나 다중 카메라 세트를 필요로 하지 않고, 일상적인 YouTube 비디오와 같은 방대한 양의 "인-더-와일드 (In-the-wild)" 데이터를 3D 인간 자산으로 변환할 수 있는 길을 열었습니다.
• 생성 모델과 3D 복원의 융합: 비디오 확산 모델의 강력한 생성 능력을 3D 기하학 학습에 효과적으로 통합하여, 관찰되지 않은 영역을 논리적으로 추론하고 복원하는 새로운 패러다임을 제시했습니다.
• 실용성: 게임, 가상 현실 (VR), 영화 제작 등 다양한 분야에서 저비용으로 고품질의 애니메이션 가능한 디지털 인간을 제작할 수 있는 가능성을 높였습니다.

요약하자면, AHOY 는 확산 모델의 할루시네이션 능력을 정교하게 제어하여 3D 재구성의 한계 (가려짐, 데이터 부족) 를 극복하고, YouTube 와 같은 일상적인 비디오에서 고품질의 3D 아바타를 생성하는 획기적인 방법론입니다.