기술 요약: PSHuman

문제 정의

단일 인-더-와일드(in-the-wild) RGB 이미지로부터 실사 같은 3D 인간을 재구성하는 것은 복잡한 신체 포즈, 정교한 자기 가림(self-occlusion), 그리고 복잡한 의류 토폴로지로 인해 여전히 까다로운 미해결 과제로 남아 있습니다. 기존 방식들은 일반적으로 암시적 함수(implicit functions)에 의존하거나 전면/후면 뷰만을 생성하여 모호성을 완화하려고 시도합니다. 그러나 이러한 접근 방식은 다음과 같은 문제점을 겪습니다:

1. 디테일 손실 및 아티팩트: 암시적 회귀 패러다임은 고충실도의 기하학적 구조와 질감 디테일을 포착하는 데 어려움이 있어, 새로운 시점(novel view)에서 아티팩트가 발생합니다.
2. 공간적 모호성: 단일 후면 뷰만을 생성하는 것은 공간적 모호성을 해결하기 위한 충분한 스테레오 정보를 제공하지 못합니다.
3. 기하학적 왜곡: 단일 뷰 인간 이미지를 멀티뷰 확산 모델(multiview diffusion models)에 직접 적용하면, 문제의 불량 설정(ill-posed nature)과 해부학적 사전 지식의 부재로 인해 특히 얼굴 특징과 신체 비율에서 심각한 기하학적 왜로가 발생합니다.
4. 얼굴 정체성 손실: 사전 학습된 확산 모델은 전신 입력 시 얼굴이 이미지 내에서 작고 저해상도인 영역을 차지하기 때문에, VAE 인코딩 후 상세한 노멀 예측을 위한 정보가 불충분하여 왜곡되거나 부자연스러운 얼굴 디테일을 생성하곤 합니다.

방법론

PSHuman은 멀티뷰 확산 모델의 사전 지식을 활용하여 텍스처가 입혀진 인간 메쉬를 명시적으로 재구성하는 새로운 프레임워크를 제안합니다. 파이프라인은 두 가지 주요 단계로 구성됩니다:

1. 신체-얼굴 교차 스케일 멀티뷰 확산 (Body-Face Cross-Scale Multiview Diffusion)

전면/후면 뷰만을 생성하는 대신, PSHuman은 컬러 맵과 노멀 맵 모두에 대해 6개 뷰(전면, 전면 좌측, 좌측, 후면, 우측, 전면 우측)를 직접 생성합니다. 특정 문제를 해결하기 위해 두 가지 핵심 메커니즘이 도입되었습니다:

• SMPL-X 조건부 확산 (SMPL-X Conditioned Diffusion): 자기 가림으로 인한 부자연스러운 신체 구조와 사지 불일치를 방지하기 위해, 확산 모델은 파라메트릭 SMPL-X 모델을 조건으로 사용합니다. 추정된 SMPL-X 파라미터는 타겟 시점에서 렌더링되어 입력 이미지와 함께 잠재 조건(latent conditions)으로 결합됩니다. 이는 확산 과정이 인간의 해부학적 구조를 따르도록 유도하여, 복잡한 포즈에서도 일관된 뉴 뷰를 보장합니다.
• 신체-얼굴 교차 스케일 확산 (Body-Face Cross-Scale Diffusion): 얼굴 왜곡과 정체성 변화를 해결하기 위해, 저자들은 전역 전신 이미지와 로컬 고해상도 얼굴 이미지를 동시에 생성하는 결합 확률 분포 모델링 프레임워크 $p(x_B, x_F)$를 제안합니다.
  • 결합 디노이징 (Joint Denoising): UNet의 셀프 어텐션 블록 내에 노이즈 블렌딩 레이어가 사용됩니다. 얼굴 브랜치의 잠재 벡터는 크기가 조정되어 전역 신체 브랜치의 얼굴 영역에 블렌딩됩니다. 이를 통해 얼굴 정보가 크로스 뷰 어텐션을 통해 새로운 신체 뷰로 전달될 수 있으며, 정체성을 보존하면서도 교차 스케일 및 교차 뷰 일관성을 보장합니다.

2. SMPLX-초기화 명시적 인간 카빙 (SMPLX-Initialized Explicit Human Carving)

MLP를 통해 특징을 표면에 매핑하는 암시적 방법과 달리, PSHuman은 생성된 멀티뷰 노멀 및 컬러 맵을 사용하여 명시적으로 3D 메쉬를 카빙합니다.

• 초기화: 프로세스는 입력 이미지로부터 초기화된 SMPL-X 메쉬와 함께 시작됩니다.
• 미분 가능한 리메싱 (Differentiable Remeshing): SMPL-X 메쉬는 미분 가능한 래스터화를 사용하여 변형 및 리메싱됩니다. 최적화 과정은 렌더링된 노멀 맵 및 실루엣과 생성된 노멀 맵 사이의 차이를 최소화하도록 정점 위치와 면의 가장자리(face edges)를 반복적으로 조정합니다. 단순한 정점 변위(vertex displacement)와 달리, 이 방식은 느슨한 의류와 같은 복잡한 디테일을 복구할 수 있게 해줍니다.
• 외형 융합 (Appearance Fusion): 기하학적 구조가 복구되면, 멀티뷰 컬러 이미지가 메쉬 위에 융합됩니다. 미분 가능한 렌더링 파이프라인은 생성된 불일치를 완화하기 위해 정점당 색상(per-vertex colors)을 최적화합니다. 관찰되지 않은 영역을 처리하기 위해 가시성 마스크(visibility mask)와 KDTree 기반 보간법이 사용되어 포괄적인 텍스처 커버리지를 보장합니다.

주요 기여

1. PSHuman 프레임워크: 단일 이미지로부터 상세하고 사실적인 3D 인간 모델링을 수행하는 새로운 확산 기반 명시적 방법으로, 약 1분 내에 재구성을 완료합니다.
2. 교차 스케일 및 조건부 확산: 신체-얼굴 교차 스케일 확산 모델과 SMPL-X 조건부 멀티뷰 확산을 도입했습니다. 이를 통해 적은 양의 훈련 데이터(3,000개의 스캔)만으로도 얼굴 정체성과 해부학적 일관성이 유지되는 고충실도 전신 생성이 가능합니다.
3. 명시적 카빙 모듈: 생성된 멀티뷰 교차 도메인 이미지를 활용하여 미분 가능한 래스터화를 통해 고품질의 텍스처 메쉬를 빠르게 복구하는 SMPLX-초기화 명시적 인간 카빙 모듈을 제공하며, 이는 암시적 베이스라인보다 뛰어난 성능을 보입니다.

실험 결과

THuman2.1, CustomHumans, CAPE 데이터셋을 대상으로 광범ale한 실험이 수행되었습니다.

• 기하학적 품질: PSHuman은 최첨단 암시적(PIFu, PIFuHD) 및 명시적(ECON, GTA) 방법과 비교하여 Chamfer Distance (CD), Point-to-Surface (P2S), Normal Consistency (NC) 측면에서 우수한 성능을 보여줍니다. 그라운드 트루스 SMPL-X 프라이어를 사용할 때 THuman2.1 서브셋에서 가장 낮은 CD(0.4399 cm)와 P2S(0.4077 cm)를 달성했습니다.
• 외형 품질: 이 방법은 THuman2.1 서브셋에서 가장 높은 PSNR(20.85)과 SSIM(0.8636), 그리고 가장 낮은 LPIPS(0.0764)를 기록하여, 높은 질감 충실도와 뉴 뷰에서의 일관성을 입증했습니다.
• 얼굴 재구성: 정량적 비교 결과, PSHuman은 얼굴 기하학 및 텍스처 지표에서 베이스라인(ECON, SIFU, SITH)을 크게 압도하며, 교차 스케일 확산의 효과를 검증했습니다.
• 강건성: PSHuman은 SMPL-X 추정에 오류가 있는 경우에도 견고한 성능을 유지하며, 노이즈가 있는 포즈/형태 조건 하에서 다른 템플릿 기반 접근 방식보다 우수한 성능을 보입니다.

의의 및 주장

본 논문은 PSHuman이 정밀도, 효율성, 포즈 강건성 사이의 임계적 균형을 달성한다고 주장합니다. 최근의 SDS 기반 방법들은 높은 기하학적 디테일을 얻을 수 있지만, 종종 수 시간의 최적화가 필요하며 복잡한 포즈에서 어려움을 겪습니다. 반면, PSHuman은 1분 미만에 고품질의 상세하고 조화로운 뉴 뷰를 생성합니다.

저자들은 PSHuman이 인간에게 멀티뷰 확산을 적용할 때 발생하는 특정 실패 모드들을 해결했음을 강조합니다:

• SMPL-X 컨디셔닝을 통해 불가능한 신체 구조가 "환각(hallucination)"되는 것을 방지합니다.
• 교차 스케일 확산과 노이즈 블렌딩을 통해 얼굴 정체성 및 디테일 손실을 해결합니다.
• 암시적 표현을 넘어 명시적 메쉬 카빙으로 나아감으로써, 옷의 주름이나 얼굴 특징과 같은 미세한 기하학적 디테일을 더 잘 다룰 수 있게 합니다.

결론적으로, PSHuman은 단일 이미지 기반 3D 인간 재구성 분야에서 중요한 진전을 나타내며, 빠르고 고충실도이며 포즈에 강한 인간 모델링을 요구하는 애플리케이션에 대한 실용적인 솔루션을 제공합니다.