PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing

PercHead: 단일 이미지 기반 3D 얼굴 재구성 및 편집을 위한 지각적 헤드 모델

이 논문은 단일 이미지로부터 고충실도 (High-fidelity) 의 3D 얼굴을 재구성하고, 이를 3D 일관성을 유지하며 편집할 수 있는 새로운 모델인 PercHead를 제안합니다. 저자들은 기존 방법들의 한계를 극복하기 위해 저수준 (Low-level) 손실 함수 대신 최신 비전 기반 모델 (Foundation Models) 을 활용한 새로운 손실 함수를 도입했습니다.

1. 문제 정의 (Problem)

단일 이미지로부터 3D 얼굴을 재구성하는 작업은 본질적으로 모호성 (Ambiguity) 이 존재하는 문제입니다. 하나의 2D 이미지에는 무수히 많은 3D 해석이 가능하기 때문입니다.

• 기존 방법의 한계: 기존 GAN 기반이나 확산 모델 (Diffusion Model) 기반 방법들은 입력 뷰와 가까운 각도에서는 잘 작동하지만, 극단적인 시점 (Extreme viewpoints) 으로 회전할 때 3D 일관성이 깨지거나 얼굴 구조가 왜곡되는 문제가 있었습니다.
• 손실 함수의 문제: 기존에 널리 사용되던 L1, SSIM, LPIPS 와 같은 저수준 픽셀 기반 손실 함수는 머리카락과 같은 고주파 영역 (High-frequency areas) 에서 노이즈가 발생하거나, 현실적인 재구성을 부정확하게 평가하여 품질 저하를 유발합니다.
• 데이터 부족: 고품질의 다중 뷰 (Multi-view) 얼굴 데이터셋은 제한적이거나 합성 데이터에 의존하는 경우가 많아, 실제 환경 (In-the-wild) 에 대한 일반화 능력이 부족했습니다.

2. 방법론 (Methodology)

A. 아키텍처: 비전 트랜스포머 (ViT) 기반

• 2D-3D 분리: 입력 이미지의 2D 특징과 3D 표현을 분리하기 위해 Vision Transformer (ViT) 아키텍처를 기반으로 합니다.
• 이중 브랜치 인코더: 입력 이미지에서 특징을 추출하기 위해 DINOv2의 다중 레이어 특징과 별도의 학습된 ViT 인코더를 결합합니다. 이는 고수준 의미론적 이해와 저수준 디테일을 모두 포착합니다.
• 3D 디코딩: FLAME 템플릿을 기반으로 초기화된 3D 라텐트 (Latent) 가 ViT 디코더를 통해 2D 특징과 크로스 어텐션 (Cross-attention) 을 수행하며 점진적으로 3D 헤드를 완성합니다.
• 가우시안 스플래팅 (Gaussian Splatting): 3D 패치를 3D 가우시안으로 변환하여 실시간 렌더링을 가능하게 합니다.
• Sharpening-CNN (SHP-CNN): 렌더링된 이미지의 선명도를 높이기 위해 고주파 세부 정보를 추가하는 CNN 모듈을 후처리 단계에 도입했습니다.

B. 핵심 혁신: 지각적 손실 함수 (Perceptual Loss)

• DINOv2 와 SAM 2.1 활용: 저자들은 픽셀 단위 비교 대신 DINOv2(고수준 시각 이해) 와 SAM 2.1(Segment Anything Model, 이미지 분할 및 디테일 이해) 의 중간 레이어 특징을 활용하여 손실 함수를 설계했습니다.
• 효과: 이 손실 함수는 머리카락, 안경, 치아 등 고주파 영역에서 더 강건한 학습 신호를 제공하며, 픽셀 단위 오차에 민감하지 않아 더 자연스러운 재구성을 가능하게 합니다.

C. 훈련 전략

• 데이터 혼합: 다중 뷰 데이터셋 (NeRSemble, Cafca) 과 단일 뷰의 In-the-wild 데이터 (FFHQ) 를 혼합하여 훈련했습니다. 이를 통해 3D 일관성을 유지하면서도 다양한 환경과 조명 조건에 강인한 모델을 구축했습니다.

D. 3D 편집 (Disentangled 3D Editing)

• 분리된 제어: 인코더를 수정하여 **세그멘테이션 맵 (Segmentation Map)**으로 기하학적 구조 (Geometry) 를, **CLIP 임베딩 (텍스트 또는 참조 이미지)**으로 스타일 (Appearance) 을 각각 제어할 수 있도록 했습니다.
• 인터랙티브 GUI: 사용자가 분할 맵을 직접 수정하거나 텍스트 프롬프트를 입력하여 3D 얼굴의 모양과 스타일을 실시간으로 편집할 수 있는 인터페이스를 제공합니다.

3. 주요 기여 (Key Contributions)

1. 최신 성능 (SOTA) 달성: 단일 이미지 기반 3D 얼굴 재구성 분야에서, 특히 극단적인 시점 (Novel 및 Extreme views) 에서 기존 방법들 (PanoHead, SphereHead, GAGAvatar, LGM 등) 보다 우수한 성능을 달성했습니다.
2. 새로운 손실 함수 제안: DINOv2 와 SAM 2.1 에 기반한 지각적 손실 함수를 제안하여, 머리카락과 같은 복잡한 영역의 화질을 획기적으로 개선했습니다. 이는 기존 저수준 손실 함수의 대체재로 작용합니다.
3. 분리된 3D 편집 인터페이스: 기하학과 스타일을 분리하여 제어할 수 있는 강력한 3D 편집 기능을 구현하고, 이를 위한 인터랙티브 GUI 를 공개했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Ava-256, NeRSemble): PSNR, SSIM, LPIPS, DreamSim, ArcFace(얼굴 식별) 등 모든 지표에서 기존 방법들을 압도적으로 능가했습니다. 특히 극단적인 시점에서의 3D 일관성과 정체성 (Identity) 보존 능력이 뛰어났습니다.
• 정성적 평가: 안경, 머리카락, 귀 등 가려진 영역 (Occluded regions) 에서도 자연스럽고 일관된 3D 구조를 생성하며, 다른 방법들에서 발생하는 거울 반전 (Mirroring) 이나 구조 붕괴 현상이 없었습니다.
• 비디오 적용: 단일 프레임 이미지로 훈련되었음에도 불구하고, 비디오 프레임에 적용 시에도 시간적 일관성을 유지하며 표정 변화를 자연스럽게 재구성했습니다.
• 애블레이션 (Ablation Study): DINOv2 와 SAM 2.1 손실의 조합이 가장 효과적임을 입증했으며, SHP-CNN 이 선명도 (Sharpness) 향상에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

PercHead 는 단일 이미지로부터 3D 일관성이 보장된 고품질 얼굴 재구성을 가능하게 함으로써, 가상 회의, 게임, 디지털 아바타 제작 등 다양한 응용 분야에 기여합니다. 특히 기초 비전 모델 (Foundation Models) 을 손실 함수로 활용하여 3D 재구성의 품질을 높인 접근법은 컴퓨터 비전 분야에서 새로운 패러다임을 제시합니다. 또한, 텍스트나 이미지 참조를 통한 직관적인 3D 편집 기능은 생성형 AI 기반 3D 콘텐츠 제작의 접근성을 크게 높였습니다.

저자들은 훈련 및 추론 코드, 인터랙티브 GUI 를 프로젝트 웹사이트를 통해 공개했습니다.