1. 문제 정의 (Problem Statement)

기존의 3D 헤드 아바타 재구성 기술은 다음과 같은 주요 한계점을 가지고 있습니다.

• 얼굴과 머리카락의 통합 모델링: 기존 방법들은 얼굴과 머리카락을 하나의 통합된 표현으로 처리하는 경향이 있어, 머리카락의 복잡한 구조 (실단위 기하학, 밀도, 스타일) 를 정밀하게 표현하지 못합니다. 이는 머리카락 편집, 스타일 전환, 물리 시뮬레이션과 같은 하위 작업의 품질을 저하시킵니다.
• 데이터 의존성과 비효율성: 고품질 재구성을 위해서는 다수의 카메라가 있는 밀집된 다중 뷰 데이터나 비용이 많이 드는 최적화 과정이 필요하여, 일반 사용자의 스마트폰 촬영 (Casual Captures) 과 같은 환경에서는 적용이 어렵습니다.
• 유연성 부족: 많은 기존 모델들이 특정 인격 (Identity) 에 맞춰 최적화되거나 고정된 뷰 입력을 요구하여, 새로운 인격이나 임의의 각도에서 촬영된 입력에 대한 일반화 능력이 부족합니다.

2. 방법론 (Methodology)

FHAvatar 는 임의의 개수 (Few Shots) 의 캐주얼한 이미지 (예: 스마트폰 촬영) 로부터 얼굴과 머리카락이 분리된 (Composable) 고충실도 3D 가우스 아바타를 분산된 시간 내에 생성하는 프레임워크입니다.

2.1. 핵심 아키텍처

• 이중 분기 구조 (Dual-Branch Architecture):
  • 얼굴 분기: 얼굴 영역은 평면 가우스 (Planar Gaussians) 로 표현하여 FLAME 메시의 UV 공간에 바인딩합니다.
  • 머리카락 분기: 머리카락 영역은 실단위 가우스 (Strand-based Gaussians) 로 표현합니다. 각 UV 픽셀에서 머리카락의 뿌리 (Scalp) 에서 시작하여 연결된 선분 (Line segments) 을 형성하는 가우스 스트랜드를 생성하여 머리카락의 물리적 특성을 반영합니다.
• 집계된 트랜스포머 백본 (Aggregated Transformer Backbone):
  • 입력된 임의의 개수와 각도의 이미지들로부터 특징을 추출하고 통합합니다.
  • DINOv2 를 기반으로 한 이미지 토큰, FLAME 기반의 기하학적 토큰, 그리고 DiffLocks 를 활용한 머리카락 토큰을 입력으로 받습니다.
  • 크로스 어텐션 (Cross-Attention) 과 셀프 어텐션 (Self-Attention) 을 통해 다중 뷰 간의 기하학적 일관성과 구조적 연결성을 학습합니다.
• UV 공간 기반 디코딩:
  • 모든 재구성은 FLAME 메시의 UV 텍스처 공간에서 수행됩니다. 얼굴과 머리카락의 가우스 파라미터 (위치, 크기, 회전, 불투명도, 색상) 를 UV 픽셀 단위로 예측한 후, 3D 공간으로 매핑하여 렌더링합니다.

2.2. 학습 및 최적화 전략

• 머리카락 영역 손실 (Hair Region Loss): 얼굴과 머리카락 가우스가 명확히 분리되도록 파싱 마스크를 기반으로 한 손실 함수를 도입하여, 짧은 머리카락에서도 얼굴이 머리카락 영역을 침범하는 것을 방지합니다.
• 적응형 샘플링 (Adaptive Sampling): 머리카락의 길이 (짧음, 중간, 김) 에 따라 가우스 스트랜드의 수와 밀도를 동적으로 조절합니다. 짧은 머리카락일 경우 가우스 수를 줄이고 반경을 늘려 렌더링 부하를 줄이면서도 두피 커버리지를 유지합니다.
• 빠른 정제 (Fast Refinement): 대규모 데이터셋으로 사전 학습된 모델은 한 번의 순전파 (Forward Pass) 로 초기 아바타를 생성합니다. 이후 선택적으로 디코더와 토큰만 미세 조정 (Fine-tuning) 하여 몇 분 내에 개인별 세부 사항을 향상시킬 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 파이프라인 제안: 제한된 캐주얼한 입력 (1~6 장의 이미지) 으로부터 분산된 얼굴과 머리카락 구성 요소를 가진 3D 가우스 아바타를 분 단위 (Minute-level) 로 생성하는 FHAvatar 프레임워크를 제시했습니다.
2. 이중 분기 가우스 디코더: 얼굴 (평면) 과 머리카락 (실단위) 의 기하학적 특성을 분리하여 모델링함으로써, 기존 통합 모델의 한계를 극복하고 고충실도 재구성과 스타일 전환을 가능하게 했습니다.
3. 집계된 트랜스포머 백본: 임의의 뷰와 개수의 입력을 처리할 수 있는 강력한 사전 지식 (Priors) 을 학습하여, 새로운 인격에 대한 일반화 성능과 다중 뷰 일관성을 확보했습니다.

4. 실험 결과 (Results)

• 정량적 평가: NeRSemble 데이터셋 및 실제 스마트폰 촬영 데이터 (In-the-wild) 에서 기존 최적화 기반 방법 (GaussianAvatars, FlashAvatar 등) 및 프론트 - 프론드 방법 (LAM, GAGAvatar) 보다 PSNR, SSIM, LPIPS, AKD(얼굴 키포인트 거리) 등 모든 지표에서 최상위 성능을 기록했습니다.
  • 특히 1 장 입력 시에도 3.96 의 낮은 AKD 를 기록하여 정확한 표정 재현 능력을 입증했습니다.
• 효율성: 최적화 기반 방법들에 비해 10 배100 배 빠른 재구성 속도 (약 350 초) 를 보이며, 생성된 아바타는 실시간 렌더링 (약 250 FPS) 이 가능합니다.
• 응용 가능성:
  • 스타일 전환 (Hairstyle Transfer): A 의 얼굴과 B 의 머리카락 가우스를 결합하여 다른 성별 간에도 자연스럽게 스타일을 전환할 수 있습니다.
  • 스타일링 편집: 2D 텍스처 편집이 3D 가우스 공간으로 직접 반영되어, 재추론 없이 아바타의 스타일을 자유롭게 변경할 수 있습니다.

5. 의의 및 의의 (Significance)

FHAvatar 는 디지털 아바타 제작의 접근성을 혁신적으로 높였습니다.

• 실용성: 고가의 촬영 장비나 긴 최적화 시간 없이, 일반 사용자의 스마트폰 사진 몇 장만으로 고품질의 애니메이션 가능 아바타를 생성할 수 있게 되었습니다.
• 확장성: 얼굴과 머리카락을 분리하여 모델링함으로써, 머리카락 스타일 변경, 커스텀 편집, 물리 기반 시뮬레이션 등 다양한 downstream 작업에 유연하게 적용 가능합니다.
• 실시간성: 생성된 아바타는 실시간 렌더링이 가능하여 온라인 회의, 가상 스트리밍, VR/AR 게임 등 다양한 인터랙티브 애플리케이션에 즉시 활용될 수 있습니다.

결론적으로, FHAvatar 는 3D 헤드 아바타 분야에서 속도, 품질, 그리고 구성 가능성 (Composability) 을 동시에 달성한 획기적인 모델로 평가됩니다.