기술 요약: 동적 가우시안을 이용한 다중 뷰 얼굴 및 제스처 애니메이션 (MVFGA)

문제 정의

포토리얼리스틱한 3D 휴먼 아바타와 사실적인 상체 움직임을 생성하는 것은 컴퓨터 그래픽스 분야에서 여전히 중요한 과제로 남아 있습니다. 기존 방식들은 대개 트레이드오프 문제를 겪습니다. 머리에 집중하는 방법들은 손 제스처를 간과하는 경향이 있고, 전신 재구성 방법들은 미세한 얼굴 충실도와 정확한 손 포즈를 유지하는 데 실패하는 경우가 빈번합니다. 결과적으로, 현재의 기술들은 자연스러운 인간 소통에 필수적인 얼굴 표정과 손 제스처의 미묘한 역동성을 포착하는 데 어려움을 겪고 있습니다. 또한, 전신 파라메트릭 모델은 단안 또는 다중 뷰 입력을 통한 재구성을 가능하게 하지만, 상세한 얼굴 애니메이션이나 손 관절 움직위에 필요한 정확도가 부족한 경우가 많습니다. 생성적 접근 방식은 유망하지만, 다중 뷰 일관성, 뷰 의존적 아티팩트(artifacts), 그리고 보이지 않는 영역의 환각(hallucination) 문제로 어려움을 겪곤 합니다.

방법론

저자들은 현실적인 상체 아바타를 생성하기 위해 설계된 다중 뷰 일관성 파이프라인인 MVFGA(Multi-View Face and Gesture Animation with Dynamic Gaussians)를 제안합니다. 이 접근 방식은 고충실도 렌더링과 애니메이션을 달성하기 위해 명시적 파라메트릭 모델링과 3D 가우시안 스플래팅(3DGS)을 통합합니다.

1. 상체 메쉬 재구성

파이프라인은 보정된 카메라 리그(17대)로 캡처된 시간적으로 정렬된 다중 뷰 RGB 비디오로부터 상세한 3D 상체 메쉬를 재구성하는 것으로 시작됩니다.

• 키포인트 추출 및 세그멘테이션: 시스템은 2D 전신 키포인트를 추출하고, 신체 부위 세그멘테이션을 수행하며, 배우를 분리하기 위해 배경 매팅(background matting)을 적용합니다.
• 특화된 파라미터 추정: 전신 피팅이 덜 정확한 영역을 정밀하게 포착하기 위해, 이 방법은 최적화 기반 트래커(얼굴 파라미터 MICA/FLAME용)와 트랜스포머 기반 추정기(손 파라미터 HaMeR/MANO용)를 사용하여 영역을 정교화합니다.
• 다중 뷰 일관성: 표준 트래커는 단안 입력을 위해 최적화되어 있으므로, 시스템은 여러 후보 추정치를 생성하고 가장 낮은 집계 다중 뷰 2D 재투영 오차를 가진 것을 선택하여 뷰 일관성을 보장합니다.
• 통합 파라메트릭 모델: 저자들은 형태, 포즈, 표정 파라미터를 보존하면서 메쉬 토폴로지를 상체로 제한하는 SMPL-X의 확장형인 새로운 상체 파라메트릭 모델을 정의합니다. 이 모델은 다중 뷰 2D 키포인트 및 카메라 내/외적 파라미터에 대해 신체, 얼굴, 손 파라미터를 공동 최적화함으로써 배우에게 피팅됩니다.

2. 3D 가우시안 스플래팅 애니메이션

변형 가능한 메쉬가 얻어지면, 시스템은 포토리얼리스틱한 동적 아바타를 합성하기 위해 3D 가우시안으로 이를 보강합니다.

• 초기화: GaussianAvatar의 전략을 따라, 포즈가 취해진 메쉬의 각 삼각형은 해당 삼각형 중심에 위치한 단일 3D 가우시안 스플랫으로 초기화됩니다. 이 가우시안들은 부모 삼각형의 로컬 좌표계 내에서 파라미터화됩니다.
• 변환: 렌더링 중에 로컬 가우시안 파라미터(평균, 회전, 스케일링)는 메쉬 삼각형의 글로벌 회전, 이동, 스케일링을 기반으로 글로벌 좌표계로 변환됩니다.
• 적응형 밀도 제어: 메쉬 기하학에 의해 명시적으로 모델링되지 않은 고주파 외형 디테일을 포착하기 위해, 뷰 공간 위치 그래디언트와 불투명도 통계를 기반으로 스플랫을 동적으로 추가하거나 제거하는 적응형 밀도 제어 메커ン리즘을 사용합니다. 결정적으로, 새로 생성된 스플랫은 원래의 부모 삼각형 인덱스를 상속받아 메쉬 표면에 계속 붙어 있도록 보장합니다. 프루닝(Pruning)은 낮은 불투명도의 스플랫을 제거하며, 이때 모든 메쉬 삼각형이 최소 하나 이상의 스플랫을 보유하도록 하여 폐쇄된 영역에서의 아티팩트를 방지합니다.
• 최적화: 가우시안은 미분 가능한 타일 기반 래스터라이저를 사용하여 최적화됩니다. 목적 함수는 RGB 재구성 손실(L1, 미분 가능한 SSIM, LPIPS)과 가우시안이 부모 삼각형 근처에 머물고 지나치게 커지지 않도록 하는 위치 및 스케일링에 대한 규제 항을 결합합니다.

3. 데이터셋: MVFGA-MoCap

학습 및 평가를 지원하기 위해 저자들은 포괄적인 다중 뷰 상체 모션 캡처 데이터셋인 MVFGA-MoCap을 도입합니다. 이 데이터셋의 특징은 다음과 같습니다:

• 다양한 얼굴 표정과 양손 제스처를 수행하는 15명의 피험자(남성 8명, 여성 7명).
• 1920×1080 해상도 및 25 FPS로 캡처된 17대의 보정된 카메라(전방 15대, 후방 2대)에 의한 동기화된 비디오.
• 통제된 표정, 다양한 손 제스처, 자유로운 형태의 커뮤니케이션을 포함하는 시나리오.

주요 기여

1. 애니메이션 가능한 상체 파라메트릭 모델: 얼굴(FLAME)과 손(MANO) 파라미터화를 단일 상체 메쉬 모델로 분리하여 통합함으로써 상세한 얼굴 및 손 동작을 가능하게 하는 새로운 표현 방식입니다.
2. 다중 뷰 파이프라인: 3D 가우시안 스플래팅을 통해 포토리얼리스틱한 합성 및 뉴 뷰 렌더링을 가능하게 하는 상체 모션 및 외형 재구성 프레임워크입니다.
3. MVFGA-MoCap 데이터셋: 상체 얼굴 및 제스처 애니메이션에 특화되어 설계된, 피팅된 파라메트릭 모델을 포함한 동기화된 보정 다중 뷰 데이터셋입니다.

실험 결과

저자들은 세 가지 설정(자기 재현, 뉴 뷰 합성, 교차 정체성 애니메이션) 하에서 자체 데이터셋을 통해 MVFGA를 평가했습니다.

• 정량적 성능: MVFGA는 모든 지표에서 최첨단 베이스라인(AnimateAnyone, MagicAnimate, Champ와 같은 생성적 방법 및 그래픽 기반 GUAVA 포함)을 능가했습니다.
  • 이미지 품질: 최고의 LPIPS(0.053), PSNR(25.93), SSIM(0.938) 및 최저 L1 오차(4.06)를 달성했습니다.
  • 포즈 정확도: 손(0.71)과 몸통(1.37)에 대해 가장 낮은 평균 키포인트 거리(AKD)를 달성했으며, 얼굴(0.18)에 대해서도 경쟁력 있는 수치를 유지했습니다.
  • 정체성 보존: 가장 높은 코사인 유사도(CSIM) 점수인 0.85를 기록했습니다.
  • 시간적 일관성: 확산 기반 방법들과 비교하여 더 낮은 시간적 지터링 오차(TJE)를 보여주며 긴 시퀀스 동안 안정적인 역동성을 유지했습니다.
• 정성적 관찰: 시각적 비교 결과, MVFGA는 특히 자기 폐쇄(self-occlusion) 및 미세한 상호작 작용이 포함된 복잡한 시나리오에서 다른 방법들이 왜곡된 구성이나 배경 아티팩트를 생성하는 것과 달리, 손가락 구조, 손 포즈 정확도, 얼굴 정체성 디테일을 더 잘 보존함을 보여주었습니다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 FLAME 및 MANO의 명시적 통합, 가우시안 최적화 중 상체 파라미터의 공동 미세 조정, 그리고 LPIPS 손실의 포함이 고충실도 재구성에 핵심적임을 확인했습니다.

의의 및 주장

본 논문은 MVFGA가 표현력이 풍부한 얼굴 역동성과 관절이 있는 손 제스처를 통해 다중 뷰 일관성이 있는 상체 재현을 가능하게 함으로써, 얼굴 중심 방법과 전신 방법 사이의 간극을 메운다고 주장합니다. 구조적 일관성을 위한 파라메트릭 메쉬와 고충실도 외형을 위한 3D 가우시안을 결합함으로써, 이 방법은 미세한 디테일이 부족하거나 뷰 의존적 아티팩트로 인해 발생하는 기존 접근 방식의 한계를 해결합니다.

저자들은 이 작업이 미묘한 얼굴 표정과 정밀한 손 제스처가 중요한 가상 현실, 원격 통신, 콘텐츠 제작과 같은 실제 응용 분야에 적합한 신뢰할 수 있는 고품질 아바타를 만드는 단계라고 강조합니다. 또한 제안된 프레임데임이 "불쾌한 골짜기"를 피하기 위한 시각적 충실도를 유지하면서도, 순수 생성적 접근 방식에 비해 향상된 제어 가능성과 효율성을 제공한다고 설명합니다. MVFGA-MoCap 데이터셋의 도입은 상체 아바타 재구성과 애니메이션에 관한 향후 연구를 지원하기 위한 자원으로 제시됩니다.