Instant Expressive Gaussian Head Avatars at Over 100 FPS

기술 요약: 100 FPS 이상의 속도를 구현하는 즉각적이고 표현력이 풍부한 가우시안 헤드 아바타

문제 정의
본 논문은 기존 방식들이 고속, 3D 일관성, 그리고 얼굴 애니메이션의 표현력 있는 디테일을 동시에 달성하지 못하는 "포트레이트 애니메이션 트리레마(portrait animation trilemma)" 문제를 다룹니다.

• 2D 방식: 비디오 확산 모델(diffusion models)이나 GAN 기반의 접근 방식은 높은 표현력을 제공하지만, 3D 일관성(예: 정체성 드리프트, 환각 현상)이 부족하고, 비용이 많이 드는 디노이징 과정으로 인해 추론 속도가 느려 텔레프레즌스나 디지털 트윈과 같은 실시간 애플리케이션에 부적합합니다.
• 3D 방식: 3D 표현법(NeRF, 3D Gaussians)을 활용하는 방식은 3D 일관성과 빠른 속도를 보장하지만, 파라메트릭 모델(3DMMs)에 의존하여 표현력이 제한되거나, 구조와 움직임을 결합하기 위해 계산 비용이 많이 드는 전역 융합 메커니즘(예: 밀집 어텐션 레이어)을 사용하여 표현 디테일이 떨어지고 프레임 레이트가 낮아지는 결과가 나타납니다.

방법론
저자들은 단 한 장의 "인 더 와일드(in-the-wild)" 이미지를 3D 가우시안 스플래팅을 사용하여 3D 일관성이 있고 애니메이션 가능한 아바타로 즉각 변환하는 피드포워드 파이프라인을 제안합니다. 핵심 구성 요소는 다음과 같습니다:

1. 3D 가우시안 표현 및 인코더:

   • 시스템은 최신 2D-to-3D 리프팅 인코더(원래 뉴럴 트리플레인을 위해 설계됨)를 조정하여 단일 입력 이미지를 일련의 3D 가우시안으로 인코딩합니다.
   • 볼륨 필드 대신, 이 방법은 인코딩된 트리플레인으로부터 3D 가우시안을 샘플링합니다. 경량 MLP 디코더는 특징 벡터를 가우시안 속성(위치, 스케일, 회전, 불투명도, 색상)으로 매핑합니다.
   • 샘플링은 광선(rays)에 대한 2단계 중요도 샘플링(importance sampling) 전략을 통해 수행되며, 512×512 해상도 렌더링에 충분한 약 20만 개의 가우시안을 생성합니다.

2. 애니메이션을 위한 특징 공간 변형(Feature-Space Deformation):

   • 가우시안을 3D 공간에서 직접 변형(위치/스케일 벡터 업데이트)하는 기존 연구와 달리, 이 방법은 고차원 특징 공간에서 가우시안을 변형합니다.
   • 모션 기저 벡터(Motion Basis Vectors): 샘플링된 각 가우시안 위치는 공간적으로 변화하는 변형 능력(개인화된 블렌드쉐입과 유사함)을 인코딩하는 학습된 "모션 기저 벡터"($m_i$)와 연관됩니다.
   • 로컬 융합(Local Fusion): 모션 인코더는 소스 이미지와 드라이빙 이미지 모두로부터 1D 모션 계수를 추출합니다. 경량 모션 디코더(AdaLN 사용)는 모션 계수와 특정 모션 기저 벡터를 기반으로 각 가우시안에 대한 잔차 특징 벡터($\delta f_i$)를 예측합니다.
   • 최종 가우시안 속성은 원래의 특징 벡터와 예측된 잔차의 합($f_i + \delta f_i$)으로부터 디코딩됩니다. 이 로컬 융합 전략은 계산 비용이 많이 드는 전역 어텐션 메커니즘을 피하여 고속 추론을 가능하게 합니다.

3. 확산 가이드를 통한 학습 전략:

   • 실제 세계의 3D 일관된 표정 데이터가 부족한 문제를 극복하기 위해, 저자들은 최신 2D 확산 모델(X-NeMo)을 사용하여 합성 데이터셋을 구축합니다.
   • 정면화(Frontalization): 확산 모델에서 흔히 발생하는 환각 현상과 시점 불일치를 방-지하기 위해, 소스 및 드라이빙 이미지는 먼저 정면화됩니다. 표정은 이러한 정면 뷰에서만 합성됩니다.
   • 다시점 감독(Multi-view Supervision): 학습 중에 정면화된 합성 포트레이트로부터 사전 학습된 2D-to-3D 네트워크가 다각도 이미지를 생성하여 교차 뷰 기하학적 일관성을 강제합니다.
   • 모델은 렌더링된 출력과 타겟 이미지 사이의 재구성 손실, 지각 손실, 정체성 손실 및 적대적 손실을 최소화하는 셀프 리엔액트먼트(self-reenactment) 목적 함수를 통해 학습됩니다.

주요 기여

• 효율적인 애니메이션 표현: 3D 구조와 애니메이션 표현을 분리하는 새로운 표현법을 제시합니다. 학습된 모션 기저 벡터를 사용하여 고차원 공간에서 특징을 변형함으로써, 이 방법은 공간 변형 방식보다 비대칭적 표정, 주름, 그림자 변화를 더 효과적으로 포착합니다.
• 경량 로컬 융합: 무거운 전역 융합 메커니즘을 효율적인 로컬 융합 전략으로 대체하여, 반복적인 어텐션 레이어의 계산 비용 없이 높은 표현력을 달성했습니다.
• 합성 학습 파이프라인: 정면화와 다시점 감독을 통해 2D 확산 모델의 고유한 3D 불일치 문제를 완화하면서, 3D 애니메이션 학습을 위해 2D 확산 모델을 활용하는 실용적인 전략을 제공합니다.
• 성능: 이 방법은 최고 수준의 3D 일관성, 상세한 표정 전이, 그리고 실시간 추론 속도를 동시에 달성한 최초의 방법입니다.

결과

• 속도: 이 방법은 NVIDIA 6000 Ada GPU에서 애니메이션 및 포즈 제어 시 107.31 FPS를 기록합니다. 이는 확산 기반 방식에 비해 3~4 자릿수(order of magnitude) 빠른 속도이며, 기존 3D 인식 방식(예: 약 14.5 FPS의 Portrait4D-v2)을 크게 상회합니다.
• 품질: 정량적 벤치마크(VO디오-XP 테스트 세트)에서 이 방법은 모든 베이스라인 중 최고의 3D 일관성(MEt3R)과 3D 형상 정확도(IoU)를 달성했습니다. 또한 최첨단 표정 전이 정확도(AED)와 감정 유사도(EMO)를 달성하여, 교차 리엔액트먼트 작업에서 2D 확산 모델 기반의 티처 모델(X-NeMo)조차 능가했습니다.
• 시각적 충실도: 정성적 결과는 코의 주름이나 눈의 움직임을 포함한 극단적인 표정까지도 정체성 왜곡이나 환각 현상(예: 가짜 콧수염) 없이 충실하게 전달함을 보여줍니다.

의의
본 논문은 실시간 성능을 유지하면서 단 한 장의 이미지로 4D 디지털 트윈을 생성할 수 있게 함으로써 포트레이트 애니메이션의 트리레마를 해결한다고 주장합니다. 3D 일관성이나 속도를 희생하지 않고도 높은 표현력을 달성함으로써, 이 방법은 제어 가능성과 실시간 응답성이 중요한 AR/VR, 화상 회의, 에이전틱 AI(agentic AI)와 같은 실제 응용 분야를 용이하게 합니다. 저자들은 현재 이 방법이 이미지 기반이지만, 향후 확장을 위해 모션 계수에 다른 조건(오디오, 텍스트)을 인코딩할 수 있는 구조를 지원한다고 언급했습니다.