기술 요약: FFAvatar

문제 정의

기존 신경망 기반 3D 아바타 재구성 방법은 개별 주제별 최적화에 의존하여 고품질 결과를 생성하기 위해 수 시간의 계산 시간과 광범위한 다중 뷰 데이터 (수십 개에서 수백 개의 이미지) 를 필요로 합니다. 이는 가상 현존 (virtual presence) 및 원격 현존 (telepresence) 과 같은 신속한 배포가 요구되는 응용 분야에서 실용성을 제한합니다. 최근 대형 아바타 모델 (LAM) 과 같은 순방향 (feed-forward) 접근법은 단일 패스로 애니메이션 가능한 아바타를 예측하여 추론 속도를 개선했지만, 두 가지 중요한 한계를 겪고 있습니다:

1. 단일 뷰 제약: LAM 은 단일 뷰 입력에 의존하므로, 가려진 부분이나 극단적인 시점에 대한 누락된 기하학적 구조와 질감을 모델이 추론 (hallucinate) 해야 하며, 이는 정체성 보존과 기하학적 충실도를 저하시킵니다.
2. 전처리 병목 현상: LAM 은 값비싼 오프라인 FLAME 파라미터 추출에 의존합니다. 이러한 전처리 요구 사항은 해당 파라미터를 사용할 수 없는 대규모 비제약 데이터셋에서의 학습을 근본적으로 제한하여 확장성을 저해합니다.

FFAvatar 는 오프라인 FLAME 전처리 없이 수 초 내에 소수의 포즈가 지정되지 않은 초상화 이미지로부터 고품질 애니메이션 가능한 3D 가우스 헤드 아바타를 재구성하는 일반화 가능한 순방향 프레임워크를 도입하여 이러한 문제를 해결합니다.

방법론

FFAvatar 는 희소하고 포즈가 지정되지 않은 입력으로부터 통합된 표준 (canonical) 3D 가우스 표현을 재구성하는 다중 뷰 대형 아바타 모델입니다. 이 프레임워크는 세 가지 핵심 구성 요소와 새로운 학습 커리큘럼으로 구성됩니다.

1. 아키텍처

• 다중 뷰 쿼리-포머 (Multi-View Query-Former): 단일 뷰 방법과 달리, FFAvatar 는 여러 소스 이미지에서 정보를 동시에 집계합니다. 기하학적 인식을 갖춘 교차 주의 (cross-attention) 를 수행하는 쿼리-포머 모듈을 사용합니다. 표준 3D 쿼리 (FLAME 템플릿 정점에서 유래됨) 는 모든 입력 뷰의 이미지 토큰에 주의를 기울입니다. 이는 상호 보완적인 기하학적 및 질감 단서를 일관된 표준 가우스 표현 ($G_{can}$) 으로 융합합니다.
• 엔드투엔드 FLAME 추정기: 오프라인 FLAME 추적을 제거하기 위해 FFAvatar 는 학습 가능한 FLAME 추정기를 포함합니다. 이 모듈은 ViT 백본과 경량 MLP 를 통해 원시 이미지 픽셀에서 직접 뷰별 표정 ($\psi$), 국소 관절 운동 ($\theta$), 그리고 헤드 포즈 ($\pi$) 를 예측합니다. 이를 통해 전처리 없이 대규모 데이터셋에서 확장 가능한 학습이 가능해집니다.
• 애니메이션 메커니즘: 표준 가우스는 FLAME 정점에 고정됩니다. 애니메이션은 예측된 FLAME 파라미터에 의해 구동되는 선형 블렌드 스키닝 (LBS) 을 사용하여 가우스 중심을 변형함으로써 달성되며, 공분산, 불투명도 및 색상은 정적으로 유지됩니다.

2. 3 단계 학습 커리큘럼

광범위한 일반화와 고품질 재구성을 균형 있게 달성하기 위해 FFAvatar 는 점진적인 학습 전략을 채택합니다:

• 확장 가능한 사전 학습: 모델은 단안 비디오 프레임으로 구성된 100 만 개 이상의 정체성을 포함하는 대규모 데이터셋 (MFHQ-1M) 에서 사전 학습됩니다. 이 단계는 진정한 360 도 커버리지가 부족함에도 불구하고 다양한 정체성, 표정, 시점에 걸쳐 강력한 일반화 가능한 사전 지식을 확립합니다.
• 다중 뷰 미세 조정: 사전 학습된 모델은 360 도 다중 뷰 캡처 (예: Ava256) 의 더 작고 고품질 데이터셋에서 미세 조정됩니다. 이 단계는 기하학적 충실도와 360 도 인식을 주입하여 극단적인 시점을 처리하는 모델의 능력을 정제합니다.
• 선택적 개인화: 특정 대상 정체성의 경우, 경량 개인화 단계가 500 개 미만의 최적화 단계로 모델을 적응시킵니다. 이는 정체성 보존과 디테일을 극대화하기 위해 주제별 잔차 ($\Delta G_{can}$) 를 학습하며, 단일 A100 GPU 에서 약 7 초 내에 수렴합니다.

3. 학습 목적 함수

FFAvatar 는 Few-to-Many 목적 함수를 활용합니다: 모델은 소스 뷰의 작은 하위 집합을 소비하여 표준 아바타를 재구성한 다음, 다양한 표정과 포즈를 가진 더 큰 타겟 뷰 집합을 렌더링합니다. 이는 모델이 보지 못한 시점과 표정에 일반화하도록 강제합니다. 최적화는 질감 선명도와 현실감을 향상시키기 위해 광도 손실 ($L_1$, LPIPS, SSIM) 과 적대적 손실에 의해 안내됩니다.

주요 기여

1. 3 단계 학습 커리큘럼: 대규모 단안 데이터에 대한 확장 가능한 사전 학습, 고품질 캡처에 대한 다중 뷰 미세 조정, 그리고 광범위한 일반화와 고품질 재구성을 모두 달성하기 위한 선택적 개인화를 결합한 전략.
2. 엔드투엔드 FLAME 추정: 픽셀에서 직접 FLAME 파라미터를 예측하는 학습 가능한 추정기로, 값비싼 오프라인 전처리 의존성을 제거하고 대규모 비제약 데이터셋에서의 학습을 가능하게 함.
3. 다중 뷰 순방향 프레임워크: 여러 포즈가 지정되지 않은 뷰에서 정보를 융합하여 통합된 표준 가우스 아바타를 재구성하는 일반화 가능한 아키텍처로, 정체성 보존과 기하학적 일관성 측면에서 단일 뷰 기준선보다 우수한 성능을 발휘함.

실험 결과

NeRSemble 벤치마크에 대한 광범위한 실험은 FFAvatar 가 새로운 최첨단 (state-of-the-art) 을 설정함을 보여줍니다:

• 성능: FFAvatar 는 단일 뷰 설정에서 이전 최첨단 (LAM) 보다 5.5 PSNR의 상당한 개선을 보입니다. 4 개의 입력 뷰를 사용하면 18.78 PSNR과 0.78 SSIM을 달성합니다.
• 개인화: 선택적 개인화를 사용하면 성능이 25.78 PSNR과 0.94 SSIM으로 더욱 향상되며, 정체성 보존을 나타내는 ArcFace 코사인 유사도 (CSIM) 는 0.89입니다.
• 효율성: 이 프레임워크는 단일 NVIDIA A100 GPU 에서 (개인화 없이) 2 초, (개인화와 함께) 10 초 내에 아바타를 재구성합니다. 사전 계산된 FLAME 파라미터 없이 49 FPS로 실시간 애니메이션을 지원합니다.
• 애벌레이션 연구: 확장 가능한 사전 학습을 제거하면 가장 큰 성능 저하 (-8.36 PSNR) 가 발생하여 일반화를 위한 필요성을 확인시켜 줍니다. 다중 뷰 미세 조정을 제거하면 기하학적 충실도도 저하됩니다 (-3.53 PSNR). 학습된 FLAME 추정기는 오프라인 추적기 (VHAP) 와 동일한 렌더링 품질을 달성하면서 200 배 더 빠르게 실행됩니다.

의의

FFAvatar 는 확장 가능하고 접근 가능한 디지털 인간 생성을 향한 중요한 걸음을 나타냅니다. 개별 주제별 최적화와 오프라인 전처리의 계산 병목 현상을 제거함으로써, 희소하고 포즈가 지정되지 않은 이미지로부터 고품질 애니메이션 가능한 아바타를 수 초 내에 재구성할 수 있게 합니다. 이 논문은 이 프레임워크가 제어 가능하고 실시간인 인간 아바타 합성 연구에 대한 확장 가능한 기반을 제공하며, 고품질 재구성과 가상 현존 응용 분야의 실용적 배포 사이의 간극을 해소한다고 주장합니다.