기술 요약: 아바타 포싱 (Avatar Forcing)

문제 정의

현재의 토킹 헤드(talking head) 생성 모델은 주로 일방향 통신(예: 가상 프레젠터)을 위한 정적 초상화로부터 생생한 아바타를 만드는 데 집중하고 있습니다. 이러한 시스템은 입 모양 동기화(lip-syncing)와 기본적인 머리 움직임에는 효과적이지만, 양방향적인 대면 상호작용의 특성을 재현하는 데는 한계가 있습니다. 이들은 일반적으로 사용자의 언어적 및 비언어적 신호(예: 고개 끄덕임, 미소, 웃음)에 실시간으로 반응하는 인터랙티브한 대화를 수행하는 능력이 부족합니다.

저자들은 진정한 인터랙티브 아바타를 구축하는 데 있어 두 가지 주요 과제를 식별했습니다:

1. 실시간 인과적 제약 (Real-time Causal Constraints): 기존 방식은 모션을 생성하기 위해 전체 대화 문맥(미래 프레임 포함)에 접근해야 하는 경우가 많아 높은 지연 시간(예: 3초 이상)을 초-래합니다. 이는 자연스러운 대화에 필수적인 즉각적인 반응을 방해합니다.
2. 표현력 있는 상호작용 학습 (Learning Expressive Interactions): 자연스러운 상호작용 동작은 잘 정제된 데이터의 부족으로 인해 모델링하기 어렵습니다. 기존의 리스닝(listening) 데이터셋은 경직되고 변동성이 낮은 동작을 보이는 경향이 있습니다. 또한, 사용자의 신호에 반응하는 것은 본질적으로 모호함(일대다 매핑)을 내포하고 있어, 추가적인 레이블 데이터 없이 활기차고 다양한 반응을 학습하는 것이 어렵습니다.

방법론: 아바타 포싱 (Avatar Forcing)

본 논문은 학습된 모션 잠재 공간(motion latent space) 내에서 **디퓨전 포싱(diffusion forcing)**을 통해 사용자-아바타 상호작용을 모델링하는 실시간 인터랙티브 헤드 아바타 생성 프레임워크인 **아바타 포싱(Avatar Forcing)**을 제안합니다.

1. 실시간 상호작용을 위한 인과적 디퓨전 포싱 (Causal Diffusion Forcing)

지연 시간을 해결하기 위해, 이 프레임워크는 픽셀을 직접 생성하는 대신 모션 잠재 공간 내에서 인과적 디퓨전 포싱(Causal Diffusion Forcing) 방식을 채택합니다.

• 모션 잠재 인코딩 (Motion Latent Encoding): 이중 모션 오토인코더는 입력 이미지를 정체성 잠재 변수($z_S$)와 모션 잠재 변수($m_S$)로 분해합니다. 모션 잠재 변수는 전체적인 머리 움직임과 세밀한 얼굴 표정을 포착합니다.
• 이중 모션 인코더 (Dual Motion Encoder): 이 모듈은 멀티모달 입력인 사용자의 오디오($a_u$), 사용자의 모션($m_u$), 그리고 아바타의 오디오($a$)를 하나의 통합된 조건으로 인코딩합니다. 이는 크로스 어텐션(cross-attention) 레이어를 활용하여 사용자 신호를 정렬하고 사용자-아바타 간의 인과 관계를 학습합니다.
• 인과적 DFoT 모션 생성기 (Causal DFoT Motion Generator): 핵심 생성기인 디퓨전 포싱 트랜스포머(DFoT)는 인과적 제약 조건 하에서 작동합니다.
  • 블록 단위 인과 구조 (Blockwise Causal Structure): 잠재 프레임은 블록 단위로 나뉩니다. 모델은 과거 블록과 현재 조건을 바탕으로 다음 블록을 예측함으로써 미래의 문맥을 필요로 하지 않도록 합니다.
  • 룩 어헤드 마스크 (Look-Ahead Mask): 블록 간의 부드러운 시간적 전이를 보장하기 위해 "룩 어헤드" 인과적 마스크가 도입됩니다. 이를 통해 모델은 전체적인 인과성을 유지하면서도 동일 블록 내의 제한된 수의 미래 프레임을 참조할 수 있어, 모션의 떨림(jitter)을 완화합니다.
  • KV 캐싱 (KV Caching): 시스템은 과거 정보를 효율적으로 재사용하기 위해 키-값(Key-Value) 캐싱을 사용하여 약 500ms의 지연 시간으로 실시간 추론을 가능하게 합니다.

2. 표현력 향상을 위한 직접 선호도 최적화 (Direct Preference Optimization, DPO)

표현력 있는 훈련 데이터의 부족과 상호작용적 반응의 모호함을 해결하기 위해, 저자들은 레이블이 필요 없는 선호도 최적화 방법을 도입합니다.

• 합성 선호 쌍 (Synthetic Preference Pairs): 인간의 주석에 의존하는 대신, 다음과 같이 합성 선호 쌍을 구성합니다:
  • 선호되는 것 ($x^w$): 표현력이 풍부하고 문맥에 적절한 반응을 보이는 그라운드 트루스(ground-truth) 영상의 모션 잠재 변수.
  • 덜 선호되는 것 ($x^l$): 사용자 신호를 제외하고 아바타 오디오에만 조건화된 베이스라인 토킹 아바타 모델로부터 생성된 모션 잠재 변수. 이는 "경직된" 또는 반응이 없는 동작을 시뮬레이션합니다.
• 최적화 목적 함수 (Optimization Objective): 모델은 **직접 선호도 최적화(DPO)**를 사용하여 미세 조정됩니다. 합성된 "패배한(losing)" 샘플(사용자 조건이 결여된 샘플)을 덜 선호되는 것으로 취급함으로써, 모델은 별도의 보상 모델이나 추가적인 인간 레이블 없이도 표현력과 반응성을 높이는 법을 학습합니다.

주요 기여

1. 실시간 인터랙티브 프레임워크: 인과적 디퓨전 포싱에 기반한 새로운 아키텍처를 통해 전체 문맥이 필요한 베이스라인 방식(예: 3.4초)보다 크게 개선된 낮은 지연 시간(~500ms)으로 인터랙티브 아바타 영상을 생성합니다.
2. 레이블 프리 표현력 학습: 합성 패배 샘플을 활용하여 모델에게 활기차고 반응적인 동작을 가르치는 선호도 최적화 전략을 통해, 기존의 경직된 데이터셋의 한계를 극복합니다.
3. 멀티모달 컨디셔닝: 사용자 오디오, 사용자 모션, 아바타 오디오를 효과적으로 통합하여 전체적인 아바타 모션을 구동하는 통합 인코더를 제공합니다.

실험 결과

프레임워크는 dyadic 대화 데이터셋(RealTalk 및 ViCo)에서 평가되었으며, INFP* 및 FLOAT와 같은 최첨단 베이스라인과 비교되었습니다.

• 지연 시간 (Latency): 아바타 포싱은 INFP*(3.4초)에 비해 ~0.5초의 지연 시간을 달성하여 실시간 상호작용을 가능하게 했습니다. 이는 6.8배의 속도 향상을 의미합니다.
• 반응성 및 풍부함 (Reactiveness and Richness): 표현/포즈에 대한 잔차 피어슨 상관계수(rPCC), 다양성 지표(SID), 변동성(Variance) 등의 정량적 지표에서 아바타 포싱은 베이스라인을 크게 앞질렀습니다. 아바타 포싱은 더 낮은 rPCC 점수(더 나은 동기화 의미)와 더 높은 SID/Var 점수(더 풍부하고 다양한 모션 의미)를 기록했습니다.
• 인간 선호도 (Human Preference): 42명의 참가자를 대상으로 한 연구에서, 아바타 포싱은 반응성, 모션 풍부함, 비언어적 정렬,