CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation

기술 요약: CETalk – 오디오 기반 3D 토킹 헤드 생성을 위한 연속적 밸런스-각성 제어

1. 문제 정의

오디오 기반 3D 토킹 헤드 생성은 음성으로부터 시간적으로 일관되고 시각적으로 사실적인 얼굴 애니메이션을 합성하는 것을 목표로 합니다. 최근의 방법론들은 정확한 입술 동기화(lip synchronization)를 달성했으나, 감정이 풍부한 아바타를 생성하는 데 있어 두 가지 주요 한계점에 직면해 있습니다:

1. 이산적 감정의 한계: 기존 방식은 종종 이산적인 감정 범주(예: 기쁨, 슬픔)에 의존합니다. 이는 인간의 대화에서 자연스럽게 발생하는 연속적이고 미묘한 정서의 진화와 부드러운 전이를 포착하지 못합니다.
2. 시간적 주파수 불일치: 오디오의 조음(articulation)과 감정 표현 사이에는 시간적 척도 간의 근본적인 불일치가 존재합니다. 입술 움직임은 오디오와 결합된 고주파의 프레임 단위 동기화가 필요한 반면, 감정 표현은 더 긴 시간 범위에 걸쳐 느리게 진화합니다. 기존 모델들은 이러한 역학 관계를 분리하는 데 어려움을 겪는 경우가 많으며, 이로 인해 애니메이션이 경직되거나 감정적 뉘yance(뉘앙스)가 부족해지는 결과를 초래합니다.

2. 방법론: CETalk 프레임워크

저자들은 미세한 감정 제어를 가능하게 하기 위해 연속적인 밸런스-각성(Valence–Arousal, VA) 표현을 조건으로 하는 CETalk 프레임워크를 제안합니다. 이 시스템은 입력 오디오($A$), 화자 정체성($S$), 그리고 연속적인 감정 조건($E_{cond}$)이 주어졌을 때 FLAME 파라미터($P$)의 시퀀스를 예측합니다. 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

• 동적 감정 변조 모듈 (Dynamic Emotion Modulation Module, DEMM):
  이 모듈은 정적인 감정 명세와 동적인 얼굴 표정 사이의 간극을 메웁니다. 이는 정적인 VA 조건($E_{cond}$)을 받아 오디오에서 유도된 단서들을 사용하여 이를 변조합니다.

  • 감정 인코더는 VA 신호를 기초적인 감정 표현($E_{VA}$)으로 변환합니다.
  • 오디오-감정 인코더(Emotion2Vec 기반)는 오디오로부터 프레임 수준의 정서적 단서($E_{audio}$)를 추출합니다.
  • 동적 강도 조절 모듈은 $E_{audio}$를 기반으로 시간적 스케일링 계수($\alpha$)를 예측합니다.
  • 최종 동적 임베딩($E_{mod}$)은 요소별 스케일링을 통해 얻어집니다: $E_{mod} = \alpha \odot E_{VA}$.

• 다중 스케일 시간 모델링 (Multi-Scale Temporal Modeling, MSTM):
  시간적 주파수 불일치를 해결하기 위해, CETalk는 고주파(HF) 조음 동작과 저주파(LF) 감정 역학을 분리하기 위해 병렬 브랜치를 채택합니다.

  • HF 브랜치: 오디오와 밀접하게 동기화된 미세한 조음에 집중합니다. 이는 화자 임베딩과 고해 resolution 오디오 특징(HuBERT를 통해 추출됨) 간의 교차 주의 집중(cross-attention)을 사용합니다.
  • LF 브랜치: 느리게 변화하는 감정 역학을 모델링합니다. 오디오 특징과 동적 감정 임베딩 모두에 시간적 다운샘플링을 적용하고, 거친 척도(coarse scale)에서 교차 주의 집중을 수행한 후, 결과를 원래의 시간 해상도로 업샘플링합니다.

• 동적 융합 메커니즘 (Dynamic Fusion Mechanism, DFM):
  이 모듈은 HF 및 LF 특징을 적응적으로 통합합니다. 경량 게이팅 네트워크는 두 특징 집합의 결합을 기반으로 채널별 적응형 가중치($g$)를 계산합니다. 최종 통합 표현($\tilde{F}$)은 가중 합으로 계산됩니다: $\tilde{F} = g \odot F_{HF} + (1 - g) \odot F_{LF}$. 이 표현은 이후 표정 및 턱(jaw) 계수를 예측하는 데 투영됩니다.

3. 데이터셋 구축: 3D-VA-MEAD

학습 및 평가를 지원하기 위해, 저자들은 MEAD 데이터셋에서 파생된 대규모 데이터셋인 3D-VA-MEAD를 구축했습니다.

• 과정: 저자들은 사전 학습된 감정 인식 모델을 활용하여 비디오로부터 프레임 수준의 VA 계수를 추정하였고, 단안 3D 얼굴 재구성 방법(EMOCA)을 사용하여 FLAME 파라미터를 복구하였습니다.
• 정제: 시간적 불안정성을 완화하기 위해, 회귀된 감정 벡터를 매끄럽게 만드는 1D 이동 평균 필터(moving average filter)를 적용하였습니다.
• 결과: 이 데이터셋은 프레임 수준의 연속적인 VA 주석이 포함된 재구성된 3D 얼굴 동작을 제공합니다.

4. 실험 결과

모델은 MEAD, RAVDESS, HDTF 데이터셋에서 최신 베이스라인 모델들(FaceFormer, CodeTalker, EMOTE, UniTalker 포함)을 대상으로 평가되었습니다.

• 얼굴 동작 정확도: CETalk는 모든 데이터셋에서 가장 낮은 오차를 기록했습니다. MEAD 데이터셋에서 입술 정점 오차(Lip Vertex Error, LVE) 7.4772 mm와 평균 정점 오차(Mean Vertex Error, MVE) 9.9059 mm를 기록하며 모든 베이스라인을 능가했습니다. 또한, 실제 환경 데이터인 HDTF 데이터셋에서도 강력한 일반화 성능을 보여주었습니다.
• 감정 제어 가능성: VA 예측을 위한 RMSE 및 SAGR 지표를 사용하여, CETalk는 최고의 성능을 달성했습니다 (RMSE: Valence 0.1223, Arousal 0.0747; SAGR: Valence 0.9247, Arousal 0.9906).
• 정성적 분석: 시각적 비교 결과, CETalk는 과도한 평활화(over-smoothing)나 경직된 애니메이션을 보이는 방법론들에 비해 더 풍부하고 일관된 표현 역학 및 부드러운 전이를 생성함을 보여주었습니다.
• 절제 연구 (Ablation Study): 동적 감정 변조 모듈(DEMM)을 제거했을 때 가장 큰 성능 저하가 발생하여(EVE가 1.3256에서 2.4367로 증가), 동적 강도 변조의 필요성을 확인하였습니다.

5. 의의 및 주장

본 논문은 CETalk가 이산적인 감정 범주를 넘어 연속적인 정서 공간으로 나아감으로써 중요한 진전을 이루었다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 연속적 제어: 밸런스-각성(VA) 컨디셔닝을 통해 미세하고 시간적으로 일관된 감정 제어를 가능하게 하여, 감정 상태 간의 부드러운 전이를 허용합니다.
2. 시간적 분리: 다중 스케일 시간 모델링 메커니즘은 오디오 조음과 감정 표현의 이질적인 시간적 역학을 명시적으로 분리하여, 이 분야의 핵심 과제를 해결합니다.
3. 리소스 가용성: 3D-VA-MEAD의 구축은 연속적인 VA 주석을 가진 공개 가능한 데이터셋의 공백을 메움으로써, 향후 감정 인지 토킹 헤드 생성 연구를 위한 필수적인 자원을 제공합니다.

저자들은 오디오 기반 조음과 감정 역학을 적응적 융합을 통해 결동적으로 포착함으로써, CETalk가 우수한 입술 동기화 정확도와 감정적 표현력을 달성하여 3D 토킹 헤드 생성을 위한 연속적 정서 모델링의 효과를 입증했다고 결론지었습니다.