SEDTalker: 프레임 단위 음성 감정 분리를 활용한 감정 인지형 3D 얼굴 애니메이션

1. 문제 정의 (Problem Statement)

기존의 음성 기반 3D 얼굴 애니메이션 기술은 다음과 같은 한계를 가지고 있습니다.

• 시간적 세분성 부족: 대부분의 기존 방법은 발화 전체에 대해 단일한 전역 감정 레이블 (Utterance-level) 을 사용하여 얼굴 표정을 생성합니다. 이는 인간의 감정이 발화 중에도 끊임없이 변화하고 섞이며 강도가 변한다는 역동적인 특성을 반영하지 못합니다.
• 데이터 부족 및 정합성 문제: 감정적인 음성 데이터와 3D 얼굴 모션 데이터가 완벽하게 정합 (Aligned) 된 고품질 데이터셋이 부족합니다. 특히, 감정적인 음성 데이터에 대응하는 3D 메쉬 데이터가 거의 없어, 모델이 음성 특징과 얼굴 표정 간의 직접적인 상관관계를 학습하기 어렵습니다.
• 표현의 평면화: coarse-grained(거친) 감정 레이블을 사용하면 자연스러운 감정 전환이 불가능하며, 얼굴 애니메이션이 감정적으로 평면적이거나 갑작스러운 변화로 인해 비자연스러워지는 문제가 발생합니다.

2. 방법론 (Methodology)

SEDTalker 는 이러한 한계를 극복하기 위해 **프레임 단위 음성 감정 분리 (Frame-Level Speech Emotion Diarization, SED)**를 핵심 구성 요소로 도입한 분해된 (Decoupled) 학습 전략을 사용합니다.

A. 프레임 단위 음성 감정 분리 (SED) 모듈

• 목표: 발화 전체가 아닌, 20ms 단위의 프레임별로 감정 카테고리 (7 가지: 화남, 혐오, 두려움, 행복, 중립, 슬픔, 당황) 와 강도 (Intensity) 를 예측합니다.
• 아키텍처:
  • 특징 추출: 사전 학습된 WavLM-Base-Plus 모델을 사용하여 오디오 특징을 추출합니다.
  • 선택적 미세 조정 (Selective Fine-Tuning): WavLM 의 하위 6 개 트랜스포머 레이어는 고정하고, 상위 6 개 레이어만 감정 인식 태스크에 맞춰 미세 조정하여 효율성을 높였습니다.
  • 분류 헤드: MLP 를 통해 프레임별 감정 확률을 출력합니다.
• 데이터: MELD, IEMOCAP 등 9 개의 공개 데이터셋을 통합하여 총 58,834 개의 발화 (149 명 화자) 로 구성된 대규모 코퍼스를 구축했습니다. 클래스 불균형을 해결하기 위해 역빈도 가중치 (Inverse Frequency Weighting) 를 적용했습니다.

B. 감정 인지형 3D 애니메이션 생성 모델

• 기본 구조: JambaTalk의 하이브리드 아키텍처 (Transformer + Mamba) 를 기반으로 합니다.
  • Transformer: 전역적 문맥 (Global Context) 모델링.
  • Mamba: 선형 복잡도 (O(T)) 를 가진 효율적인 시퀀스 모델링.
• 감정 조건부 모듈 (Emotion Conditioning):
  • SED 모듈에서 추출된 프레임별 감정 레이블과 강도 값을 학습된 임베딩으로 변환합니다.
  • 이 조건부 벡터는 오디오 특징에 가산 (Additive) 방식으로 결합되어, 언어적 내용 (Linguistic Content) 과 감정적 스타일 (Emotional Style) 을 분리하면서도 시간적 일관성을 유지하도록 합니다.
• 학습 전략 (Decoupled Training):
  • 중립 음성 + 감정 얼굴: 애니메이션 모델은 중립적인 음성과 감정적인 3D 얼굴 메쉬가 짝지어진 데이터 (EmoVOCA) 로 학습합니다.
  • 추론 시 감정 주입: 학습 중에는 감정 음성 데이터가 필요 없으며, 추론 시 SED 모듈이 실시간으로 감정 신호를 추출하여 애니메이션 모델에 주입합니다. 이는 감정 음성 - 얼굴 데이터의 정합성 문제를 해결합니다.

3. 주요 기여 (Key Contributions)

1. 프레임 단위 감정 조건부 생성: 발화 내에서의 연속적이고 미세한 감정 조절을 가능하게 하는 새로운 프레임 단위 감정 조건부 생성 태스크를 정의했습니다.
2. 데이터 정합성 문제 해결: SED 와 애니메이션 학습을 분리함으로써, 감정 음성 - 3D 메쉬가 정합된 데이터 쌍이 없어도 감정 전달이 가능한 프레임워크를 제안했습니다.
3. 대규모 프레임 단위 감정 코퍼스 구축: 9 개 데이터셋을 통합한 58,834 발화 규모의 코퍼스를 구축하고 공개했으며, 20ms 해상도에서 78.9% 의 가중치 F1 점수를 달성했습니다.
4. 효율적인 하이브리드 아키텍처: JambaTalk 을 확장하여 감정 - 강도 조건부 모듈을 추가하고, GPU 메모리 사용량을 18 개 감정 상태 + 중립 상태 기준 13GB 로 최적화했습니다.

4. 실험 결과 (Results)

A. 감정 인식 성능 (SED Evaluation)

• 테스트 세트: 7,007 발화 (185 만 프레임).
• 성능: 프레임 단위 정확도 78.92%, 가중치 F1 점수 78.9% 달성.
• 세부 분석: '행복 (Happy)'과 '화남 (Angry)'은 높은 성능을 보였으며, 데이터가 부족한 '두려움 (Fear)'은 여전히 어려운 과제로 남았으나 (F1 62.0%), 클래스 가중치 적용으로 전반적인 성능이 개선되었습니다.

B. 3D 얼굴 애니메이션 성능 (Quantitative Evaluation)

• 데이터셋: EmoVOCA (중립 음성 + 감정 얼굴).
• 지표:
  • MVE (평균 정점 오차): 5.976 × 10⁻³ (Ground Truth 와 매우 근접).
  • LVE (입술 정점 오차): 7.847 × 10⁻³.
  • EVE (감정 관련 정점 오차): 7.863 × 10⁻³.
  • 시간적 일관성 (TC): 1.209 × 10⁻⁴로 매우 부드러운 모션 생성.
• 비교: 기존 방법인 FaceFormer 와 EmoTalk 보다 MVE, LVE, FFE(푸리에 주파수 오차) 등 모든 주요 지표에서 우수한 성능을 보였습니다. 특히 Mamba 레이어 제거 시 성능이 저하되어, 하이브리드 아키텍처의 유효성이 입증되었습니다.

C. 정성적 평가 (Qualitative Results)

• 연속적인 감정 전환: 화남 → 중립 → 행복 → 슬픔과 같은 이산적인 감정 레이블 사이에서도 얼굴 형상이 매끄럽게 변형되며, 갑작스러운 아티팩트가 없습니다.
• 강도 조절: 감정의 강도 (Intensity) 변화에 따라 입술, 눈썹, 턱의 움직임이 세밀하게 조절되어 EmoTalk 보다 더 자연스럽고 표현력이 풍부한 애니메이션을 생성합니다.

5. 의의 및 결론 (Significance)

SEDTalker 는 음성 기반 3D 얼굴 애니메이션 분야에서 시간적으로 밀도 높은 감정 신호를 직접적으로 활용하는 새로운 패러다임을 제시했습니다.

• 데이터 의존성 해소: 감정 음성 - 얼굴 데이터의 정합성 부족이라는 장기적인 병목 현상을 우회하여, 중립 음성 데이터만으로도 고품질의 감정적 애니메이션을 생성할 수 있게 했습니다.
• 자연스러운 인간 - 컴퓨터 상호작용: 가상 비서, 디지털 아바타, 원격 통신 등 다양한 분야에서 사용자의 음성 감정을 실시간으로 반영하여 더욱 자연스럽고 공감각적인 상호작용을 가능하게 합니다.
• 확장성: 새로운 감정을 학습하기 위해 모델을 다시 훈련할 필요 없이, SED 모듈의 업데이트만으로 프레임워크를 적응시킬 수 있는 유연성을 제공합니다.

이 연구는 프레임 단위 감정 분리가 표현력 있고 제어 가능한 3D 토킹 헤드 생성에 필수적임을 입증했습니다.