기술 요약: MuEx – 음성 주도형 다국어 토킹 페이스 합성을 위한 다국어 전문가 모델

1. 문제 정의

음성 주도형 토킹 페이스 합성(Talking Face Synthesis, TFS)은 오디오 입력을 통해 생생한 얼굴 애니메이션을 생성하는 것을 목표로 한다. 현재의 최첨단 모델들은 영어에서는 우수한 성능을 보이지만, 비영어권 언어를 처리할 때는 상당한 성능 저하를 보인다. 본 논문은 기존 방식들이 다국어 시나리오에 적용될 때 발생하는 세 가지 핵심적인 실패 모드를 식별하였다:

1. 음소-입형 불일치(Phoneme-Viseme Mismatches): 모델이 교차 언어적 조음 단위(articulatory units)에 대한 이해가 부족하여, 새로운 오디오 패턴을 올바른 입 모양으로 매핑하는 데 실패한다.
2. 시청각 디커플링(Audiovisual Decoupling): 명확한 음성 오디오가 반드시 그에 상응하는 입 움직임을 유발하지 않아 동기화 오류가 발생한다.
3. 경직된 얼굴 표정: 특히 성조 언어(예: 중국어)의 경우, 얼굴 표정의 자연스러운 변화가 부족하다.

근본 원인은 다음과 같이 파악된다:

• 데이터셋 편향: 기존 모델들은 주로 영어 중심의 데이터셋(예: VoxCeleb, HDTF)으로 학습되어 영어 특유의 시청각 정렬에 최적화되어 있다.
• 음운론적 모델링의 부재: 현재의 엔드 투 엔드(end-to-end) 접근 방식은 기저의 음운론적 원리를 명시적으로 모델링하지 않으므로, 서로 다른 음성 구조를 가진 언어로의 일반화가 불가능하다.

2. 방법론: MuEx 프레임워크

저자들은 음소(phonemes)(음성 소리의 기본 단위)와 입형(visemes)(그에 대응하는 입 모양)을 보편적이고 언어에 구애받지 않는 매개체로 사용하여 오디오-비디오 간의 간극을 메우도록 설계된 MuEx (Multilingual Experts) 프레임워크를 제안한다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있다:

2.1 음소-입형 정렬 (PV-Align)

언어 레이블에 의존하지 않고 견고한 교차 모달 대응 관계를 구축하기 위해, 모델은 음성 특징(음소 수준)과 비디오 특징(입형 수준)을 $K$개의 프로토타입으로 클러스터링한다.

• 프로토타입 학습: 음성 및 시각적 특징은 이산적인 프로토타입 코드북 $\{c^p_k\}$ 및 $\{c^v_k\}$로 매핑된다. 이 프로토타입들은 언어와 상관없이 공유되는 조음 동작(예: 입술 닫힘, 턱 움직임)을 위한 보편적인 앵커 역할을 한다.
• 정렬 목적 함수: 모델은 매칭된 음소 및 입형 프로토타입 할당($q^p, q^v$) 사이의 옌센-섀논 상호 정보량($I_{JS}$)을 최대화하는 동시에, 원시 특징 공간($z^p, z^v$)에서의 가짜 상관관계를 억제한다.
  $$\mathcal{L}_{align} = -I_{JS}(q^p, q^v) + \lambda_{neg} I_{JS}(z^p, z^v)$$
  이를 통해 모델은 특정 화자의 스타일이나 녹음 아티팩트가 아닌, 안정적이고 전이 가능한 조음 패턴을 학습하게 된다.

2.2 의사-음소 유도 혼합 전문가 모델 (PG-MoE)

다양한 언어의 동적인 처리 요구 사항을 처리하기 위해, MuEx는 희소 혼합 전문가(sparse Mixture-of-Experts, MoE) 라우터를 채택한다.

• 라우팅 메커니즘: 라우터는 명시적인 언어 레이블을 사용하는 대신, 입력 음성 임베딩과 학습된 음소 프로토타입 사이의 유사성으로부터 도출된 의사-음소(pseudo-phoneme) 특징을 사용한다.
• 전문가 선택: 라우터는 콘텐츠 특징과 의사-음소 특징을 결합하여 $M$개의 전문가에 대한 로짓(logits)을 계산한다. 이후 희소 연산을 위해 상위 $S$개의 전문가를 선택한다.
• 학습: 라우팅 손실은 라우터의 출력 분포를 의사-음소 벡터로부터 도출된 타겟 분포와 정렬시켜, 특정 교차 언어적 조음 패턴에 특화된 전문가가 활성화되도록 유도한다.

2.3 학습 워크플로우

모델은 다음을 최적화하기 위해 공동 학습된다:

1. 프로토타입 정렬: 보편적인 음소-입형 매핑 보장.
2. 전문가 라우팅: 의사-음소 감독을 통한 전문가 활성화 유도.
3. 생성: 픽셀 수준 오차, 지각 손실(VGG), 그리고 시간적 매끄러움 손실(temporal smoothness loss) 최소화.

3. 주요 기여

1. 새로운 패러다임 (MuEx): 음소와 입형을 매개체로 활용하여 다국어 일반화 장벽과 교차 모달 동기화 문제를 극복하는 음성 주도형 얼굴 합성 프레임워크를 제시한다.
2. PV-Align 메커니즘: 음소와 입형 사이의 견고한 교차 모달 대응 관계를 구축하여, 추가 학습 없이도 미학습 언어에 대한 효과적인 **제로샷 일반화(zero-shot generalization)**를 가능하게 한다.
3. 다국어 토킹 페이스 데이터셋 (MTFD): 중국어, 태국어, 아랍어, 베트남어와 같은 성조 및 비성조 언어를 포함하여 12개의 다양한 언어에 걸친 95.04시간의 고품질 비디오로 구성된 새로운 데이터셋을 제공하며, 이는 TFS 연구 내의 다양한 다국어 데이터 부족 문제를 해결한다.

4. 실험 결과

저자들은 MTFD 테스트 세트(12개 언어)와 MTFD 외 언어(한국어, 미얀마어, 힌디어)에서 MuEx를 평가하였다.

4.1 정량적 성능

7개의 최첨단 방법론(SadTalker, Hallo2, MEMO, AniTalker 포함)과 비교했을 때, MuEx는 동기화 지표에서 우수한 성능을 보였다:

• Sync-C (SyncNet Confidence): 7.536 (모든 방법 중 최고).
• LSE-D (Lip-Sync Error Distance): 0.0437 (최저 오차).
• TMDC (Temporal Mouth Dynamics Correlation): 0.756 (최고 상관관계).
• FVD (Fréchet Video Distance): 171.284 (경쟁력 있는 수치이며, 현실성과 동기화 사이의 균형을 나타냄).

특히, MuEx는 모든 동기화 관련 지표에서 MTFD로 파인튜닝된 모델들(예: Hallo2, MEMO)보다 뛰어난 성능을 보였으며, 이는 명시적인 음소-입형 정렬이 다국어 작업에서 단순 파인튜닝보다 더 효과적임을 입증한다.

4.2 정성적 및 인간 평가

• 인간 대상 연구: 300명의 참가자가 15개 언어 그룹에 대해 8가지 방법을 평가하였다. MuEx는 입술-음성 동기화(5.65)와 치아 자연스러움(5.41) 모두에서 가장 높은 가중 평균 점수를 기록했다.
• 제로샷 일반화: MuEx는 재학습 없이도 미학습 언어(한국어, 미얀마어, 힌디어)에서 높은 성능을 유지한 반면, 베이스라인 모델들은 상당한 성능 저하를 보였다.
• 성조 언어: MuEx는 특히 성조 언어(중국어, 태국어, 베트남어)에서 강점을 보였으며, 베이스라인에 비해 더 정확한 입 모양과 자연스러운 얼굴 표정을 생성하였다.

4.3 절제 연구 (Ablation Studies)

• PV-Align 또는 PG-MoE를 제거하면 동기화 지표가 크게 하락하였다 (예: 베이스라인에서 LSE-D가 0.0437에서 0.0612로 증가).
• 본 연구는 언어에 구애받지 않는 정렬과 전문가 라우팅의 결-합이 최적의 교차 언어 일반화를 위해 필수적임을 확인하였다.

5. 의의 및 주장

본 논문은 MuEx가 보편적인 음소-입형 원칙을 통해 언어의 경계를 초월함으로써 다국어 TFS를 위한 새로운 패러다임을 구축한다고 주장한다. 주요 의의는 다음과 같다:

• 영어 중심 편향 해결: 언어 레이블으로부터 시청각 정렬을 분리함으로써, 비영어권 언어로 일반화하지 못하는 기존 모델의 실패 문제를 직접적으로 해결한다.
• 제로샷 능력: 명시적인 언어 감독이나 미학습 언어에 대한 재학습 없이도 견고한 다국어 합성이 가능하다는 것을 보여준다.
• 리소스 제공: MTFD 데이터셋의 도입은 특히 저평가된 언어들을 대상으로 하는 다국어 토킹 페이스 합성 연구에 필요한 벤치마크를 제공한다.

저자들은 보편적인 조음 단위를 활용함으로써, MuEx가 다양한 언어적 맥락 전반에서 높은 동기화와 자연스러움을 유지하는 생생한 다국어 TFS를 달성한다고 결론짓는다.