기술 요약: HM-Talker

문제 정의

음성 기반 말하기 헤드 생성은 개인화(정체성 특유의 안면 역동성과 발음 스타일 포착) 와 일반화(보이지 않는 화자와 오디오에 대해 강건하게 동작 합성) 사이에 근본적인 트레이드오프에 직면해 있습니다.

• 암시적 모델(예: 순수 오디오 - 동작 매핑) 은 종종 구조적 제약이 부족하여 시간적 불안정성, 왜곡된 안면 역동성, 그리고 입술 떨림을 초래합니다.
• 명시적 모델(예: 3D Morphable Models 또는 Action Units 에 의존하는 모델) 은 해부학적 기반을 제공하지만, 특정 학습 정체성에 대한 과적합으로 인해 지나치게 중립적인 표정, 경직된 동작, 또는 낮은 일반화 성능을 초래하는 경우가 많습니다.
• 기존 하이브리드 접근법(예: TalkingGaussian) 은 상반면을 위한 명시적 사전 지식과 하반면을 위한 암시적 모델을 사용하여 타협을 시도합니다. 그러나 이러한 공간적 분할은 고도로 발음되는 하반면에 대한 중요한 구조적 지시를 생략하여, 입술 떨림과 같은 시간적 아티팩트를 누적시킵니다.

핵심 과제는 정체성 특유의 특징을 포착함과 동시에 정체성 무관한 오디오에 대해 강건하게 일반화되는 하이브리드 운동장을 학습하는 것입니다.

방법론: HM-Talker

HM-Talker 는 Deformable 3D Gaussian Avatars 패러다임 (특히 TalkingGaussian을 확장) 에 구축된 하이브리드 운동 모델링 프레임워크입니다. 이는 두 가지 시너지 모듈을 통해 개인화 - 일반화 갈등을 해결합니다:

1. 교차 모달 매핑 모듈 (CMMM)

CMMM 은 암시적 오디오 특징과 명시적 시각 발음 단서를 정렬함으로써 포괄적인 "운동 어휘"를 구축합니다.

• 명시적 표현: 참조 비디오에서 프레임 단위의 얼굴 행동 단위 (AUs) 를 추출하여 상반면 ($c^e_{v,u}$) 과 하반면 ($c^e_{v,l}$) 하위 집합으로 분리합니다. 하반면 특징은 복잡한 발음 상관관계를 포착하기 위해 잔류 MLP 를 통해 향상됩니다.
• 암시적 표현: 사전 훈련된 오디오 - 시각 인코더 (AVE) 를 사용하여 오디오에서 운율 풍부한 특징을 도출하고, 2 단계 네트워크 (AudioNet 및 AudioAttNet) 를 처리하여 컴팩트한 암시적 특징 ($c^i_{a,l}$) 을 생성합니다.
• 교차 모달 투사: 경량 MLP 인 오디오 - 시각 매핑기 (A2VM) 는 암시적 오디오 특징을 명시적 발음 공간 ($c^e_{a,l}$) 으로 투사합니다. 이는 오디오 유도 특징이 시각 발음 목표와 일치하도록 보장하기 위해 정렬 손실 ($L_{align}$) 로 감독되며, 오디오 기반 운동을 물리적 표현에 기반하게 합니다.

2. 하이브리드 운동 모델링 모듈 (HMMM)

HMMM 은 CMMM 의 운동 단서를 융합하여 최종 변형장을 생성합니다. 그 핵심 혁신은 개인화와 일반화를 균형 있게 조정하기 위해 학습 목표를 동적으로 교차하는 확률적 특징 페어링 (SFP) 전략입니다.

• 확률적 특징 페어링 (SFP): 학습 중 모델은 각 반복에서 세 가지 경로 중 하나를 확률적으로 선택합니다:
  1. $P_{style}$ (개인화): 암시적 오디오 특징을 비디오 유도 명시적 사전 지식 ($c^e_{v,l}$) 과 페어링합니다. 이는 운동장을 대상의 고유한 발음 스타일에 고정합니다.
  2. $P_{gen}$ (일반화): 암시적 오디오 특징을 오디오 예측 명시적 특징 ($c^e_{a,l}$) 과 페어링합니다. 정답 비디오 사전 지식이 결여된 상태에서, 이는 모델이 일반화 가능한 오디오 - 동작 매핑을 학습하도록 강제합니다.
  3. $P_{robust}$ (강건성): 마스킹된 오디오 특징을 비디오 유도 사전 지식과 페어링하여 오디오 스트림에 대한 과도한 의존을 방지합니다.
• 동적 게이트 융합: 선택된 특징은 경량 MLP 가 예측하는 학습 가능한 게이트 메커니즘 ($\alpha$) 을 통해 융합됩니다. 이를 통해 모델은 프레임 단위로 구조화된 명시적 단서와 운율적 암시적 단서의 영향을 적응적으로 균형 잡을 수 있습니다.
• 변형 예측: 융합된 하반면 특징과 상반면 특징은 가우스 위치 인코딩에서 파생된 공간 인식 주의 맵에 의해 조절되어, 최종 가우스별 3D 변위 ($\delta$) 를 예측합니다.

주요 기여

1. HM-Talker 프레임워크: 음성 기반 말하기 헤드 합성에서 개인화와 일반화 사이의 트레이드오프를 전략적으로 조정하는 새로운 패러다임.
2. 교차 모달 매핑 모듈 (CMMM): 오디오 운율을 시각 발음 공간으로 투사하여 포괄적인 운동 어휘를 준비하는 메커니즘으로, 오디오만 있는 조건에서도 해부학적으로 타당한 재구성을 가능하게 함.
3. 하이브리드 운동 모델링 모듈 (HMMM): 확률적 특징 페어링 (SFP) 을 통합한 설계. 이 학습 방식은 (비디오 사전 지식을 통한) 개인화 강화와 (오디오 예측 사전 지식을 통한) 일반화 강화 사이를 동적으로 교차하여, 강건하고 적응적인 안면 운동 합성기를 학습함.

실험 결과

실험은 "Obama", "May", "Shaheen"을 포함한 다섯 개의 초상화 비디오 데이터셋에서 최첨단 2D 생성 모델, NeRF 기반 방법, 3D 가우스 스플래팅 기술에 대해 수행되었습니다.

• 자기 재구성: HM-Talker 는 시각적 사실성 (PSNR: 35.15 dB, SSIM: 0.9971) 과 운동 충실도 (LMD: 2.514, AUE-L: 0.53) 에서 선도적인 성능을 달성했습니다. SyncTalk 및 TalkingGaussian보다 우수한 성능을 보이면서도 실시간 추론 속도 (120 FPS) 를 유지했습니다.
• 일반화: 다른 화자 ("Shaheen" 및 "Lieu") 의 보이지 않는 오디오로 "May" 아바타를 구동할 때, HM-Talker 는 기준선 대비 우수한 립싱크 정확도 (Sync-C: 7.972 및 7.994) 를 보여주어, 화자 특유의 음향으로부터 음성 내용을 효과적으로 분리해냈음을 시사합니다.
• 정성적 분석: 모델은 특히 넓은 입 모양과 미묘한 음소에서 더 일관된 음소 - 시각소 정렬을 생성했으며, 경쟁 방법들보다 미세한 구강 내부 세부 사항을 더 잘 보존했습니다.
• 사용자 연구: 30 명의 비전문가 참가자를 대상으로 한 연구에서 HM-Talker 는 비디오 사실성 (4.31) 과 이미지 품질 (4.08) 에서 최고 점수를 기록했으며, 립싱크 정확도 (4.10) 에서 정답과의 격차를 크게 좁혔습니다.

중요성과 주장

이 논문은 HM-Talker 가 개인화와 일반화라는 이전에 경쟁적이었던 목표를 통합함으로써 보편적 안면 애니메이션을 위한 새로운 패러다임을 확립한다고 주장합니다.

• 이는 고충실도 말하기 헤드 합성이 해부학적 기반과 오디오 기반 유연성 사이에서 트레이드오프를 필요로 하지 않음을 보여줍니다.
• 확률적 특징 페어링을 활용함으로써, 이 프레임워크는 정체성을 보존하면서도 정체성 간 및 언어 간 오디오 입력에 강건한 하이브리드 운동장을 효과적으로 학습합니다.
• 이 연구는 동적 학습 전략에 의해 안내되는 명시적 발음 단서와 암시적 운율 특징의 통합이 암시적 모델의 구조적 불일치와 명시적 모델의 경직성을 해결함을 검증합니다.