MoCoTalk: Multi-Conditional Diffusion with Adaptive Router for Controllable Talking Head Generation

기술 요약: MoCoTalk

문제 정의
토킹헤드 생성은 구동 신호 (동작 또는 음성) 를 사용하여 정적 초상화를 애니메이션화하면서 소스 신원을 유지하고 자연스러운 오디오 - 시각 정렬 역학을 보장하는 것을 목표로 합니다. 기존 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 제한된 제어: 대부분의 방법은 오디오 전용 또는 비디오 전용 구동과 같은 중요한 요소들의 부분집합만을 다루며, 통합된 프레임워크 내에서 신원, 머리 자세, 표정, 입술 역학을 공동으로 모델링하지 못합니다.
2. 융합의 어려움: 여러 조건이 관여할 때, 현재 방법들은 일반적으로 고정 가중치 또는 휴리스틱 융합 전략에 의존합니다. 이는 종종 오디오, 키포인트, 3D 메시와 같은 이질적인 신호 간의 파괴적 간섭을 초래하여 특징의 드리프트, 불일치하는 기하학, 또는 독립적 속성 제어의 부재를 야기합니다. 또한, 3DMM 과 같은 매개변수 모델은 종종 정교한 입술 역학을 과소적합하여 입술 발음에서 시간적 떨림과 구조적 불일치를 유발합니다.

방법론
저자들은 Stable Video Diffusion (SVD) 을 기반으로 구축된 다중 조건 비디오 확산 프레임워크인 MoCoTalk을 제안합니다. 이 시스템은 참조 이미지, 얼굴 키포인트, 3DMM 렌더링 쉐이딩 메시, 그리고 음성 오디오라는 네 가지 상호 보완적인 제어 신호를 통합합니다.

핵심 방법론은 네 가지 주요 구성 요소로 구성됩니다:

1. 다중 조건 어댑터:
   네 개의 병렬 어댑터가 각 조건 모달리티를 U-Net 백본의 얕은 레이어와 호환되는 공간적 및 채널별 정렬 잠재 특징 맵으로 승격시킵니다.

   • 참조 어댑터: 신원과 외관을 추출합니다.
   • 동작 어댑터: 키포인트 맵에서 머리 자세와 대략적인 표정을 인코딩합니다.
   • 쉐이딩 어댑터: 3DMM 메시에서 얼굴 기하학과 조명을 포착합니다.
   • 오디오 어댑터: 이전 연구들이 크로스 어텐션 토큰을 통해 오디오를 주입한 것과 달리, 이 모듈은 오디오 특징을 공간 잠재 특징 맵으로 투영합니다. 이는 로컬 시간적 맥락을 보존하기 위해 슬라이딩 윈도우 방식을 활용하여 오디오가 시각 제어와 동일한 특징 수준 융합에 참여할 수 있게 합니다.

2. 적응형 다중 조건 라우터:
   파괴적 간섭을 해결하기 위해, 저자들은 U-Net 입력 컨볼루션 뒤에 배치된 경량 게이팅 모듈을 도입합니다. 고정된 스칼라 가중치를 할당하는 대신, 이 라우터는 채널별, 시간 단계 인식 게이트를 계산합니다. 이는 백본 특징의 글로벌 요약, 시간 단계 임베딩, 그리고 모든 조건 스트림을 입력으로 받아 소프트맥스 정규화된 게이팅 벡터를 출력합니다. 이를 통해 융합 전략은 특징 부분 공간과 소음 제거 궤적 중의 노이즈 수준에 따라 역동적으로 강조점을 이동시킬 수 있습니다. 또한 이는 누락된 모달리티에 대한 견고한 드롭아웃을 지원합니다.

3. 입술 증강 쉐이딩 메시:
   정교한 입술 움직임을 포착하는 데 있어 표준 3DMM(예: DECA) 의 한계를 해결하기 위해, 저자들은 융합 파이프라인을 제안합니다. 그들은 DECA 의 글로벌 신원 및 조명 사전 지식과 SPECTRE 에 의해 복원된 시간적으로 일관된 입술 기하학을 결합합니다. 이 "입술 증강 메시"는 머리 움직임, 입술 움직임, 표정, 조명을 분리하여 시간적으로 일관된 기하학적 사전 지식을 제공하며, 이는 하단 얼굴 아티팩트를 해결하고 추론 시 속성의 유연한 재결합을 가능하게 합니다.

4. 입술 일관성 손실:
   오디오 - 시각 정렬을 강화하기 위해 특수한 손실 함수가 도입되었습니다. 이는 고정된 입술 읽기 인코더를 사용하여 생성된 프레임과 정답 프레임에서 추출된 특징 간의 코사인 거리를 최소화함으로써 픽셀 공간에서 입술 영역의 시맨틱을 감독합니다.

주요 기여

• 통합 프레임워크: 오디오, 키포인트, 3D 메시, 참조 이미지라는 네 가지 이질적인 신호를 통합하여 토킹헤드 생성을 위한 새로운 다중 조건 확산 프레임워크.
• 적응형 라우터: 잠재 공간에서 제어 신호를 역동적으로 가중치 부여하고 결합하여 파괴적 간섭을 방지하고 속성 수준의 제어 가능성을 가능하게 하는 적응형 게이팅 메커니즘.
• 입술 증강 메시: 운동 소스를 분리하고 재결합하여 말하기 역학과 밀접하게 정렬된 3DMM 메시를 렌더링하는 표현으로, 시간적으로 일관된 기하학적 사전 지식을 제공합니다.
• 입술 일관성 손실: 음성 관련 입술 역학과 오디오 - 시각 동기화를 개선하는 픽셀 공간 감독 방법.

실험 결과
HDTF 데이터셋에서 자기 재연기 및 교차 재연기 설정 하에 광범위한 실험이 수행되었으며, MoCoTalk 은 최신 방법들 (VideoReTalking, Diff2Lip, SadTalker, FLOAT, Hallo2, LCVD) 과 비교되었습니다.

• 정량적 성능: MoCoTalk 은 구조적 (SSIM, PSNR), 운동 (AED, APD, AKD), 그리고 지각적 (FVD, VQA) 지표를 포함한 대부분의 메트릭에서 최첨단 성능을 달성했습니다. 특히, 자기 재연기에서 두 번째로 좋은 방법 대비 FVD 점수를 37% 감소시켜, 우수한 시간적 일관성과 실제 비디오에 대한 분포적 유사성을 나타냈습니다.
• 절대 연구:
  • 적응형 다중 조건 라우터를 제거하면 성능이 급격히 붕괴되었습니다 (예: FVD 가 40.75 에서 592.5 로 증가). 이는 파괴적 간섭을 방지하기 위해 적응형 게이팅이 필수적임을 확인시켜 줍니다.
  • 입술 증강 메시를 제거하면 특히 교차 재연기 설정에서 운동 충실도와 신원 보존이 크게 저하되었으며, 이는 시간적으로 일관된 기하학적 사전 지식의 중요성을 강조합니다.
  • 입술 일관성 손실을 제거하면 동기화 메트릭이 약간 하락했으나 프레임별 텍스처 부드러움 (VQA) 이 약간 개선되어, 정교한 입술 역학과 글로벌 텍스처 부드러움 사이의 트레이드오프가 있음을 시사합니다.
• 정성적 분석: 시각적 비교는 MoCoTalk 이 기준선보다 참조 외관을 더 잘 보존하면서 지정된 움직임을 정확하게 전달함을 보여줍니다. 프레임 수준의 떨림이나 목 경계 불연속성에 시달리는 방법들과 달리, MoCoTalk 은 부드러운 시간적 연속성을 유지합니다.

의의 및 주장
이 논문은 MoCoTalk 이 토킹헤드 생성을 위한 다양한 제어 요소를 공동으로 모델링하는 데 있어 중요한 격차를 해소했다고 주장합니다. 적응형 라우팅 메커니즘과 입술 증강 기하학적 사전 지식을 도입함으로써, 이 프레임워크는 단일 조건 방법들이 lacking 한 고충실도 재구성, 운동 정확도, 그리고 속성 수준의 제어 가능성 사이의 균형을 달성합니다. 저자들은 그들의 접근 방식이 추론 시 표정, 머리 움직임, 입술 역학, 조명을 독립적으로 지정할 수 있게 하여, 고정 가중치 융합 전략으로는 이전에는 달성할 수 없었던 맞춤형 애니메이션 시나리오를 가능하게 한다고 강조합니다.

한계점
저자들은 겸손하게 두 가지 한계를 인정합니다:

1. 단일 목적을 위해 특별히 설계된 모델에 비해 신원 보존과 립싱크 정확도 측면에서 여전히 개선의 여지가 있습니다.
2. 현재 백본은 한 번의 순전달 (forward pass) 에 8 프레임만 생성합니다. 더 긴 시퀀스는 겹치는 세그먼트를 연결하여 생성되므로 확장성이 제한되며 세그먼트 경계에서 미묘한 불연속성이 발생할 수 있습니다. 향후 작업은 연속 생성을 위해 자기회귀 백본으로 이전하는 것을 목표로 합니다.