기술 요약: CapTalk

문제 정의

음성 기반 3D 얼굴 애니메이션은 임의의 음성 입력으로부터 동기화된 입술 움직임과 표현력 있는 얼굴 표정을 생성하는 것을 목표로 합니다. 그러나 기존 방법들은 제어 가능성과 적응성 측면에서 상당한 한계에 직면해 있습니다:

1. 경직된 스타일 제어: 현재 접근 방식들은 일반적으로 사전 정의된 신원 잠재 특징에 의존하거나 스타일 임베딩을 추출하기 위해 참조 비디오를 필요로 합니다. 이는 사용자가 특정 모션 시퀀스를 제공하지 않고도 말하기 스타일을 유연하게 제어할 수 있는 능력을 제한합니다.
2. 동적 적응 부재: 전체 오디오 구간 동안 고정된 스타일이나 신원을 적용하면 종종 음성의 역동적인 감정 내용에 적응하지 못하는 애니메이션이 생성됩니다.
3. 데이터 부족: 텍스트 기반 생성에 필요한 말하기 스타일과 감정에 대한 텍스트 설명을 제공하는 대규모 데이터셋이 부족합니다.

기존 솔루션들은 종종 보지 못한 신원이나 말하기 스타일에 일반화하는 데 어려움을 겪으며, 참조 비디오가 필요한 경우 최종 사용자에게 번거롭습니다.

방법론

저자들은 오디오와 텍스트 캡션으로부터 3D 머리 움직임을 생성하여 사실적이고 스타일화된 애니메이션의 실시간 합성을 가능하게 하는 CapTalk 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 데이터셋 구축: CapTalkingHead

데이터 격차를 해소하기 위해 저자들은 약 200 시간의 비디오 (24,441 개의 클립) 를 포함하는 대규모 데이터셋 CapTalkingHead를 구축했습니다.

• 주석 전략: 이전 데이터셋들이 신원 ID 에만 의존했던 것과 달리, 이 데이터셋은 스타일과 감정에 대한 자연어 주석을 사용합니다.
  • 감정: 오디오 언어 모델 (Qwen-Audio-Chat) 을 사용하여 오디오에서 추출되며, 사전 정의된 감정 세트 (예: 분노, 행복, 중립) 에 매핑됩니다.
  • 스타일: 비디오 언어 모델 (파인튜닝된 Qwen2.5-VL) 을 사용하여 비디오에서 추출됩니다. 모델은 배경 맥락을 무시하고 머리 모양, 입 열림 크기, 머리 움직임 진폭에 초점을 맞춥니다.
• 모션 데이터: 각 클립은 프레임 수준의 FLAME 모션 파라미터 (모양, 표정, 자세) 와 짝을 이룹니다.

2. 멀티스케일 코덱

저자들은 먼저 모션 공간의 이산적 표현을 생성하기 위해 코덱을 학습합니다.

• 아키텍처: 이진 구형 양자화를 갖춘 트랜스포머 기반 인코더 - 디코더.
• 프로세스: 모션 시퀀스는 잠재 공간으로 인코딩되어 이진, 멀티스케일 이산 코드 ($C_{lvl}$) 로 양자화됩니다. 양자화는 서로 다른 시간 스케일 (예: 1, 5, 25, 50, 100 프레임 길이) 에 걸쳐 잔차적으로 수행됩니다.
• 목적: 모델은 모션 정확도 ($L_1$), 메쉬 정점 오차 ($L_2$), 입술 영역 오차, 그리고 코드북 안정성 손실 ($L_{vq}$) 을 결합한 하이브리드 손실 함수를 최소화합니다.

3. 음성 - 모션 자기회귀 생성기

핵심 생성 모델은 시간 창과 코드 스케일 모두에서 작동하는 자기회귀 트랜스포머입니다.

• 입력: 모델은 구동 오디오, 스타일 텍스트 캡션 (비디오에서), 그리고 감정 텍스트 캡션 (오디오에서) 을 입력으로 받습니다.
• 특징 추출:
  • 오디오: 다국어 사전 학습 wav2vec2.
  • 텍스트: 스타일 및 감정 특징을 위한 T5 모델.
• 퓨전 메커니즘:
  • 오디오 컨디셔닝: 오디오 특징과 모션 코드 간의 정밀한 시간 정렬을 보장하기 위해 회전 위치 임베딩 (RoPE) 을 사용합니다.
  • 텍스트 컨디셔닝: 텍스트 특징은 크로스 어텐션 레이어를 통해 퓨전됩니다. 오디오와 달리 텍스트는 특정 프레임에 시간적으로 정렬되지 않으며, 대신 시간 창 내의 모든 코드 레벨에 균일하게 영향을 미쳐 전역 스타일 제어를 가능하게 합니다.
• 생성: 모델은 시간 창 내외에서 자기회귀적으로 모션 코드를 생성하며, 텍스트 설명이 변경되더라도 연속성을 유지하기 위해 과거 행동 정보를 활용합니다.

주요 기여

1. CapTalk 프레임워크: 참조 비디오 없이 텍스트 설명을 통해 말하기 스타일과 캐릭터 감정에 대한 직접적이고 세밀한 제어를 사용자에게 부여하는 최초의 모델.
2. CapTalkingHead 데이터셋: "인더와일드 (in-the-wild)"YouTube 비디오에서 파생된 말하기 스타일과 감정을 위한 풍부하고 다중 모달 주석이 포함된 첫 번째 대규모 3D 얼굴 모션 데이터셋의 공개.
3. 새로운 주석 파이프라인: 단일 모달리티만으로는 포착할 수 없는 전역적 스타일 설명 (입 진폭, 머리 움직임, 감정) 을 생성하기 위해 VLM 과 ALM 을 결합한 방법.

실험 결과

이 방법은 CapTalkingHead 테스트 분할과 MEAD 데이터셋에서 평가되었습니다.

정량적 성능

• 입술 동기화: CapTalk 은 Lip Vertex Error (LVE) 를 6.44로 달성하여 ARTalk (7.71) 및 DiffPoseTalk (11.38) 과 같은 베이스라인을 능가했습니다.
• 스타일 제어: 모델은 Mean Head Distance (MHD: 1.80), Face Dynamic Deviation (FFD: 25.14), Lip Open Dynamic Deviation (LODD: 58.27), Head Pose Dynamic Deviation (HPDD: 7.59) 을 포함한 스타일 제어 지표에서 우수한 성능을 보였습니다.
• 일반화: 모델이 학습되지 않았고 스타일 캡션 대신 감정 레이블만 받은 MEAD 데이터셋에서 CapTalk 은 경쟁력을 유지하며 8.07 의 LVE 를 달성하여 참조 행동 시퀀스를 사용하는 최첨단 방법과 비교 가능한 성능을 보였습니다.

정성적 평가 및 사용자 연구

• 시각적 품질: 정성적 비교는 특히 스트레스와 억양을 포착하는 데 표현 스타일, 입 역동성, 그리고 머리 움직임에서 그라운드 트루스와 더 나은 정렬을 보여주었습니다.
• 사용자 선호도: 쌍별 비교를 포함한 사용자 연구에서 CapTalk 은 입술 싱크 (일부 베이스라인 대비 최대 96% 선호도), 스타일 일관성, 표현 일관성, 그리고 자세 일관성 측면에서 베이스라인보다 선호되었습니다.
• 애블레이션: 텍스트 캡션을 제거하면 스타일 제어 지표 (FFD, LODD, HPDD) 에서 성능이 크게 저하되어 표현적 제어를 위한 텍스트 안내의 필요성이 확인되었습니다. 모션 진폭을 제어하는 데 있어 스타일 캡션이 감정 캡션보다 더 중요하다는 사실이 밝혀졌습니다.

중요성과 주장

이 논문은 CapTalk 이 음성 기반 3D 애니메이션을 더 접근 가능하고 제어 가능하게 만드는 중요한 진전이라고 주장합니다. 신원 기반 또는 참조 비디오 기반 제어에서 텍스트 기반 제어로 전환함으로써, 이 프레임워크는 다음과 같은 가능성을 제공합니다:

• 유연한 스타일 조작: 사용자는 자연어를 사용하여 추론 중 캐릭터의 말하기 스타일과 감정을 역동적으로 변경할 수 있습니다.
• 확장성: 모델은 추가 학습 데이터나 참조 비디오 없이 보지 못한 신원과 스타일에 일반화됩니다.
• 실시간 합성: 자기회귀 접근 방식은 동기화되고 표현력 있는 애니메이션의 실시간 생성을 지원합니다.

저자들은 CapTalk 을 가상 아바타, 언어 훈련, 게임/영화 애니메이션 응용 분야의 기초적인 솔루션으로 위치시키면서, 완전한 연속 모션 생성과 문화적 맥락 이해의 한계를 향후 과제로 인정합니다.