기술 요약: DuoGesture

문제 제기

현재 공발화(co-speech) 제스처 생성 모델들은 대부분 모든 제스처를 동질적인 확률 과정으로 취급하는 전체적 단일 스트림 아키텍처에 크게 의존합니다. 저자들은 이 접근법이 세 가지 지속적인 한계를 겪고 있다고 주장합니다:

1. 정렬 불일치: 제스처 타이밍과 발화 억양 (prosody) 간의 동기화가 부족합니다.
2. 약한 의미적 기반: 순수한 언어 임베딩 (예: BERT, FastText) 에 대한 의존성은 "의미적 격차"를 만들어냅니다. 여기서 텍스트 표현은 특히 긴 꼬리 (long-tailed) 어휘적 트리거에 필요한 운동 형태 (kinematic morphology) 를 포착하지 못합니다.
3. 생체 역학적 불일치: 리듬적이고 억양에 정렬된 비트 (beat) 제스처는 물리적 또는 생체 역학적 제약 없이 학습되기 때문에 종종 떨림 (jitter) 이나 과도한 평활화 (over-smoothing) 를 보입니다.

본 논문은 공발화 제스처가 의미적 제스처(어휘 기반, 희소, 의미 전달) 와 비트 제스처(억양 정렬, 빈번, 리듬적) 라는 두 가지 구별되지만 결합된 과정의 상호작용으로 모델링되어야 한다고 가정합니다.

방법론: DuoGesture

DuoGesture 는 운동 생성을 결합된 의미 및 비트 스트림으로 분해하고, 확률적 프레임 단위 게이트에 의해 조정되는 신경학적 영감을 받은 이중 스트림 잠재 생성기입니다. 아키텍처는 두 단계로 작동합니다:

1 단계: 지역적 RVQ-VAE 토크나이저

동결된 지역적 잔류 벡터 양자화 VAE(RVQ-VAE) 가 운동을 네 가지 신체 영역 (손, 상체, 하체, 얼굴) 에 대한 이산적 잠재 코드로 토큰화합니다. 이 단계는 생성 단계 동안 고정되어 구조화된 저차원 잠재 공간에서 작동하도록 유지됩니다.

2 단계: 이중 스트림 생성기

핵심 기여는 세 가지 새로운 구성 요소를 사용하여 비트와 의미 운동을 분리하고 융합하는 생성기입니다:

1. 운동 기반 의미 조건부 (MGSC):

   • 목표: 표준 텍스트 임베딩을 운동 정렬 의미 사전 지식으로 대체하여 언어 - 운동 격차를 해소합니다.
   • 메커니즘: MGSC 는 크로스 어텐션을 통해 세 가지 입력을 융합합니다:
     • $e_s$: 프레임 단위 단어 임베딩 (FastText).
     • $e_m$: 발화 수준 운동 스타일 임베딩.
     • $e_\epsilon$: 감정 임베딩.
   • 운동 스타일 및 감정 임베딩은 메모리 $m$으로 혼합되며, 단어 임베딩이 이를 쿼리하여 운동 기반 의미 특징 $S_m$을 생성합니다. 이는 희소하고 긴 꼬리 어휘적 트리거에 대한 더 나은 단서를 제공합니다.

2. 의미 변분 정보 병목 (S-VIB):

   • 목표: 의미 제스처가 비트 운동을 언제 대체해야 하는지 결정하는 확률적 프레임 단위 게이트로 작용하여 "게이트 붕괴"(모델이 항상 켜거나 항상 꺼짐으로 기본화되는 현상) 를 방지합니다.
   • 메커니즘: S-VIB 는 의미 특징 $S_m$(무엇) 과 저용량 HuBERT 타이밍 프로젝션 $\hat{e}_a$(언제) 를 입력으로 받습니다. 정보 이론적 병목 헤드를 통해 이를 잠재 분포로 매핑합니다. 확률적 샘플 $z$가 추출되어 잠재 희소성 해석기를 통과하여 프레임 단위 의미 확률 $\Psi \in [0, 1]$을 출력합니다.
   • 정규화: 자유 비트 (free-bits) 바닥을 가진 KL-발산 손실은 병목이 과도한 정규화 없이 의미 신호를 위한 용량을 유지하도록 보장합니다.

3. 관성 비트 사전 (IBP):

   • 목표: 의미 프레임을 제약하지 않으면서 비트 제스처의 리듬적 일관성을 보장하고 떨림을 줄입니다.
   • 메커니즘: 비트 스트림의 상체 및 손 잠재에만 적용되는 훈련 시간 정규화제입니다. 인체 측정학적 가중치가 부여된 팔 사슬 손실을 사용하여 일정 속도 운동에서의 편차를 패널티로 부과합니다.
   • 가중치: 손실 가중치 $\tau_{j,t}$는 De Leva 의 인체 측정학적 세그먼트 질량과 S-VIB 게이트 $(1-\Psi_t)$에서 유도됩니다. 이는 사전이 비트 프레임 동안에는 활성화되지만 의미 프레임 동안에는 비활성화되도록 보장합니다.

융합

비트 스트림 ($Z^b_r$) 과 의미 스트림 ($Z^s_r$) 은 게이트 $\Psi$를 사용하여 프레임 단위로 혼합됩니다:
$$Z_r = (1 - \Psi)\hat{Z}^b_r + \Psi\hat{Z}^s_r$$
결과적으로 융합된 잠재 변수는 RVQ 코드북에서 최근접 이웃 조회를 통해 양자화되고 관절 공간으로 디코딩됩니다.

주요 기여

1. 이중 스트림 공식화: 어휘 기반 의미 운동과 억양 정렬 비트 운동을 결합되지만 구별된 과정으로 취급하는 모델로, 동질적 생성기의 한계를 해결합니다.
2. MGSC: 희소 어휘적 트리거에 대한 의미 단서를 개선하기 위해 사전 훈련된 텍스트 - 운동 표현을 활용하는 조건부 모듈로, 언어 - 운동 격차를 해소합니다.
3. IBP: 추론 오버헤드 없이 리듬적 일관성을 개선하고 비트 운동 떨림을 줄이는 인체 측정학적 가중 팔 사슬 정규화제입니다.
4. S-VIB: 결정론적 게이트 붕괴를 피하고 운동 다양성을 유지하면서 적절한 순간에 의미 스트림을 활성화하도록 학습하는 확률적 게팅 메커니즘입니다.
5. 실증적 검증: BEAT2 벤치마크에서의 실증으로, 경쟁력 있는 정렬, 다양성 및 얼굴 운동 지표를 유지하면서 향상된 분포적 현실성 (FGD) 을 보여줍니다.

결과

저자들은 단일 화자 및 다중 화자 설정 모두에서 BEAT2 데이터셋에 DuoGesture 를 평가했습니다.

• 정량적 성능:

  • 분포적 현실성 (FGD): DuoGesture 는 두 설정 모두에서 가장 낮은 프라체트 제스처 거리 (FGD) 를 달성했습니다 (단일 화자 4.101, 전체 화자 4.081). SemTalk 및 PyraMotion 과 같은 강력한 베이스라인을 능가했습니다.
  • 트레이드오프: 일부 베이스라인은 더 높은 비트 정렬 (BA) 또는 다양성 점수를 달성했지만, 이는 훨씬 더 나쁜 FGD 를 대가로 치렀습니다. DuoGesture 는 파레토 프론티어에서 가장 "현실성 선호" 지점에 위치하여 균형 잡힌 트레이드오프를 제공합니다.
  • 어블레이션 연구: MGSC 를 제거하면 FGD 가 가장 크게 증가 (+0.722) 하여 운동 기반 조건부의 중요성이 확인되었습니다. IBP 를 제거하면 비트 정렬이 크게 감소했으며, S-VIB 를 결정론적 게이트로 교체하면 다양성이 감소했습니다.

• 주관적 평가:

  • 30 명의 참가자가 참여한 사용자 연구에서 DuoGesture 는 자연스러움, 운동 다양성, 발화 내용과의 정렬 측면에서 SemTalk 및 EMAGE 보다 높은 평가를 받았습니다.
  • 정성적 분석에 따르면, DuoGesture 는 베이스라인에 비해 의미 구절에 대해 더 명확한 팔 궤적을 생성하고 비트 구절에 대해 시간적으로 일관된 리듬 운동을 생성했습니다.

중요성 및 주장

본 논문은 의미적 및 비트 제스처 간의 기능적 분리를 명시적으로 모델링함으로써 공발화 제스처 생성에 더 효과적인 설계를 제공한다고 주장합니다. 운동 기반 의미 조건부, 확률적 스트림 선택, 생체 역학적 정규화를 통합함으로써, 모델은 의미적 표현력과 리듬적 부드러움 사이의 우수한 균형을 달성합니다.

저자들은 그들의 접근 방식이 제스처 처리에 대한 분리 가능하지만 상호작용하는 네트워크에 관한 인지 신경과학 연구 결과에 영감을 받았음을 지적합니다. 그들은 이 방법이 텍스트의 약한 사전 지식으로 인한 "의미적 격차"와 물리적 제약의 부재로 인한 "비트 격차"를 동시에 해결한다고 강조합니다.

한계 및 향후 작업:
저자들은 데이터셋의 한계로 인해 다른 언어, 문화, 상호작용 설정으로의 일반화는 테스트되지 않았다고 겸손하게 인정합니다. 또한 MGSC 는 사전 훈련된 텍스트 - 운동 인코더의 편향에 의존하며, IBP 는 현재 팔 사슬 역학으로 제한되어 전체 신체 제스처나 객체 상호작용을 포착하지 못한다고 지적합니다. 향후 작업은 교차 데이터셋 일반화와 생체 역학적 사전 지식 확장에 초점을 맞추는 것이 제안됩니다.