From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation

기술 요약: 토큰에서 얼굴까지

문제 정의
음성 기반 3D 안면 애니메이션을 위해서는 시계열 디코더를 구동하기 위한 적절한 음성 표현을 선택해야 한다. 최근의 최첨단(SOTA) 시스템들은 주로 자기지도 학습(SSL) 모델(예: wav2vec 2.0, HuBERT)로부터 추출된 연속적인 은닉 표현에 의존하고 있으나, 정확하고 자연스러운 안면 애니메이션을 위해 음성 표현의 구체적으로 어떤 속성이 필요한지는 여전히 불분명하다. 또한, 이 작업에 대한 이산적 음성 표현(토큰)의 적합성은 거의 탐구되지 않았다. 기존의 이산적 접근 방식은 대개 하이브리드 의미-음향 표현(예: SpeechTokenizer)을 활용하지만, 3D 안면 합성을 위해 완전한 음향적, 완전한 의미적, 또는 레이블 기반의 이산적 표현을 연속적인 SSL 베이스라인과 체계적으로 비교한 연구는 부재하다.

방법론
저자들은 두 가지 시계열 안면 디코더 아키텍처에 걸쳐 네 가지 서로 다른 음성 표현 계열을 평가하는 비교 실험 프레임워크를 제시한다:

1. 음성 인코더:
   • HuBERT (HB): 연속적인 SSL 표현 (의미적).
   • SpeechTokenizer (ST): 의미적 증류(HuBERT)와 음향 잔차 벡터 양자화(Residual Vector Quantization)를 결래한 하이브리드 표현 (의미+음향).
   • WavTokenizer (WT): 음향 재구성에 집중한 고도로 압축된 단일 코드북 표현 (음향적).
   • CosyVoice2 (CV2): 문자 및 운율 레이블을 사용하는 자동 음성 인식(ASR) 사전 학습 과제로 훈련된 지도 학습 인코더 (레이블 기반).
2. 안면 디코더:
   • GRU: 프레임 단위의 순환 신경망 (FaceDiffuser 베이스라인에 사용됨).
   • Transformer: 셀프 어텐션을 통해 전체 시퀀스를 처리하는 비인과적(non-causal) 아키텍처.

모델들은 BEAT2 데이터셋(FLAME 파라미터와 정렬된 27시간의 영어 음성, 51차원 ARKit 블렌드셰이프로 변환됨)을 사용하여 훈련되었다. 인코더는 사전 훈련된 가중치를 사용하여 동결되었으며, 디코더는 처음부터 훈련되었다.

평가 전략
본 연구는 다각적인 평가 방식을 채택하였다:

• 객관적 지표: 기하학적 정확도를 위한 입술 정점 오차(Lips Vertex Error, LVE), 시간적 매끄러움(가속도)을 위한 지터 점수(Jitter Score), 그리고 양순음(/b/, /p/, /m/) 동안의 조음 정확도를 측정하기 위한 새로운 양순 폐쇄 점수(Bilabial Closure Score, BCS).
• 지각 평가: 30명의 참가자가 참조 영상 대비 애니메이션의 사실성과 입술-음성 일치성을 평가하는 MUSHRA 방식의 프로토콜.
• 프로빙 분석(Probing Analyses): 표현의 정보 함량을 이해하기 위해 저자들은 다음을 수행하였다:
  • 음성학적 프로빙(Phonetic Probing): 토큰 ID와 음소 레이블 간의 공생 엔트로피(co-occurrence entropy) 측정.
  • 비지음 프로빙(Viseme Probing): 토큰 ID와 이산화된 안면 포즈(비지음) 간의 공생 엔트로피 측정.
  • 연속 프로킹(Continuous Probing): Ridge 회귀를 사용하여 토큰 시퀀스로부터 연속적인 블렌드셰이프 값을 예측 ($R^2$ 지표 사용).

주요 결과

• 성능: 레이블 기반 표현(CosyVoice2)과 Transformer 디코더([CV2+T.])의 조합이 가장 우수한 객관적 점수를 기록했으며, 의미적 베이스라인(HuBERT + GRU)과 지각적으로 구별할 수 없는 수준의 성능을 보였다.
• 디코더의 영향: 이산적 표현은 GRU와 결합했을 때보다 Transformer 디코더와 결합했을 때 유의미하게 더 나은 성능을 보였다. 반대로, 연속적인 HuBERT 표현은 두 디코더 모두에서 동등한 성능을 나타냈다.
• 하이브리드의 한계: 의미+음향 표현(SpeechTokenizer)은 만족스러운 안면 애니메이션을 제공하지 못했으며, 순수 음향적 표현과 유사한 성능을 보였다. 이는 낮은 구조를 가진 음향 정보가 존재하더라도 음성학적 정보가 포함되어 있다면, 해당 음향 정보가 안면 예측에 해로울 수 있음을 시사한다.
• 프로빙 통찰:
  • 음성학적 인코딩: 의미+음향 표현이 음소 클래스를 가장 효율적으로 인코딩했으며, 그 뒤를 의미적, 레이블 기반, 음향적 표현이 이었다.
  • 비지음/연속적 인코딩: 레이블 기반 표현이 이산적 비지음과 가장 강한 상관관계를 보였다. 그러나 모든 토큰화된 표현은 연속적인 표현에 비해 연속적인 블렌드셰이프를 예측하는 데 있어 낮은 $R^2$ 점수를 보였으며, 이는 이산적 토큰을 연속적인 움직임으로 매핑하는 본질적인 어려움을 반영한다.
• 상관관계: 지각적 평가는 전통적인 재구성 지표인 LVE보다 양순 폐쇄 점수(BCS)와 더 밀접하게 상관되었다.

핵심 기여

1. 체계적 비교: 3D 안면 애니메이션을 위한 두 가지 디코더 아키텍처에 걸쳐 네 가지 음성 표현 계열(의미적, 의미+음향적, 음향적, 레이블 기반)을 종합적으로 평가하였다.
2. 프로빙 분석: 토큰화된 표현을 음성 단위 및 조음 변형(비지음 및 블렌드셰이프)에 연결하는 조사를 수행하여, 음성학적 클래스 인코딩이 유익하지만 저구조 음향 데이터의 오염이 없어야 한다는 점을 밝혀냈다.
3. AVTTS 파이프라인: 개념 증명 단계인 오디오-비주얼 텍스트 음성 변환(AVTTS) 파이프라인을 도입하였다. TTS 시스템(CosyVoice2와 같은)이 이미 이산적 토큰을 생성한다는 점을 활용하여, 저자들은 단일 공유 토큰 시퀀스가 음성 오디오와 3D 안면 모션을 동시에 디코딩할 수 있는 통합 프레임워크를 입증하였으며, 이를 통해 별도의 오디오 구동 애니메이션 단계를 제거하였다.

의의
본 논문은 음성학적 클래스 정보가 저구조 음향 데이터에 의해 오염되지 않는다는 전제하에, 정확한 안면 애니메이션을 위한 필수 조건임을 주장한다. 또한 레이블 기반 이산 표현이 확립된 SSL 연속 베이스라인과 경쟁 가능하다는 것을 보여준다. 나아가, 본 연구는 이산적 음성 토큰이 음성과 안면 합성을 위한 공유 잠재 공간(shared latent space) 역할을 할 수 있음을 입증하며, 기존의 2단계(텍_스트 $\to$ 오디오 $\to$ 얼굴) 패러다임을 우회하는 통합 멀티모달 생성 파이프라인의 길을 열었다.