Using embeddings to predict spoken word duration and pitch in Mandarin monosyllabic words

기술 요약: 임베딩을 이용한 만다린어 단음절 단어의 발화 지속 시간 및 피치 예측

문제 제기
발화 지속 시간(spoken word duration) 및 기본 주파수($f_0$) 윤곽선과 같은 운율적 특성은 인접 단어, 발화 속도, 화자의 감정 등 복잡한 요인들의 영향을 받는다. 선행 연구에서는 분포 의미론적 임베딩을 통해 조작된 단어 의미가 영어 동음이의어의 지속 시간과 만다린어의 $f_0$ 윤곽선 형태를 예측할 수 있음을 입증하였다. 그러나 특정 발화 맥락 내에서 특정 단어 토큰의 의미를 근사하는 **문맥화된 임베딩(Contextualized Embeddings, CEs)**이 만다린어의 발화 지속 시간을 예측할 수 있는지, 그리고 이러한 예측이 단순히 정규화된 시간이 아닌 실시간(밀리초 단위) 수준에서 $f_0$ 윤곽선을 재구성할 만큼 정밀한지는 여전히 불분명했다.

연구 방법론
본 연구는 분절적 효과를 통제하기 위해 102개의 단음절 CV 단어(종성이나 활음이 없는 모음 /a, i, u, @/)로 구성된 7,470개 토큰의 **대만 만다린어 자발 화법 코퍼스(Taiwan Mandarin Spontaneous Speech Corpus)**를 활용하였다.

1. 데이터 준비:

   • 문맥화된 임베딩은 코퍼스 발화에 적용된 GPT-2(구체적으로 ckip-transformers 중국어 기반 모델)를 사용하여 생성되었으며, 그 결과 $7,476 \times 768$ 행렬($S$)이 도출되었다.
   • 대상 변수는 모음 지속 시간($C_v$), 단어 지속 시간($C_w$), 그리고 시간 정규화된 $f_0$ 윤곽선($C_p$)으로 추출되었다.
   • 극도로 짧은 지속 시간이나 옥타브 점프가 나타나는 토큰을 제거한 후, 6,118개 토큰(93개 단어 유형)의 하위 집합을 피치 윤곽선 분석에 사용하였다.

2. 모델링 접근 방식:

   • 본 연구는 판별적 어휘 모델(Discriminative Lexion Model, DLM) 프레 most framework를 채택하였다. 임베딩으로부터 지속 시간과 윤곽선을 예측하기 위해 방정식 $SW_v = C_v$, $SW_w = C_w$, $SW_p = C_p$를 해결함으로써 선형 사상($W$)을 추정하였다.
   • 검증: 10-겹 교차 검증(10-fold cross-validation)을 사용하였다.
   • 베이스라인: 예측이 우연에 의한 것이 아님을 보장하기 위해 두 가지 순열 베이스라인(permutation baselines)을 구현하였다:
     • 전역 베이스라인(Global Baseline): 모든 토큰에 걸쳐 단어 식별자를 무작위로 치환하여 형태와 의미 사이의 연결을 완전히 끊었다.
     • 유형별 베이스라인(Type-wise Baseline): 각 단어 유형 내에서 임베딩을 무작위로 치환하였다. 이는 토큰별 임베딩이 동일한 유형의 다른 토큰보다 토큰별 지속 시간을 더 잘 예측하는지 테스트한다.

3. 실시간 재구성:

   • 예측된 $f_0$ 윤곽선은 정규화된 시간에 예측된 단어 지속 시간을 곱함으로써 실시간(ms)으로 역변환되었다.
   • 정확도는 관찰된 윤곽선과 예측된 윤곽선 사이의 거리를 측정하는 **동적 시간 워핑(Dynamic Time Warping, DTW)**을 사용하여 평가되었다.

주요 결과

• 지속 시간 예측: 문맥화된 임베딩은 우연 수준 이상으로 모음 및 단어 지속 시간을 유의미하게 예측하였다.
  • 훈련 데이터: 경험적 상관계수는 0.535(모음) 및 0.557(단어)이었으며, 전역 및 유형별 순열 베이스라인을 유의미하게 상회하였다 ($p < 0.0001$).
  • 홀드아웃 데이터(Held-out Data): 경험적 상관계수는 각각 0.366(모음), 0.399(단어)로 여전히 유의미했으며 베이스라인보다 우수하였다.
  • 토큰 수준의 유의성: 결정적으로, 경험적 결과는 유형별 순열 베이스라인보다 높은 성능을 보였다. 이는 의미와 음성적 실현이 단어 유형 수준뿐만 아니라 개별 토큰 수준에서도 서로 얽혀 있음을 나타낸다.
• 피치 윤곽선 예측:
  • 임베딩은 전역 베이스라인보다 정규화된 시간에서의 $f_0$ 윤곽선 형태를 유의미하게 더 잘 예측하였다.
  • 그러나 유형별 베이스라인이 피치 형태에 대해 경험적 결과와 비슷하거나 더 나은 성능을 보였는데, 이는 토큰별 의미가 단어 유형 수준 이상의 피치 형태 예측력을 더하지 못함을 시사한다.
• 실시간 윤곽선: 예측된 형태와 지속 시간을 결합하여 실시간 $f_0$ 윤곽선을 생성했을 때, 경험적 예측은 순열 기반 예측보다 유의미하게 더 정확했다(더 짧은 DTW 거리). 그러나 저자들은 모델링되지 않은 운율적 요인(예: 화자 정체성, 국소적 발화 속도)으로 인해 이러한 예측이 여전히 정밀하지 않다고 언급하였다.

의의 및 주장
본 논문은 문맥화된 임베딩이 만다린어의 발화 지속 시간을 토큰 수준에서 예측할 수 있음을 입증함으로써 영어 동음이의어 및 만다린어 피치에 관한 기존 연구를 확장한다고 주장한다.

• 독창성: 주요 기여는 지속 시간의 경우, 의미와 음성적 실현이 개별 토큰 수준에서도 서로 얽혀 있다는 증거를 제시한 것이다. 이는 피치 윤곽선의 경우 신호가 단어 유형 수준에서 더 강하게 나타나는 것과 대조된다.
• 실행 가능성: 본 연구는 임베딩 유래 지속 시간 예측이 정규화된 피치 윤곽선을 경험적 데이터에 더 가깝게 근사하는 실시간 윤곽선으로 역변환할 수 있을 만큼 충분히 정밀하다는 것을 보여준다.
• 한계 및 범위: 저자들은 임베딩이 "평균적이고 화자 독립적인" 추정치를 포착한다는 점을 겸허히 인정하였다. 화자 정체성, 감정 상태, 국소적 발화 속도와 같은 요인들은 임베딩에 강력하게 표현되지 않으며, 이는 실시간 예측의 정밀도를 제한한다. 본 연구는 이러한 운율적 요인을 포함하는 모델을 대체하려는 것이 아니라, 의미적 맥락 자체의 기초적인 예측력을 확립하는 데 목적이 있다.
• 이론적 함의: 결과는 의미와 음성적 세부 사항이 이전에 가정했던 것보다 정신적 어휘집(mental lexicon) 내에서 더 깊게 얽혀 있다는 견해를 지지하며, 운율이 오직 비의미적 요인에 의해서만 통제된다는 관점에 도전한다.