Pairwise Evaluation of Accent Similarity in Speech Synthesis

기술 요약: 음성 합성에서의 억양 유사성에 대한 쌍체 평가(Pairwise Evaluation)

문제 제식
포용적인 음성 기술을 위한 고충실도 억양 생성에 대한 관심이 높아지고 있음에도 불구하고, 억양 유사성 평가에 대한 연구는 미흡하며 합의된 기준 또한 부족한 실정이다. 기존의 주관적 방법들은 억양이 1차원적 강도 척도에 존재하거나 순수하게 범주적이라고 잘못 가정하는 참조 없는(reference-free) 평가에 의존하는 경우가 많다. 자연스러움 평가에서 빌려온 참조 기반 방법들(예: XAB, XMOS)은 억양 유사성을 위해 구체적으로 검증되지 않았다. 또한, 객관적 평가는 종종 단어 오류율(WER)이나 억양 식별(AID) 모델의 임베딩과 같은 대리 지표에 의존하는데, 이는 억양 편향(accent bias)을 겪을 수 있으며 소외된 억양을 정확하게 나타내지 못할 수 있다.

방법론
저자들은 주관적 및 객관적 평가 프레임워크를 개선하기 위해 이중 접근 방식을 제안한다.

• 주관적 평가 (개선된 XAB 테스트):
  본 연구는 더 적은 수의 청취자로 통계적 유의성을 높이기 위해 표준 XAB 리스닝 테스트(참조와 가장 유사한 억양을 가진 후보 음성을 선택하는 방식)를 세 가지 특정 구성 요소로 강화하였다:

  1. 전사 제공 (Transcription Provision): 청취자가 발음의 세부 사항에 집중할 수 있도록 텍스트 전사본을 제공한다.
  2. 하이라이트 작업 (Highlighting Task): Rapid Prosody Transcription에서 영감을 얻어, 청취자가 억양 차이에 대한 결정에 영향을 미친 특정 음성 구간을 전사본에서 하이라이트하도록 요청한다.
  3. 철저한 스크리닝 (Meticulous Screening): 두 단계의 스크리닝 과정을 통해 유효하지 않은 제출물을 필터링한다: (a) 알려진 억양 유사성을 가진 음성 샘프를 이용한 주의력 확인 질문, (b) 참조 억양의 특정 국가나 도시를 식별하도록 요구하는 개방형 질문.

• 객관적 평가 (발음 관련 지표):
  저자들은 일반적인 명료도나 화자 확인만을 넘어 음성적 정체성(phonetic identity)에 기반한 지표를 활용할 것을 제안한다:

  1. 모음 포먼트 거리 (Vowel Formant Distance, VF RMSE): Montreal Forced Aligner와 Fast Track 추정을 통해 추출된 모음의 제1 및 제2 포먼트(F1 & F2) 사이의 평균 제곱근 오차(RMSE)를 계산한다.
  2. 음성 후행도 거리 (Phonetic Posteriorgram (PPG) Distance): PPG 상의 동적 시간 워핑(DTW) 정렬을 사용하여 발음 거리를 측정한다. 저자들은 코사인 유사도와 젠슨-샤논(Jensen-Shannon) 거리를 비용 함수로 사용하며, 결과가 General American 음소 쪽으로 편향될 수 있는 정규화를 명시적으로 피한다.
  3. 비교 베이스라인: 본 연구는 AID/화자 확인 임베딩의 코사인 유사도, WER/CER, UTMOS(자연스러움), 그리고 Mel Cepstral Distortion (MCD)을 포함한 표준 지표들도 함께 평가한다.

실험 설정

• 자극물 (Stimuli): 영어 TTS에서 소외된 변이형인 에든버러(Edinburgh) 억양을 특징으로 하는 VCTK 코퍼스(Rainbow passage)의 발화.
• 시스템: 그라운드 트루스 재구성 모델(copysyn), 제로샷 TTS 시스템(xtts), 그리고 타겟 억양에 대한 파괴적 망각(catastrophic forgetting)을 유도하기 위해 xtts를 General American 코퍼스로 미세 조정하여 만든 일련의 "오염된" 시스템들(corrupt30k ~ corrupt150k).
• 청취자: Prolific을 통해 모집된 에든버러 억양의 원어민.

주요 결과

• 주관적 결과: 개선된 XAB 테스트 설계는 일반적인 XAB 테스트보다 성능이 크게 우수했다.
  • 표준 XAB 테스트는 copysyn과 xtts를 구분하는 데 실패했다 (선호도가 50% 근처이며 높은 p-값).
  • 전사 추가(+trans) 및 스크리닝(+screen)을 더했을 때 통계적 유의성을 확보했다 (p < 0.05).
  • 가장 효과적인 설계인 XAB+trans+highlight+screen은 올바른 시스템에 대해 가장 높은 선호도(64.1%)를 달성했으며, 단 5개의 유효한 제출물만으로도 통계적 유의성에 도달하여 높은 효율성을 입증했다.
  • 하이라이트 작업은 완료 시간을 거의 두 배로 늘렸으나, 참여자 풀이 제한적인 억양을 평가하는 데 효과적임이 증명되었다.
• 객관적 결과:
  • 발음 지표: 모음 포먼트 RMSE, PPG 거리, 그리고 AID/SV 임베딩의 코사인 유사도는 가설로 세운 시스템 순위와 강한 상관관계(Spearman Rank Correlation Coefficient > 0.85)를 보였다.
  • 표준 지표의 한계: WER과 CER은 낮은 상관관계와 잠재적 편향을 보였다 (예: copysyn이 그라운드 트루스 재구성이었음에도 불구하고 xtts보다 순위가 낮게 측정됨). UTMOS와 F0 지표 또한 약한 상관관계를 보였는데, 이는 훈련 데이터의 억양 편향이나 오염의 특이성 때문인 것으로 보인다.
  • 시각적 검증: 포먼트 분포 플롯은 copysyn이 그라운드 트루스의 모음 공간을 유지하는 반면, xtts는 명확한 불일치를 보임을 확인시켜 주었으며, 이는 VF RMSE 지표를 검증한다.

의의 및 주장
본 논문은 다음을 제공함으로써 음성 합성 평가의 중요한 공백을 메운다고 주장한다:

1. 신뢰할 수 있는 주관적 프로토콜: 더 적은 자원으로 더 높은 통계적 유의성을 달리는 개선된 XAB 프레임워크를 제공하여, 소외된 억양을 평가하는 것을 가능하게 한다.
2. 강건한 객관적 지표: 발음 특화 지표(모음 포먼트 및 PPG)가 억양 생성(특히 소외된 변이형)을 평가하는 데 있어 표준 명료도 지표(WER/CER)보다 우수하다는 증거를 제시한다.
3. 주의를 요하는 발견: 본 연구는 억양 편향으로 인해 WER 및 UTMOS와 같은 일반적인 지표가 소외된 억양을 평가할 때 가질 수 있는 심각한 한계를 강조하며, 더 포용적인 평가 프레임워크로의 전환을 촉구한다.

저자들은 억양 생성 평가를 위해 발음 관련 지표, 억양/화자 유사성, 그리고 오디오 품질 지표의 조합이 실행 가능한 경로를 제공한다고 결론짓는 동시에, 이 특정 목적을 위해 WER, CER, UTMOS를 사용하는 것을 명시적으로 권고하지 말 것을 제안한다. 향후 연구로는 더 넓은 억양 변이와 대안적인 테스트 설계를 탐구하는 것이 제안된다.