Towards a Phonology-Informed Evaluation of Multilingual TTS

기술 요약: 다국어 TTS의 음운론적 정보를 반영한 평가를 향하여

문제 정의
현재 신경 텍스트 음성 변환(Neural TTS) 시스템의 평가 패러다임은 평균 의견 점수(MOS)와 단어 오류율(WER) 같은 자동 음성 인식(ASR) 지표에 크게 의존하고 있다. 이러한 지표들은 인지된 자연스러움이나 명료성을 평가할 수는 있지만, 시스템이 단어나 문법 형을 구별하는 음운론적 대립(contrast)을 보존하지 못해 발생하는 체계적인 음운론적 오류를 감지하는 데는 실패한다. 저자들은 시스템이 높은 MOS 점수를 기록하면서도, 모음 조화와 같이 언어의 문법에 의해 규정된 음운론적 대립을 중화시키거나 잘못 배치할 수 있다고 주장한다. 기존의 진단 방법은 드물며, 특히 다국어 시스템의 경우 더욱 그러하며, 이는 TTS 출력이 대상 언어의 특정 음운 패턴을 준수하는지 평가하는 데 공백을 남긴다.

방법론
본 논문은 인간의 음성을 벤치마크로 사용하여, 언어 특유의 음운론적 패턴에 대해 TTS 출력을 감사(audit)하기 위한 분류기 기반 프레임워크를 제 제안한다. 본 연구는 아삼어(Assamese)의 전설 모음(Advanced Tongue Root, ATR) 모음 조화에 초점을 맞춘다. 이는 접사 모음이 어간 모음에 조화를 유발하여 어떤 모음의 질이 공존할 수 있는지를 제한하는 문법 규칙이다.

방법론은 다음과 같은 2단계 평가 파이프라인을 포함한다:

1. 데이터 수집 및 준비:

   • 인간 벤치마크: 14명의 아담어 원어민으로부터 음성을 녹음, 분절 및 정규화(Lobanov normalization)하여 음향 특징(F1, F2, F3, B1, 지속 시간, 모음 높이, 후설성)을 추출하였다.
   • TTS 데이터셋: Meta의 대규모 다국어 음성(MMS) TTS 모델을 사용하여 동일한 대상 단어들을 합성하였다. 데이터셋은 동일한 음향 측정 프로토콜로 처리되었다.
   • 레이블: 토큰에 이진 ATR 레이블([+ATR], [-ATR])과 조화 범주(예: AgrYesMixNo, AgrYesMixYes, AgrNoMixYes)를 할당하였다.

2. 태스크 1: 모음 수준 ATR 분류 (교차 도메인 전이):

   • 로지스틱 회귀(LR) 및 랜덤 포레스트(RF) 분류기를 사용하여 인간의 음성 특징으로부터 ATR 클래스를 예측하도록 학습시켰다.
   • 모델은 네 가지 전이 방향(Human→Human (H→H), Human→TTS (H→TTS), TTS→TTS, TTS→Human)으로 테스트되었다.
   • 목표: 인간으로부터 학습된 음향-음운 매핑이 유의미한 정확도 손실 없이 합성 음성으로 전이되는지 확인하여, 음향 구조의 괴리 여부를 판단하는 것이다.

3. 음운론적 충실도 감사(Phonological Faithfulness Audit):

   • 프레임워크는 '골드(gold)' ATR 레이블(음운 전사로부터 얻은 값)을 인간의 음성에서 학습된 분류기가 예측한 ATR 레이블과 비교한다.
   • 지표: 과잉 생성(underlying [-ATR]에 대해 [+ATR]로 예측)과 과소 생산(underlying [+ATR]에 대해 [-ATR]로 예측)을 구분하여 불일치율을 계산한다.

4. 태스크 2: 단어 수준 조화 분류:

   • 랜덤 포레스트 분류기가 집계된 모음 특징을 사용하여 단어 수준의 조화 범주를 예측한다.
   • 연구는 의도된 음운 구조와 생성된 음향 사이의 간극을 측정하기 위해, 골드 ATR 레이블을 사용했을 때와 예측된 ATR 레이블(태스크 1에서 도출됨)을 사용했을 때의 성능을 비교한다.

주요 결과

• 교차 도메인 전이: 선형 분류기(LR)는 인간에서 TTS로 전이될 때 높은 정확도(약 82%)를 유지하여 안정적인 음향-ATR 매핑을 보여주었다. 그러나 비선형 분류기(RF)는 상당한 하락(90.5% H→H 대비 74.7% H→TTS)을 보였는데, 이는 인간 음성의 복잡하고 화자 조건적인 경계가 단일 합성 음성에는 잘 일반화되지 않음을 나타낸다.
• 충실도 감사:
  • 인간 음성: 균형 잡힌 과잉 생성 및 과소 생산 오류와 함께 대칭적인 불일치율(0.185)을 보였다.
  • TTS (MMS): 뚜렷한 방향성 편향을 보였다. 전체 불일치율은 약간 낮았으나(0.164), 오류는 과소 생산 쪽으로 심하게 치우쳐 있었다(7:1 비율). 구체적으로, 기저의 [+ATR] 중모음(/e/ 및 /o/)이 인간 학습 분류기에 의해 [-ATR]로 빈번하게 오분류되었다.
  • 음향적 증거: 스펙트로그램 분석 결과, TTS에서 /e/와 /o/ 토큰의 F1이 인간 음성에서 유도된 [-ATR] 경계 근처 또는 그 위에 위치하는 경우가 많았으며, 이는 [+ATR] 모음이 [-ATR]로 실현되고 있음을 확인시켜 준다.
• 단어 수준 분석: TTS에 단어 수준 분류기를 적용했을 때, 골드 ATR 레이블로 학습된 모델(Macro-F1 0.49)은 예측된 ATR 레이블로 학습된 모델(Macro-F1 0.62)보다 성능이 현저히 떨어졌다. 이 간극은 TTS 시스템의 음향 출력이 의도된 음운 구조와 일관되게 일치하지 않음을 나타낸다.

의의 및 주장
본 논문은 표준 지표인 MOS가 다국어 TTS의 체계적인 음운론적 실패를 탐지하기에는 불충분하다고 주장한다. 제안된 프레임워크는 다음과 같은 태스크 특화된 진단적 접근 방식을 제공한다:

1. 숨겨진 편향 식별: 고성능 TTS 시스템(MMS 등)이라 할지라도, 인간 청자에게는 부자연스럽게 들리지 않으면서도 어떻게 체계적으로 문법적 대립(특히 아담어의 ATR 조화)을 중화시킬 수 있는지 밝혀낸다.
2. 타겟 피드백 제공: 감사 형식은 의도된 음운론과 생성된 음향 사이의 괴리를 정량화하여, 개발자에게 시스템이 어디서, 어떻게 벗어나는지(예: 특정 모음 클래스)에 대한 구체적인 통찰을 제공한다.
3. 일반화 가능성: 본 연구는 아담어 ATR 조화에 집중하고 있으나, 저자들은 이 방법론이 측정 가능한 음향적 상관관계를 가진 다른 음운론적 대립에도 재현 및 적용 가능하다는 점을 명시한다.

한계점
저자들은 본 연구가 단일 TTS 시스템(MMS)을 단일 음운 현상 및 단일 언어에 대해 평가하였고, 상대적으로 클래스 불균형이 있는 작은 규모의 TTS 데이터셋을 사용했다는 점을 겸허히 언급하였다. 따라서 특정 오류율과 주장의 강도는 이러한 요인들에 의해 제한될 수 있다.