Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages

1. 문제 정의 (Problem)

인도는 '음성 우선 (Voice-First)' 국가로 불리며, 수많은 언어와 광범위한 이중언어 사용 (Code-mixing) 으로 인해 디지털 서비스 접근에 음성이 필수적입니다. 최근 신경망 기반 TTS(Text-to-Speech) 기술이 발전했음에도 불구하고, 인도어 TTS 시스템의 평가에는 다음과 같은 주요 과제가 존재합니다.

• 평가 방법의 한계: 기존의 MOS(Mean Opinion Score) 나 MUSHRA 와 같은 절대적 평가 방식은 평가자 간 편향 (Calibration) 에 민감하고, 현대적인 다국어 TTS 시스템의 복잡한 특성을 포착하기 어렵습니다.
• 다양성과 복잡성: 인도어는 언어적 다양성, 코드-믹싱 (Code-mixing), 숫자/약어 처리 등 실제 배포 환경의 복잡성을 반영해야 하지만, 기존 연구는 규모나 언어 커버리지, 진단적 깊이가 부족합니다.
• 원인 분석의 부재: 단순히 "어떤 모델이 더 좋은가"를 넘어, "왜" 특정 모델이 선호되는지 (가독성, 표현력, 잡음 등) 를 다차원적으로 분석하는 체계가 부족합니다.

2. 방법론 (Methodology)

저자들은 다국어 TTS 평가를 위한 통제된 다차원 쌍별 (Pairwise) 평가 프레임워크를 제안했습니다.

가. 벤치마크 구축 (Benchmark Construction)

• 데이터: 10 개 인도어 (벵골어, 구자라트어, 힌디어, 카나다어, 말라얄람어, 마라티어, 오디아어, 타밀어, 텔루구어, 우르두어) 로 구성된 5,357 개의 문장으로 이루어진 벤치마크를 구축했습니다.
• 도메인: 16 가지 배포 관련 도메인 (의료, 법률, STEM, 여행 등) 을 포함하며, 혀 꼬임 (Tongue twisters), 극단적 반복, 복잡한 STEM 내용 등 엣지 케이스를 포함했습니다.
• 입력 유형:
  1. Normalized: 숫자, 약어 등을 완전한 구어체로 변환.
  2. Symbolic: 원본 숫자, 공식, 연산자 유지.
  3. Code-mixed: 문장 내 영어 삽입 및 혼용 (인도 일상 언어 사용 반영).

나. 평가 프로토콜 (Evaluation Protocol)

• 참가자: 1,900 명 이상의 원어민 평가자 (Native Raters) 를 모집하여 120,000 건 이상의 쌍별 비교를 수집했습니다.
• 2 단계 평가 방식:
  1. 전체 선호도 (Holistic Preference): 두 모델 (A, B) 의 오디오를 듣고 전체적인 선호도 (A, B, 둘 다 좋음, 둘 다 나쁨) 를 선택.
  2. 세부 진단 (Granular Feedback): 전체 선택이 고정된 후, 6 가지 지각 차원에 대해 세부 평가를 수행.
     • 6 가지 차원: 명료성 (Intelligibility), 표현력 (Expressiveness), 음질 (Voice Quality), 생동감 (Liveliness), 환각 (Hallucinations), 잡음 (Noise).

다. 통계적 모델링 (Statistical Modelling)

• Bradley-Terry (BT) 모델: 수집된 쌍별 선호도 데이터를 기반으로 최대우도추정 (MLE) 을 적용하여 각 모델의 잠재 점수를 산출하고, Elo 점수 체계로 변환하여 다국어 리더보드를 생성했습니다.
• 신뢰성 분석: 부트스트랩 (Bootstrap) 리샘플링 (500 회) 을 통해 95% 신뢰구간을 계산하여 순위의 통계적 유의성을 검증했습니다.
• SHAP 분석: XGBoost 분류기를 훈련하여 전체 선호도를 예측하고, SHAP 값을 통해 각 지각 차원이 최종 선호도에 미치는 기여도를 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 다국어 벤치마크: 10 개 언어, 16 개 도메인, 5,300 개 이상의 문장으로 구성된 인도어 TTS 평가용 표준 벤치마크를 공개했습니다.
2. 규모 있는 인간 평가: 1,900 명 이상의 평가자를 통해 120,000 건 이상의 쌍별 비교 데이터를 수집하고, 7 개의 최신 TTS 시스템 (Gemini 2.5 Pro, ElevenLabs, Sonic 3 등) 을 평가했습니다.
3. 다차원 분석 프레임워크: 단순 순위 매기기를 넘어 6 가지 지각 차원을 통해 모델의 강점과 약점을 진단할 수 있는 체계적인 방법론을 제시했습니다.
4. 평가 신뢰성 연구: 리더보드 순위가 안정화되기 위해 필요한 평가자 수 (약 100200 명) 와 문장 수 (약 5001000 개) 를 정량적으로 규명했습니다.

4. 결과 (Results)

가. 전체 및 언어별 순위

• 1 위: GEMINI 2.5 PRO TTS (점수 1128.53) 가 10 개 언어 중 9 개에서 1 위를 차지하며 압도적인 성능을 보였습니다.
• 2~3 위: ELEVEN LABS V3 와 SONIC 3 이 통계적으로 유의미한 차이는 없으며 2~3 위를 다투었습니다.
• 최하위: 오픈소스 모델인 INDIC F5 는 10 개 언어를 지원함에도 불구하고 가장 낮은 점수 (805.75) 를 기록하며 상업적 모델들과 큰 격차를 보였습니다.

나. 도메인 및 입력 유형별 분석

• 도메인: GEMINI 2.5 PRO TTS 는 16 개 모든 도메인에서 1 위를 유지했습니다. 반면, 다른 모델들은 도메인에 따라 순위가 변동되었습니다 (예: SPEECH 2.8 HD 는 스트레스 테스트 도메인에서 상위권).
• 입력 유형: 코드-믹싱 (Code-mixed) 과 심볼릭 (Symbolic) 입력에서도 GEMINI 2.5 PRO TTS 가 가장 견고한 성능을 보였으며, BULBUL V3 BETA 는 심볼릭 입력에서 상대적으로 좋은 성적을 냈습니다.

다. 선호도 결정 요인 (SHAP 분석)

• 주요 드라이버: **표현력 (Expressiveness)**과 **명료성 (Intelligibility)**이 전체 선호도를 결정하는 가장 강력한 요인이었습니다.
• 기타 요인: 생동감 (Liveliness) 과 음질 (Voice Quality) 이 그 뒤를 이었습니다.
• robustness 의 역할: 환각 (Hallucinations) 과 잡음 (Noise) 은 기여도가 상대적으로 낮았습니다. 이는 평가된 대부분의 모델이 기본적인 잡음 제거와 텍스트 충실도 (robustness) 를 이미 충족시켰기 때문에, 사용자의 선택은 '어떻게 말하는가 (표현력)'에 더 의존한다는 것을 의미합니다.

라. 평가 신뢰성

• 평가자 수: 5 개 시스템을 비교할 때 약 200 명의 평가자가 필요하며, 7 개 시스템일 때는 약 100 명으로 순위 안정성 (Spearman's ρ ≥ 0.95) 을 확보할 수 있습니다.
• 문장 수: 약 1,000 개의 문장이 5~7 개 시스템의 안정적인 순위 확립에 필요하며, 그 이상은 점수 불확실성 감소에 주로 기여합니다.

5. 의의 및 결론 (Significance)

이 연구는 인도와 같은 다국어 환경에서 TTS 시스템을 평가하기 위한 확장 가능하고 해석 가능한 (Interpretable) 프레임워크를 제시했습니다.

• 실용적 가이드: 대규모 인간 평가의 효율성을 높이기 위해 필요한 최소한의 리소스 (평가자 수, 문장 수) 를 제시하여 향후 연구의 비용 절감에 기여합니다.
• 진단적 통찰: 단순한 점수 매기기를 넘어, 모델이 어떤 특성 (표현력 vs 명료성) 에서 강점을 보이는지 분석함으로써 개발자들이 모델 개선 방향을 설정하는 데 도움을 줍니다.
• 데이터 공개: 벤치마크 데이터와 선호도 데이터를 공개하여 향후 다국어 TTS 평가 및 비교 연구의 표준으로 활용될 것으로 기대됩니다.

결론적으로, 이 논문은 음성 중심 사회의 요구를 충족시키기 위해, 언어적 다양성과 실제 배포 환경을 고려한 정교하고 신뢰할 수 있는 TTS 평가 체계를 확립했다는 점에서 중요한 의의를 가집니다.