Neural networks for Text-to-Speech evaluation

1. 문제 제기 (Problem Statement)

현대적인 텍스트 - 음성 변환 (TTS) 시스템은 인간이 인지하는 수준의 자연스러운 음성을 생성할 수 있게 되었으나, 대규모 배포 시 품질 평가가 주요 병목 현상이 되고 있습니다.

• 기존 평가의 한계: 평균 의견 점수 (MOS) 나 양측 비교 (SBS) 와 같은 인간 주관적 평가는 '황금 표준'으로 간주되지만, 비용이 많이 들고 시간이 오래 걸리며, 평가자 간의 편향 (rater bias) 과 일관성 부족 문제가 있습니다.
• 기술적 격차: 기존 객관적 지표 (PESQ, STOI 등) 는 인간 지각과 상관관계가 낮고, 인간 평가는 비효율적입니다.
• 연구 목표: 인간 평가자의 판단을 고도로 모사하여, **상대적 선호도 (SBS)**와 **절대적 품질 점수 (MOS)**를 모두 예측할 수 있는 자동화된 신경망 평가 모델 개발.

2. 방법론 (Methodology)

2.1 데이터 전처리 및 표준화

• 평가자 편향 완화 (Std SOMOS): 협업 필터링 (Collaborative Filtering) 아이디어를 차용하여 평가자별 점수 스케일 차이를 보정했습니다. 각 평가자의 점수 분포를 평균 ($\mu_r$) 과 표준편차 ($\sigma_r$) 를 기준으로 표준화한 후 다시 [1, 5] 범위로 재조정하여 레이블 노이즈를 줄이고 연속적인 점수 해상도를 높였습니다.
• 데이터 증강: 신호 수준의 노이즈 추가, 미세 간격 삽입, 음소 지속 시간 변경, 반향 (Reverberation) 추가 등 2 단계 증강 파이프라인을 적용하여 학습 데이터의 다양성을 확보했습니다.

2.2 상대적 평가 모델 (SBS: Side-by-Side)

• NeuralSBS: HuBERT(12 레이어) 를 사용하여 오디오 클립을 인코딩한 후, 반대칭 이차형 (Antisymmetric Bilinear) 계층을 도입하여 $P(A>B) = 1 - P(B>A)$ 논리를 강제했습니다. 이는 모델이 비대칭적인 단서를 학습하는 것을 방지합니다.
• NeuralSBSBert: 텍스트 (BERT) 정보를 오디오 임베딩에 크로스-어텐션 (Cross-attention) 으로 결합한 멀티모달 변형 모델입니다.

2.3 절대적 평가 모델 (MOS: Mean Opinion Score)

• Enhanced MOSNet: 기존 MOSNet 아키텍처 (1D-CNN + BLSTM) 에 NLP 기법을 적용했습니다.
  • Custom Batching: 오디오 길이에 따라 정렬하여 패딩 (Padding) 을 최소화하고, 패딩 프레임을 마스킹하여 손실 계산에서 제외했습니다.
  • Regularization: 드롭아웃 (Dropout) 과 배치 정규화 (Batch Normalization) 를 적용하여 수렴 안정성을 높였습니다.
• WhisperBert (Multimodal Stacking Ensemble): 직접적인 크로스-어텐션 융합이 불안정하다는 점을 고려하여, 스태킹 앙상블 방식을 채택했습니다.
  • 구성: Whisper(오디오) 와 BERT(텍스트) 에서 각각 임베딩을 추출한 후, 이를 연결하여 Ridge, SVR, Decision Tree 등 다양한 약한 학습기 (Weak Learners) 에 입력합니다.
  • 메타 학습기: 약한 학습기들의 예측값을 2 레이어 MLP 를 통해 최종 MOS 점수로 통합합니다.
• 실패 사례 (SpeechLM): SpeechLM 기반의 복잡한 퓨전 아키텍처는 233 번의 하이퍼파라미터 탐색에도 불구하고 데이터셋 전체 평균을 예측하는 '모델 붕괴' 현상을 보였습니다.

3. 주요 결과 (Key Results)

3.1 상대적 평가 (SBS) 성능

• NeuralSBS (오디오 전용): SOMOS 데이터셋에서 정확도 73.7%, AUC-ROC 0.816 을 기록했습니다. 이는 인간 평가자 간의 합의 수준과 유사합니다.
• 멀티모달의 역설: 텍스트를 직접 융합한 NeuralSBSBert 는 오히려 성능이 약간 하락했습니다 (72.7%). 이는 오디오 신호의 강력한 단서를 텍스트 융합이 방해할 수 있음을 시사합니다.

3.2 절대적 평가 (MOS) 성능

• 성능 향상: 데이터 표준화 (Std SOMOS) 를 적용한 결과, 모든 모델의 RMSE 가 개선되었습니다.
• 최고 성능 모델 (WhisperBert):
  • RMSE: 0.402 (인간 평가자 간 편차인 0.62 보다 훨씬 낮음).
  • 비교: 기존 UTMOS 모델은 순위 상관관계 (LCC, SRCC) 는 높았으나 (0.842), 절대 오차 (MSE) 는 WhisperBert(0.161) 보다 높았습니다 (UTMOS: 0.242). 이는 WhisperBert 가 절대 점수 추정 (CI/CD 게이팅 등) 에 더 적합함을 의미합니다.
• 텍스트의 역할: 직접적인 크로스-어텐션 (MOSNetBert) 은 성능을 저하시켰으나, 스태킹 앙상블 (WhisperBert) 을 통한 후기 융합 (Late-stage fusion) 은 텍스트 정보를 효과적으로 활용하여 성능을 높였습니다.

3.3 LLM 기반 평가 실험 (Negative Results)

• Zero-shot LLMs: Qwen2-Audio 와 Gemini 2.5 Flash Preview 를 테스트했습니다.
  • 결과: MOS 점수 예측 정확도는 31.25% 로 매우 낮았으며, SBS 비교에서도 전용 모델 (99.8% 정확도) 에 비해 76% 로 크게 뒤처졌습니다.
  • 결론: 범용 멀티모달 LLM 은 TTS 품질 평가와 같은 구체적인 메트릭 학습에는 적합하지 않으며, 전용 메트릭 학습 프레임워크의 필요성을 재확인했습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 인간 수준의 신뢰도 달성: NeuralSBS 는 인간 선호도를 74% 정확도로 예측하며, WhisperBert 는 인간 평가자 간 편차 (RMSE 0.62) 를 크게 하회하는 0.40 의 RMSE 를 달성하여 자동화 평가의 실용성을 입증했습니다.
2. 데이터 표준화의 중요성: 평가자별 편향을 보정하는 'Std SOMOS' 기법이 모델 학습 안정성과 최종 정확도 향상에 결정적인 역할을 함을 증명했습니다.
3. 멀티모달 융합 전략의 통찰: 텍스트와 오디오를 직접적으로 융합 (Cross-attention) 하는 것보다, **앙상블 스태킹 (Ensemble Stacking)**을 통한 후기 융합이 오디오 품질 평가에 더 효과적임을 규명했습니다.
4. LLM 의 한계 지적: 최신 LLM 이라도 TTS 평가와 같은 세밀한 작업에서는 전용 신경망 모델에 비해 성능이 현저히 낮음을 보여주어, 범용 모델 의존의 위험성을 경고했습니다.
5. 실무 적용 가능성: 개발된 모델들은 CI/CD 파이프라인에 통합되어 TTS 모델 배포 전 자동화된 품질 게이트 (Quality Gate) 로 활용될 수 있어, 대규모 TTS 서비스의 품질 관리 비용을 획기적으로 절감할 수 있습니다.

5. 결론

이 연구는 TTS 품질 평가를 위한 전용 신경망 모델이 인간 주관적 평가의 신뢰도를 유지하면서 비용과 시간을 대폭 절감할 수 있음을 입증했습니다. 특히 데이터 표준화와 앙상블 기반 멀티모달 접근법이 핵심 성공 요인이며, 범용 LLM 대신 목적에 맞는 메트릭 학습 모델의 개발이 필수적임을 강조합니다. 향후 연구는 다국어 (특히 러시아어) 지원 및 비디오 - TTS 평가 확장으로 이어질 예정입니다.