기술 요약: 텍스트 음성 변환(TTS) 음성 재구성 평가 프레임워크

1. 문제 정의

음성 재구성을 위한 텍스트 음성 변환(TTS)은 언어 장애(예: ALS, 파킨슨병, 뇌성마비로 인한 장애)가 있는 개인을 위한 개인화된 의사소통 보조 도구를 만드는 것을 목표로 한다. 목표는 화자의 고유한 정체성을 유지하면서 발음 명료도를 개선하는 것이다. 그러나 이러한 시스템을 평가하는 것은 다음과 같은 이유로 매우 까েন্ট다:

• 정답(Ground Truth)의 부재: 재구성된 음성이 어떻게 들려야 하는지에 대한 객관적인 "정답"은 존재하지 않으며, 이는 본질적으로 주관적이다.
• 표준 지표의 한계: 기존 연구는 자연스러움과 유사성을 측정하기 위해 평균 의견 점수(MOS)에 크게 의존하지만, 이는 민감도가 낮고 신뢰성 문제가 있으며 포화 상태에 이르는 경향이 있다.
• 객관적 대리 지표의 부적절성: 표준 객관적 지표(단어 오류율(WER), 코사인 유사도(Cosine Similarity of speaker embeddings))는 특히 발음이 매우 불분명한 화자의 경우, 청취자의 선호도를 예측하는 데 실패하는 경우가 많다. 이러한 지표들은 정체성보다 명료도를 우선시하거나, 장애로 인한 조음 패턴과 화자의 정체성을 분리해내는 데 실패한다.

2. 방법론

저자들은 17개의 제로샷(zero-shot) TTS 시스템과 Speech Accessibility Project(SAP) 데이터셋의 화자 193명을 대상으로 테스트한, 주관적 및 객관적 구성 요소를 결합한 종합적인 평가 프레임워크를 제안한다.

2.1 데이터셋 및 시스템

• 화자: 네 가지 조건(파킨슨병, 뇌성마비, ALS, 다운증후군)을 가진 193명의 화자로 구성되었으며, 명료도(High: WER < 30%; Low: WER ≥ 30%)에 따라 계층화되었다.
• 시스템: 다양한 아키텍처와 학습 데이터 유형을 포괄하는 17개의 제로샷 음성 복제 TTS 시스템(예: StyleTTS2, IndexTTS2, Qwen3-TTS, OpenVoice).
• 자극(Stimuli): 각 화자에 대해, 하나의 발화는 제로샷 복제를 위한 참조(reference)로 사용되며, 두 번째 발화의 텍스트는 합성 출력을 생성하는 데 사용된다.

2.2 주관적 평가

표준적인 MOS 대신, 저자들은 특정 평가 차원을 격리하기 위해 **상황적 프레이밍(situational framing)**이 적용된 **최선-최악 스케일링(Best Worst Scaling, BWS)**을 채택한다:

• 명료도(INTELLIGIBILITY) 과업: 청취자가 화자의 정체성을 무시하고 명료도만을 평가한다 (즉, "이 내용을 이해하기 얼마나 쉬운가?").
• 재구성(RECONSTRUCTION) 과업: 청취자가 명료도와 정체성을 모두 고려하여, 합성 음성을 화자의 질환 이전 목소리에 대한 정신적 모델과 비교함으로써 전반적인 품질을 평가한다.
• 프로토콜: 50명의 청취자가 각 과업 유형별로 온라인 설문 조사를 완료하였다. BWS 순위는 Plackett-Luce 모델을 통해 계산되었다.

2.3 객관적 평가

저자들은 표준 및 신규 지표가 주관적 순위에 대해 갖는 상관관계를 조사한다:

• 표준 지표: 단어 오류율(WER), 음소 오류율(PER), 화자 코사인 유사도(Spk. Sim.), 그리고 UTMOS(MOS 예측값).
  일련의 지표와 함께 새로운 지표인 TTSDS2를 사용하는 트레이드오프(trade-off) 측정을 도입한다.
  • TTSDS|SAP: 원래의 장애 음성과의 거리 (정체성 보존의 대리 지표).
  • TTSDS|LibriTTS: 높은 명료도를 가진 일반적인 음성 코퍼스와의 거리 (명료도의 대리 지표).
  • TTSDS Mean: 두 점수의 평균으로, 명료도와 정체성 사이의 균형을 정량화하기 위함이다.

3. 주요 결과

3.1 주관적 결과

• 명료도: 대부분의 TTS 시스템은 원본 녹음보다 높은 명료도를 보여주었다. StyleTTS2가 가장 높게 나타났으며, Fish Speech와 OpenVoice가 그 뒤를 이었다.
• 재구성: 대부분의 시스템은 원본 녹음보다 낮은 순위를 기록했는데, 이는 원하는 화자의 특성을 완전히 포착하는 데 실패했음을 의미한다. IndexTTS2가 가장 높았으며, Qwen3-TTS와 E2-TTS가 그 뒤를 이었다.
• 저명료도 화자: 심각한 장애를 가진 화자의 경우, 대부분의 시스템이 재구성 과업에서 정체성을 유지하면서 명료도를 개선하는 데 실패했다. 오직 IndexTTS2와 Qwen3-TTS만이 원본보다 높은 순위를 기록했다.

3.2 객관적 상관관계

• 명료도: WER, PER, UTMOS는 주관적인 명료도 점수와 강한 상관관계를 보였다. 제안된 TTSDS|LibriTTS 또한 강한 상관관계(ρ = 0.85)를 보였으며, UTMOS와 대등한 성능을 보이면서도 저명료도 하위 집합에서 더 나은 성능을 보였다.
• 재구성: 표준 지표들은 재구성 순위를 예측하는 데 실패했다.
  • 화자 코사인 유사도는 모든 화자에 대해 중간 정도의 상관관계(ρ = 0.75)를 보였으나, 저명료도 화자에게서는 크게 하락했다(ρ = 0.61).
  • TTSDS Mean(이중 참조 분포 측정치)은 주관적인 재구성 순위와 가장 강력한 상관관계(전체 ρ = 0.81, 저명료도 화자 ρ = 0.73)를 달성하였으며, 화자 유사도보다 우수한 성능을 보였다.

3.3 시스템 성능

세 가지 시스템—Qwen3-TTS, IndexTTS2, E2-TTS—은 주관적 재구성 과업과 TTSDS Mean 객관적 지표에서 일관되게 가장 높은 점수를 기록했다. 이 시스템들은 전체 데이터셋에 대해 원본 녹음보다 우수한 성능을 보였으나, 가장 심각한 장애를 가진 화자들에 대해서는 한계를 보였다.

4. 기여 및 의의

본 논문은 다음과 같은 기여를 주장한다:

1. 평가 프레임워크: 일반적인 "자연스러움" 점수를 넘어 명료도와 화자 정체성 사이의 트레이드오프를 구체적으로 평가하는, 신뢰할 수 있고 과업에 정렬된 음성 재구성 프레임워크를 제공한다.
2. 상황적 프레이밍: 유의미한 평가 데이터를 얻기 위해서는 청취자 지침이 상황적으로 프레이밍되어야 함(순수 명료도와 재구성을 구분)을 입증하였다.
3. 새로운 객관적 지표: 표준 지표(WER, Spk. Sim.)가 실패하는 지점, 특히 매우 불분명한 화자들에 대해 청취자의 선호도를 성공적으로 예측하는 TTSDS Mean(이중 참조 분포 측정치)을 도입하였다.
4. 베이스라인 시스템: 추가적인 미세 조정(fine-tuning) 없이도 사용할 수 있는 강력한 제로샷 베이스라인으로 Qwen3-TTS, IndexTTS2, E2-TTS를 식별하였다.

5. 한계 및 향후 과제

저자들은 다음과 같은 한계점을 겸허히 밝히고 있다:

• 본 연구의 결과는 제로샷 시스템에 기반하고 있으므로, 향후 연구에서는 적응형(adapted) 또는 미세 조정된(fine-tuned) 시스템에서도 이 결과가 일반화될 수 있는지 조사해야 한다.
• 현재 프레임워크는 명료도와 정체성에 초점을 맞추고 있으며, 악센트 유사성이나 일상 대화 적합성과 같은 차원은 향후 연구 과제로 남겨두었다.
• 본 평가는 실제 사용자(VOCA 사용자)가 아닌 청취자에게 의존하고 있으므로, 향후 더욱 사용자 중심적인 접근 방식이 필요하다.
• 데이터셋이 파킨슨병 및 고명료도 화자 쪽으로 치우쳐져 있으나, 프레임워크는 저명료도 하위 집합을 통해 스트레스 테스트를 거쳤다.