LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish

기술 요약: LuxEmo – 룩셈부르크어의 표현력 있는 텍스트 음성 변환(TTS) 코퍼스

문제 정의
최첨단 음성 데이터셋과 표현력 있는 텍스트 음성 변환(TTS) 시스템은 주로 고자원 언어(예: 영어)와 통제된 스튜디오 녹음에 집중되어 있습니다. 룩셈부르크어와 같은 저자원 언어는 여전히 과소 대표되어 있습니다. 룩셈부르크어는 빈번한 코드 스위칭(독일어, 프랑스어, 영어)이 발생하는 다국어 생태계에 내재되어 있어 특정한 과제를 안겨줍니다. 기존의 자원은 자연스럽고 대화적인 데이터나 감정적 운율을 갖춘 데이터를 부족해합니다. 현재의 다국어 TTS 접근 방식은 고자원 대리 언어나 전이 학습 전략에 의존하는 경우가 많으나, 이는 소음, 중첩된 음성, 비형식적 레지스터를 포함하는 실제 미디어 조건에서의 룩셈부르크어 특유의 언어적 및 운율적 뉘앙스를 포착하는 데 실패합니다.

방법론
본 논문은 Radio Télévision Luxembourg(RTL)의 청소년 방송에서 추출한 21시간 분량의 자발적 감정 음성 코퍼스인 LuxEmo를 소개합니다. 본 연구는 새로운 아키텍처 설계보다는 자원 및 프로토콜 구축에 초점을 맞춥니다.

1. 코퍼스 구축 및 큐레이션:

   • 출처: 스튜디오 토론, 인터뷰, 현장 리포트를 포함한 RTL 청소년 프로그램.
   • 전처리: 오디오를 추출하여 와이드밴드로 리샘플링하였으며, 음성 활동 감지(VAD)를 사용하여 비음성 구간을 제거했습니다. 배경 음악과 주변 소음을 감쇄하기 위해 DeepFilterNet을 적용하여 노이즈를 제거했습니다.
   • 세그먼트화: 세그먼트는 1~10초(평균 지속 시간 9.87초)로 제한되었습니다. 전사(Transcription)는 룩셈부르크어에 맞춰 파인튜닝된 Whisper large-v3 모델인 LuxASR을 통해 얻었으며, 이를 VAD 세그먼트와 정렬했습니다.
   • 화자 식별: 디아리제이션(Diarization) 출력을 네 명의 반복되는 화자(남성 1명, 여성 3명)에 매핑했습니다.
   • 어노테이션(주석 달기):
     • 언어 식별(LID): Wav2Vec2 기반 모델(mms-lid-4017)이 발화를 분류했습니다. 83.8%는 룩셈부르크어, 6.5%는 영어, 2.2%는 독일어였습니다. 네이티브 화자가 할당을 검증하기 위해 약 15%의 세그먼트를 수동으로 검토했습니다.
     • 감정 탐지: HuBERT 기반 분류기와 어휘 모델을 사용하여 네 가지 범주(중립, 행복, 슬픔, 분노)를 플래그 처리했습니다. 레이블은 신뢰도 점수를 가진 "약지도 학습(weakly supervised)" 방식으로 취급됩니다. 높은 신뢰도를 가진 항목은 지도 학습용 서브셋을 형성하고, 낮은 신뢰도의 세그먼트는 표현 학습을 지원합니다.
   • 데이터 분할: 공유된 대화 맥락으로부터 데이터 누출을 방지하기 위해 화자 인식 및 에피소드 인식 분할 전략을 채택했습니다. 분할 시 글로벌 감정 분포를 유지하고 테스트 세트에서 네 가지 감정 클래스 모두를 보장하도록 했습니다.

2. TTS 벤치마킹:
   다양한 배포 전략을 다루기 위해 다섯 가지 표현력 있는 TTS 시스템을 평가했습니다:

   • GradTTS: 독일어를 대리 언어로 사용하는 확산 기반 모델.
   • XTTS: 독일어를 대리 언어로 사용하는 교차 언어 참조 기반 모델.
   • Toucan: 룩셈부르크어를 포함하는 다국어 음소 목록을 가진 참조 인코더 기반 모델.
   • Qwen3 FT: LuxEmo에 적응(파인튜닝)된 프롬프트 제어형 언어 모델 기반 TTS.
   • kNN TTS: LuxEmo로부터 k-최근접 이웃 검색을 통해 운율을 전이하는 비매개변수 베이스라인.

3. 평가 프로토콜:

   • 객관적 지표: 비침습적 품질 예측(WV-MOS, NISQA-TTS, NISQA v2.0, DNSMOS), 명료도(Whisper 및 LuxASR을 통한 WER/CER), 화자 유사도(ECAPA-TDNN 임베딩), 그리고 운율(F0 RMSE, 피어슨 상관계수)을 포함했습니다.
   • 주관적 평가: 20명의 네이티브 룩셈부르크어 청취자를 대상으로 자연스러움, 감정 적절성, 강도를 5점 척도로 평가하는 리스닝 테스트를 실시했습니다.

주요 기여

• LuxEmo 데이터셋: 코드 스위칭 환경에서 언어, 화자, 네 가지 감정 카테고리에 대해 주석이 달린 최초의 대규모(21시간, 7,562개 세그먼트) 자발적 감정 음성 코퍼스입니다.
• 큐레이션 워크플로우: VAD, 노이즈 제거, LuxASR 기반 세그먼트화, 음향/어휘적 감정 단서, 타겟팅된 인간 검토를 결합한 반자동 파이프라인을 문서화하였으며, 이는 실질적인 재사용 제약이 있는 방송 아카이브에 적합합니다.
• 벤치마킹: 다섯 가지 TTS 전략(제로샷 교차 언어, 다국어, 적응형)을 이질적인 조건 하에서 종합적으로 평가했습니다.
• 표준화된 분할: 데이터 누출을 최소ize하면서 감정 커버리지를 보존하도록 설계된 화자 및 에피소드 인식 훈련/검증/테스트 분할을 제공합니다.

결과

• 품질 vs 명료도 트레이드오프: 모든 지표에서 단일 모델이 압도하지는 않았습니다.
  • **GradTTS (독일어 대리 모델)**는 가장 높은 파형 매끄러움(WV-MOS)을 달로 했으나 가장 높은 룩셈부르크어 WER을 기록하여, 매끄러운 파형이 대상 언어의 분절 정확도를 보장하지 않음을 보여주었습니다.
  • **Toucan (룩셈부르크어 인식 모델)**은 가장 낮은 LuxASR WER과 높은 전반적 품질을 달성하여, 언어 특화 음소 커버리지의 가치를 입증했습니다.
  • **XTTS (독일어 대리 모델)**는 높은 화자 유사성을 보였으나 중간 정도의 명료도를 나타냈습니다.
• 적응 효과:
  • **Qwen3 FT (파인튜닝 모델)**는 객관적 품질 점수(NISQA/DNSMOS)와 ASR 기반 WER은 제로샷 시스템보다 낮았음에도 불구하고, 네이티브 청취자들로부터 자연스러움과 감정 적절성에서 가장 높은 주관적 평가를 받았습니다. 이는 인지된 표현력이 항상 ASR 기반 전사 정확도와 일치하지는 않음을 시사합니다.
  • kNN TTS는 운율을 성공적으로 검색(GradTTS와 유사한 F0 RMSE)했으나, 열악한 음향 파형 품질로 인해 한계를 보였습니다.
• 감정 성능: "분노"와 "슬픔" 감정은 코퍼스 불균형(분노는 세그먼트의 0.5%만 차지)과 상관관계가 있어 합성하기가 지속적으로 어려웠습니다.
• 지표 간의 차이: 객관적 지표들(WV-MOS, NISQA, DNSMOS)은 품질의 서로 다른 측면(예: 파형 매끄러움 vs 노이즈 억제)을 강조하며, 다중 지표 평가의 필요성을 뒷받침했습니다.

의의 및 주장
본 논문은 LuxEmo를 보편적인 TTS 성능을 위한 결정적인 해결책이라기보다, 저자원 및 코드 스위칭 환경에서의 표현력 있는 TTS를 위한 테스트베드로 규정합니다.

• 현실적 제약: 본 연구는 깨끗한 녹음, 균형 잡힌 레이블, 광범위한 화자 커버리지를 확보하기 어려운 현실적인 저자원 환경의 제약을 강조합니다. LuxEmo는 노이즈가 있는 자발적 방송 데이터를 활용한 큐레이션 전략을 문서화함으로써 이를 해결합니다.
• 대리 모델의 한계: 결과는 독일어 대리 모델이 인지된 품질은 향상시킬 수 있으나, 룩셈부르크어 특유의 음절 구조와 표현적 단서를 완전히 포착하는 데는 실패함을 보여줍니다.
• 제한적 범위: 저자들은 이 벤치마크가 이질적인 조건 하에서의 현실적인 시스템 동작을 특징짓는 것이며, 보편적으로 가장 우수한 TTS 모델에 대한 증거로 해석되어서는 안 된다고 명시했습니다. 4명의 화자 구성은 인구 통계적 샘플링이 아닌 소스 자료의 가용성에 따른 결과이므로, 이 코퍼스가 모든 룩셈부르크어 화자를 인구 통계적으로 대표하지는 않습니다.
• 향 향후 방향: 논문은 향후 연구가 화자 및 도메인 커버리지를 넓히고, 상호 검토자 분석을 통해 감정 레이블을 정교화하며, 이 파이프라인을 다른 저자원 및 코드 스위칭 환경에 적응시켜야 한다고 결론짓습니다.