1. 연구 배경 및 문제 정의 (Problem)

• 문맥: 신경망 기반 텍스트 - 음성 변환 (TTS) 기술은 고자원 언어에서는 인간과 유사한 자연스러움을 달성했으나, 저자원 언어와 방언에는 여전히 적용이 미흡합니다.
• 아랍어 TTS 의 한계: 아랍어 TTS 연구는 주로 표준 아랍어 (MSA) 와 걸프 지역 방언에 집중되어 있습니다. 반면, 이집트 아랍어는 1 억 명 이상의 모국어 화자가 있으며 아랍 전역에서 가장 널리 이해되는 방언임에도 불구하고, TTS 리소스가 극도로 부족합니다.
• 기존 데이터의 부족: 기존 이집트 아랍어 TTS 데이터셋은 화자 수가 적거나 (단일 화자), 도메인 범위가 제한적이며, 공개된 자료가 드뭅니다. 이로 인해 음성 비서나 오디오북 등 실제 응용 분야에서 이집트 아랍어 사용자는 고품질 TTS 서비스를 누리지 못합니다.

2. 제안된 방법론 (Methodology)

저자들은 NileTTS라는 대규모 이집트 아랍어 TTS 데이터셋과 이를 기반으로 미세 조정 (Fine-tuning) 된 모델을 제안합니다. 핵심은 LLM 과 신경 음성 합성 도구를 결합한 새로운 합성 데이터 파이프라인을 구축한 것입니다.

A. 데이터 구축 파이프라인 (Synthetic Data Pipeline)

기존의 비용이 많이 드는 수동 녹음 대신 생성형 AI 를 활용한 4 단계 자동화 파이프라인을 사용합니다.

1. 콘텐츠 생성 (Content Generation):

   • 대규모 언어 모델 (LLM, Gemini 및 Claude) 을 활용하여 이집트 아랍어 방언으로 텍스트 콘텐츠를 생성합니다.
   • 도메인: 의료 (Medical), 영업 및 고객 서비스 (Sales & Customer Service), 일반 대화 (General Conversations) 등 3 가지 분야를 대상으로 합니다.
   • 프롬프트는 표준 아랍어 (MSA) 를 배제하고 자연스러운 이집트 방언 구어체를 생성하도록 설계되었습니다.

2. 오디오 합성 (Audio Synthesis):

   • 생성된 텍스트를 NotebookLM의 오디오 생성 기능을 통해 자연스러운 팟캐스트 형식의 대화로 변환합니다.
   • NotebookLM 은 이집트 아랍어 방언 발음을 지원하며, 한 명은 남성, 한 명은 여성인 두 명의 가상 호스트가 대화하는 형식을 제공합니다.

3. 전사 및 분할 (Transcription & Segmentation):

   • 생성된 오디오를 OpenAI Whisper Large 모델을 사용하여 자동 전사합니다.
   • 단어 수준의 타임스탬프를 활용하여 오디오를 발화 단위 (Utterance) 로 분할합니다.

4. 화자 분리 (Speaker Diarization):

   • ECAPA-TDNN 모델을 사용하여 각 발화 세그먼트의 화자 임베딩을 추출합니다.
   • K-Means 클러스터링 (k=2) 을 통해 두 화자 (남성/여성) 의 평균 목소리 특성을 식별하고, 코사인 유사도를 기반으로 각 세그먼트에 화자 ID 를 할당합니다.

5. 품질 관리 (Quality Control):

   • 자동화된 파이프라인의 오류를 보정하기 위해 인간 어노테이터가 전체 데이터의 일부를 수동 검토하여 전사 정확도, 화자 일관성, 오디오 품질을 검증합니다.

B. 모델 미세 조정 (Model Finetuning)

• 기반 모델: Coqui 에서 개발한 다국어 TTS 모델인 XTTS v2를 사용합니다.
• 설정: XTTS v2 의 GPT 구성 요소만 NileTTS 데이터셋으로 미세 조정하고, DVAE(오디오 토크나이저) 는 고정 (Frozen) 합니다.
• 데이터 구성: 총 38.1 시간 (9,521 발화) 의 데이터를 90% 학습, 10% 평가 세트로 분할합니다.

3. 주요 기여 (Key Contributions)

1. NileTTS 데이터셋 공개: 이집트 아랍어 TTS 연구에 필요한 최초의 공개 대규모 데이터셋 (38 시간, 2 화자, 3 도메인) 을 제공합니다.
2. 재현 가능한 합성 데이터 파이프라인: LLM 기반 콘텐츠 생성, 신경 음성 합성, 자동 전사 및 화자 분리를 결합하여 저자원 방언용 TTS 데이터셋을 구축하는 재현 가능한 방법을 제시합니다.
3. 오픈소스 미세 조정 모델: 이집트 아랍어에 최적화된 XTTS v2 모델을 공개하여 향후 연구의 베이스라인을 제공합니다.

4. 실험 결과 (Results)

기존 XTTS v2(기타 아랍어 방언 학습) 와 NileTTS 로 미세 조정된 모델을 비교 평가했습니다.

• 평가 지표: Word Error Rate (WER), Character Error Rate (CER), 화자 유사도 (Speaker Similarity).
• 성능 향상:
  • WER: 26.8% → 18.8% (상대적 29.9% 감소)
  • CER: 8.1% → 4.1% (상대적 49.4% 감소)
  • 화자 유사도: 0.713 → 0.755 (5.9% 향상)
• 의미: 방언별 데이터로 미세 조정하면, 이미 해당 언어 계열을 지원하는 기반 모델이라도 방언의 가독성 (Intelligibility) 과 화자 유사도 측면에서 획기적인 개선 효과를 얻을 수 있음을 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 리소스 격차 해소: 이집트 아랍어와 같은 저자원 방언에 고품질 TTS 데이터를 제공하는 새로운 패러다임을 제시했습니다.
  • 확장성: 수동 녹음 없이도 LLM 과 음성 합성 도구를 통해 방언별 TTS 데이터셋을 대량으로 생성할 수 있는 확장 가능한 방법을 제시했습니다.
• 한계 및 향후 과제:
  • 화자 다양성 부족: 현재는 남성 1 명, 여성 1 명만 포함하고 있어 화자 다양성이 제한적입니다.
  • 합성 데이터의 한계: 실제 인간 녹음이 아닌 합성 오디오로 훈련되었으나, 실험 결과 방언 학습에 유효함이 입증되었습니다.
  • 평가 방법: 주관적 평가 (MOS) 가 부족하고, 전사 및 화자 분리 시 동일한 모델 (Whisper, ECAPA-TDNN) 을 사용하여 편향이 발생할 가능성이 있습니다. 향후 다양한 ASR 모델과 인간 평가를 통한 검증이 필요합니다.

결론

이 논문은 생성형 AI 기술을 활용하여 저자원 아랍어 방언 (이집트 아랍어) 의 TTS 리소스 부족 문제를 해결한 선구적인 연구입니다. 제안된 NileTTS와 합성 데이터 파이프라인은 이집트 아랍어 음성 합성 연구의 새로운 기준을 제시하며, 다른 저자원 언어/방언 연구에도 중요한 시사점을 제공합니다. 모든 리소스 (데이터셋, 모델, 코드) 는 공개되어 있습니다.