논문 요약: Computational Narrative Understanding for Expressive Text-to-Speech (LibriQuote)

이 논문은 텍스트 음성 변환 (TTS) 시스템의 표현력 (Expressivity) 을 향상시키기 위해, 인간이 낭독한 오디오북 데이터, 특히 소설 속 캐릭터의 대사에 초점을 맞춘 대규모 데이터셋 LibriQuote를 제안하고 이를 활용한 실험 결과를 제시합니다.

1. 문제 제기 (Problem)

최근 TTS 기술은 대규모 다도메인 음성 코퍼스를 통해 자연스러움과 화자 추종 능력을 크게 향상시켰습니다. 그러나 기존 오디오북 기반 데이터셋 (LibriSpeech, LibriTTS 등) 은 주로 중립적인 내레이션 (Narration) 에 치중되어 있어, 캐릭터의 감정과 성격을 표현하는 **표현력 있는 대화 (Expressive Dialogue)**의 잠재력이 충분히 연구되지 않았습니다.

• 기존 데이터의 한계: 오디오북 데이터는 내레이션과 대사가 무작위 문장 단위로 잘려 있거나, 내레이션과 대사가 섞여 있어 복잡한 피치 분포를 보입니다. 이로 인해 TTS 모델이 단순한 내레이션 스타일만 학습하거나, 표현력 있는 대사를 제대로 생성하지 못하는 문제가 발생합니다.
• 필요성: 소설 속 캐릭터의 대사는 화자 (Narrator) 와 등장인물 (Character) 의 목소리 전환, 다양한 감정 상태, 그리고 화자의 의도 (속삭임, 외침 등) 를 포함하므로, 이를 학습할 수 있는 구조화된 데이터와 평가 기준이 필요합니다.

2. 방법론 (Methodology)

2.1 LibriQuote 데이터셋 구축

저자들은 오디오북의 내러티브 구조를 이해하고, 캐릭터의 대사를 중심으로 데이터를 재구성했습니다.

• 데이터 소스: LibriVox 의 공중도메인 소설 (Fiction) 오디오북을 대상으로 합니다.
• 세그먼테이션 (Segmentation): 단순한 문장 단위가 아닌, **캐릭터의 대사 (Quotation)**와 **내레이션 (Narration)**을 명확히 구분하여 분리합니다.
• 맥락적 라벨링 (Contextual Pseudo-labels): 대사가 어떻게 발화되어야 하는지 나타내는 **화동사 (Speech Verbs)**와 부사 (Adverbs) (예: "he whispered softly") 를 추출하여 맥락 정보로 제공합니다. 이를 위해 LLM (Phi-4 등) 을 활용하여 자동 추출 및 인간 검증을 수행했습니다.
• 규모:
  • Train: 5,359 시간의 대사 + 12,723 시간의 내레이션 (3,314 명 화자, 2,991 권 책).
  • Test: 7.4 시간의 대사 (15 명 화자).
  • High-Expressivity Subset (Qf): 부사나 표현력 있는 동사가 포함된 379 시간의 하위 집합.

2.2 실험 설계

• 모델: SparkTTS (Autoregressive, LLM 기반) 와 F5-TTS (Flow-matching 기반) 를 베이스라인로 사용.
• 학습 전략:
  1. Fine-tuning: 기존 사전 학습 모델에 LibriQuote 데이터로 미세 조정.
  2. Training from Scratch: LibriQuote 데이터만으로 처음부터 학습.
  3. Context Conditioning: 대사를 생성할 때 주변 내레이션 텍스트 (맥락) 를 입력으로 추가하여 표현력 유도.
• 평가 지표:
  • 객관적 지표: WER (음성 인식 오차), SIM (화자 유사도), E-Sim (감정 유사도).
  • 맥락적 지표 (Contextual Metrics): LALM-as-a-Judge (Gemini-2.5 Pro) 를 활용하여 생성된 음성이 책의 맥락과 얼마나 일치하는지 ContextMOS와 Win-Rate로 평가.
  • 주관적 평가: 인간 평가자를 통한 MOS (자연스러움) 및 CMOS (표현력 비교).

3. 주요 기여 (Key Contributions)

1. LibriQuote 데이터셋 공개: 오디오북 내 캐릭터 대사와 내레이션을 구분하고, 화동사/부사를 포함한 맥락 정보를 제공하는 대규모 표현력 음성 데이터셋.
2. 내러티브 이해 기반 TTS 접근: 단순한 텍스트-음성 매핑을 넘어, 소설의 내러티브 구조 (화자 전환, 감정 흐름) 를 TTS 학습에 통합하는 방법론 제시.
3. 모델 아키텍처별 성능 차이 규명:
   • SparkTTS (Autoregressive): 미세 조정 시 음성 명료도 (Intelligibility) 는 향상되나 표현력은 제한적. 처음부터 학습 시 표현력은 향상되지만 명료도가 떨어짐.
   • F5-TTS (Flow-matching): 미세 조정 시 표현력과 명료도 모두에서 상당한 개선을 보임. Flow-matching 손실 함수가 LibriQuote 의 복잡한 표현력 정보를 더 잘 포착하는 것으로 분석됨.
4. 새로운 벤치마크 (LibriQuote-test): 다양한 TTS 시스템의 표현력 생성 능력을 평가하는 까다로운 테스트셋 제공.

4. 결과 (Results)

4.1 학습 실험 결과

• SparkTTS: LibriQuote 로 미세 조정 (Fine-tuning) 하면 도메인 내/외 데이터 모두에서 WER(명료도) 가 개선되었으나, 표현력 (ContextMOS) 향상은 미미함. 반면, 처음부터 학습 (Scratch) 하면 표현력은 높아지지만 데이터 부족으로 인해 명료도가 떨어짐.
• F5-TTS: LibriQuote 의 표현력 하위 집합 (Qf) 으로 미세 조정 시, 명료도와 표현력 모두에서 유의미한 향상을 보임. 이는 Flow-matching 기반 모델이 표현력 있는 데이터에 더 잘 적응함을 시사.
• 맥락 정보의 활용: SparkTTS 에 맥락 텍스트를 추가하면 표현력이 일부 향상되지만, 명료도 저하가 동반됨.

4.2 벤치마크 결과 (LibriQuote-test)

• IndexTTS2가 가장 우수한 성능을 보임. 특히 IndexTTS2-Context(맥락 정보를 활용한 감정 예측) 는 Ground Truth 와 유사한 표현력 (Win-Rate 54%) 을 달성하고 인간 평가에서도 높은 점수를 받음.
• 기존 모델들 (SparkTTS, F5-TTS, MaskGCT) 은 자연스러움 (MOS) 은 높았으나, 맥락에 맞는 적절한 억양과 감정을 생성하는 데 한계를 보임 (음의 CMOS 점수).
• 발견: 아마추어 낭독자 (LibriVox) 의 데이터조차 때로는 감정이 부족하거나 불일치하는 경우가 많았으며, TTS 모델은 이를 더 빈번하게 잘못 표현하는 경향이 있음.

5. 의의 및 결론 (Significance & Conclusion)

• TTS 기술의 발전 방향: 단순한 자연스러움을 넘어, 내러티브 이해를 바탕으로 캐릭터의 감정과 성격을 구현하는 Expressive TTS의 중요성을 강조.
• 데이터의 중요성: 오디오북 데이터에서 내레이션과 대사를 구분하고, 화동사/부사와 같은 언어적 단서를 활용한 맥락 정보가 표현력 학습에 필수적임을 입증.
• 모델 아키텍처의 영향: Flow-matching 기반 모델 (F5-TTS) 이 표현력 있는 데이터 학습에 더 유리할 수 있음을 시사.
• 디지털 인문학 (Digital Humanities) 기여: 300 만 개의 캐릭터 대사 텍스트와 음성, 그리고 의도 라벨을 제공하여 오디오북 프로소디 분석, 화자별 캐릭터 해석 차이 연구 등에 활용 가능.

한계점 및 향후 과제:

• 데이터에 일부 오류 (WER 높은 샘플) 가 포함될 수 있음.
• LALM-as-a-Judge 평가 방식의 편향 가능성.
• 아마추어 낭독자의 데이터 한계로 인해 전문 낭독자 수준의 표현력을 완전히 재현하기는 어려우며, 향후 전문가 데이터 확보 필요.

이 논문은 TTS 시스템이 단순한 텍스트 읽기를 넘어, 이야기의 정서적 흐름을 이해하고 전달할 수 있는 단계로 나아가기 위한 중요한 발판을 마련했습니다.