Computational Narrative Understanding for Expressive Text-to-Speech

Probleemstelling

Hoewel Text-to-Speech (TTS) systemen aanzienlijke vooruitgang hebben geboekt door het gebruik van grote, multi-domein spraakcorpora, blijft het expressieve potentieel van audioboekdata onderbenut. Bestaande datasets (zoals LibriSpeech of LibriTTS) bevatten vaak lange segmenten die een mengeling zijn van neutrale vertelling en expressieve dialogen. Dit maakt het voor TTS-modellen moeilijk om de specifieke prosodie en emotie van een karakterdialogue te leren, omdat de modellen vaak neigen naar de eenvoudigere, neutrale narratieve delen. Er is een gebrek aan datasets die zich specifiek richten op de expressieve "quotes" (dialogen) van fictieve personages, voorzien van contextuele informatie over hoe deze gesproken moeten worden (bijvoorbeeld via werkwoorden en bijwoorden zoals "fluisterde zacht").

Methodologie

De auteurs introduceren LibriQuote, een nieuw, groot dataset-project dat is opgezet om deze kloof te dichten.

1. Dataverzameling en Filtering:

   • De dataset is afgeleid van LibriVox (openbare audioboeken).
   • Er is gefilterd op fictie (om non-fictie uit te sluiten) en op "Dramatic Readings" (waarbij elke acteur een ander personage speelt) uitgesloten om diarisisatieproblemen te voorkomen.
   • Het dataset omvat 5.300 uur aan expressieve spraak (quotes) en 12.700 uur aan neutrale vertelling (narration), verdeeld over 3.300 sprekers en 2.991 boeken.

2. Verwerking en Annotatie:

   • Segmentatie: De audio wordt gesegmenteerd op basis van zinnen en dialogen. In tegenstelling tot eerdere datasets die willekeurige 30-seconde segmenten gebruiken, focust LibriQuote op de specifieke quotes.
   • Contextuele Pseudo-labels: Met behulp van Large Language Models (LLMs, specifiek Phi-4) worden werkwoorden en bijwoorden geëxtraheerd uit de omringende tekst die de manier van spreken beschrijven (bijv. "ze fluisterde", "hij riep luid"). Dit dient als een natuurlijke taal-label voor de intentie van de spraak.
   • Validatie: Menselijke annotatie bevestigde de kwaliteit van deze extracties (Cohen's κ van 0,87).

3. Experimentele Opzet:

   • De auteurs hebben twee TTS-architecturen getest: SparkTTS (autoregressief, gebaseerd op Qwen2) en F5-TTS (niet-autoregressief, gebaseerd op Flow Matching).
   • Trainingsscenario's:
     • Fine-tuning: Aanpassen van voorgeöorde modellen op de volledige dataset of een gefilterde subset van hoog-expressieve quotes ($Q_f$).
     • Training from scratch: Trainen van een model vanaf nul op de dataset.
     • Context-conditioning: Het toevoegen van de omringende narratieve tekst als input om de expressiviteit te verbeteren.

Belangrijkste Bijdragen

• LibriQuote Dataset: De publicatie van een schaalbare dataset van 5.300 uur aan expressieve dialogen, verrijkt met contextuele pseudo-labels voor spraakwerkwoorden en bijwoorden.
• Narratieve Bewuste Segmentatie: Een nieuwe aanpak om audioboekdata te segmenteren die zich richt op de scheiding tussen neutrale vertelling en expressieve karakterdialogen, in plaats van willekeurige zinssegmenten.
• Analyse van Trainingstrategieën: Een grondig inzicht in hoe verschillende trainingmethoden (fine-tuning vs. training from scratch) en modelarchitecturen (autoregressief vs. flow-matching) presteren op expressieve taken.
• Benchmark: De introductie van een uitdagende testset (LibriQuote-test) om de expressiviteit van TTS-systemen te evalueren, inclusief menselijke en LLM-gebaseerde evaluaties.

Resultaten

De experimenten leverden de volgende inzichten op:

• Impact op Intelligibiliteit en Expressiviteit:
  • SparkTTS (Autoregressief): Fine-tuning op LibriQuote verbeterde de intelligibiliteit (minder woordfouten) aanzienlijk, maar verbeterde de expressiviteit niet direct. Training vanaf nul verhoogde de expressiviteit, maar ten koste van de intelligibiliteit (door de beperkte hoeveelheid data).
  • F5-TTS (Flow Matching): Fine-tuning van dit model op de expressieve subset ($Q_f$) resulteerde in zowel een verbeterde expressiviteit als een verbeterde intelligibiliteit. Dit suggereert dat flow-matching beter in staat is om de complexe prosodische patronen in de dataset te leren dan autoregressieve modellen.
• Benchmark Resultaten:
  • Bestaande state-of-the-art modellen (zoals MaskGCT en IndexTTS2) presteerden wisselend. IndexTTS2 toonde de beste resultaten in het nabootsen van de expressiviteit van de grondwaarheid (ground truth), vooral wanneer contextuele informatie werd gebruikt voor de emotie-predicatie.
  • Echter, zelfs de beste modellen slaagden er niet altijd in om de juiste emotie te vangen; soms werd een emotionele toon gekozen die in strijd was met de context (bijv. schreeuwen in plaats van fluisteren).
• Menselijke vs. Amateur: De analyse toonde aan dat zelfs amateur-narrators (de bron van de dataset) soms onvoldoende emotie tonen, maar TTS-systemen doen dit nog vaker. Dit onderstreept de uitdaging voor professionele audioboeknabootsing.

Betekenis en Conclusie

Het paper benadrukt dat de kwaliteit van TTS niet alleen afhangt van de hoeveelheid data, maar ook van de kwaliteit en het type data (neutraal vs. expressief).

• Voor de TTS-community: LibriQuote biedt een cruciale resource om modellen te trainen die niet alleen tekst naar spraak converteren, maar ook de intentie en emotie van een verhaal begrijpen. Het toont aan dat flow-matching modellen (zoals F5-TTS) veelbelovend zijn voor expressieve spraakgeneratie.
• Voor Digital Humanities: De dataset biedt onderzoekers de mogelijkheid om prosodie in fictie te analyseren, bijvoorbeeld hoe mannelijke en vrouwelijke sprekers verschillende personages interpreteren.
• Ethiek: De auteurs waarschuwen voor de risico's van stemvervalsing en het vervangen van menselijke acteurs, en pleiten voor ethisch verantwoord gebruik van deze technologie.

Kortom, LibriQuote is een mijlpaal in het overbruggen van de kloof tussen neutrale spraakgeneratie en het creëren van levendige, emotioneel rijke audioboekervaringen.