LibriTTS-VI: A Public Corpus and Novel Methods for Efficient Voice Impression Control

Dit paper introduceert LibriTTS-VI, het eerste publieke corpus voor numerieke stemindrukcontrole, en stelt nieuwe methoden voor om het probleem van 'impression leakage' op te lossen door het ontkoppelen van sprekeridentiteit en stemindruk, wat leidt tot een aanzienlijke verbetering in de controleerbaarheid van de gegenereerde spraak.

De kern

Samenvatting: Een nieuwe manier om stemmen te "verfijnen"

Stel je voor dat je een robotstem hebt die perfect kan lezen, maar je wilt dat die stem klinkt als een vrolijke, jonge vrouw of juist als een rustige, oudere man. In het verleden was dit lastig. Je kon de stem niet zomaar "opknoppen" met een schuifje voor "vrolijkheid" of "helderheid".

Dit onderzoek van Sony introduceert twee grote verbeteringen om dit mogelijk te maken: een nieuwe bibliotheek met voorbeelden en een slimmer manier om die voorbeelden te gebruiken.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Stem-Geest" die niet luistert

Vroeger hadden wetenschappers een systeem om stemmen te controleren, maar er waren twee grote struikelblokken:

• Geen openbare bibliotheek: De gegevens die nodig waren om dit te leren, waren geheim. Het was alsof je een recept wilde leren, maar het kookboek was op slot.
• De "Geest van de Referentie" (Impression Leakage): Dit is het belangrijkste probleem. Stel je voor dat je een kok vraagt om een gerecht te maken dat "zacht" smaakt, maar je geeft hem een foto van een heel pittig gerecht als voorbeeld. De kok zal onbewust de pittigheid van de foto in het nieuwe gerecht verwerken, zelfs als je zegt: "Maak het zacht."
  • In de techniek betekent dit: Als je een voorbeeldopname gebruikt om de stem (wie spreekt?) te kopiëren, en tegelijkertijd een schuifje gebruikt voor de sfeer (hoe klinkt het?), dan "lekt" de sfeer van de voorbeeldopname naar het nieuwe geluid. Je krijgt niet de sfeer die je wilde, maar een mix van wat je wilde en wat er op de opname stond.

2. De oplossing 1: LibriTTS-VI (De nieuwe bibliotheek)

Om het eerste probleem op te lossen, hebben de onderzoekers LibriTTS-VI gemaakt.

• De analogie: Ze hebben een enorme bibliotheek van gesproken teksten (LibriTTS) genomen en elke zin handmatig beoordeeld door mensen. Ze hebben vragen gesteld als: "Is deze stem helder of schor?", "Is hij jong of oud?", "Is hij koud of warm?".
• Het resultaat: Voor het eerst is er een openbare "stem-encyclopedie" beschikbaar met 11 verschillende dimensies (zoals helderheid, kracht, snelheid). Nu kan iedereen experimenteren met deze "knoppen".

3. De oplossing 2: Slimmer leren (De "Twee-Persoons" methode)

Om het tweede probleem (de lekkage) op te lossen, hebben ze twee nieuwe methoden bedacht.

Methode A: De "Twee-Persoons" training (VIC-dis)

• Het idee: In het oude systeem gebruikte men één opname om zowel de stem als de sfeer te leren. Dat was de fout.
• De analogie: Stel je voor dat je een acteur wilt trainen om een rol te spelen.
  • Oude manier: Je laat de acteur een scène spelen waarin hij boos is, en zegt: "Onthoud deze stem én deze boosheid." De acteur blijft dan altijd boos klinken, zelfs als je vraagt om een vrolijke scène.
  • Nieuwe manier: Je gebruikt twee verschillende scènes van dezelfde acteur.
    1. Je kijkt naar scène A om de stem van de acteur te leren (wie hij is).
    2. Je kijkt naar scène B om de sfeer te leren (bijvoorbeeld: heel kalm).
  • Door deze twee los van elkaar te koppelen, leert de computer: "Dit is de stem van de acteur, en dit is de kalmte die ik wil." De "boosheid" van de eerste scène lekt niet meer naar de tweede.

Methode B: De "Geest zonder Lijf" (VIC-srf)

• Het idee: Wat als je helemaal geen voorbeeldopname nodig hebt?
• De analogie: In plaats van een foto van een persoon te tonen om te zeggen "maak dit geluid", geef je de computer gewoon een beschrijving: "Maak een stem die klinkt als een kalm, oud mannetje."
• De computer leert dan puur op basis van de getallen (de "knoppen") hoe die stem moet klinken, zonder dat er een voorbeeldopname is die de sfeer kan verstoren. Dit is de meest geavanceerde methode: je hebt geen "referentie" meer nodig, alleen je wensen.

4. Wat is het resultaat?

De onderzoekers hebben hun nieuwe systemen getest tegen oude systemen en zelfs tegen de nieuwste AI-modellen die werken met tekst-instructies (zoals "maak de stem vrolijk").

• Precisie: Hun nieuwe systemen konden de "knoppen" veel nauwkeuriger draaien. Als je de "helderheid" van 3 naar 5 zette, gebeurde er precies dat, zonder dat er andere ongewenste effecten bij kwamen.
• De tekst-Valstrik: Ze ontdekten dat de nieuwste AI-modellen (die werken met tekst) vaak verwarren. Als je tekst schreef: "Hij riep 'Wow!'", dan werd de AI automatisch "opgewonden" in zijn stem, zelfs als je vroeg om een "kalm" geluid. De betekenis van de tekst "lekte" naar de stem. De nieuwe methoden van Sony lossen dit op: de stem volgt de knoppen, niet de tekst.
• Kwaliteit: De stemmen klinken nog steeds heel natuurlijk, net als de oude systemen.

Conclusie

Kortom: Sony heeft een openbare "stem-encyclopedie" gemaakt en een slimme truc bedacht om de computer te leren wat een "stem" is en wat een "sfeer" is, zonder dat ze elkaar verwarren. Hierdoor kunnen we in de toekomst stemmen veel preciezer en makkelijker aanpassen, alsof je een geluidsmixer bedient in plaats van een magische doos die soms eigenzinnig doet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "LibriTTS-VI: A Public Corpus and Novel Methods for Efficient Voice Impression Control" in het Nederlands.

Probleemstelling

Numerieke stemimpressiebesturing (Voice Impression Control, VIC) in Text-to-Speech (TTS) systemen maakt het mogelijk om spraakkenmerken (zoals helderheid of kalmte) op een fijne schaal te regelen. Ondanks de vooruitgang in TTS, staan VIC-systemen voor twee fundamentele uitdagingen:

1. Gebrek aan publieke corpora: Bestaande VIC-systemen (zoals de originele VIC [24]) zijn gebaseerd op privé-corpora, wat reproduceerbaarheid en verdere onderzoeksinspanningen beperkt.
2. Impressie-lekkage (Impression Leakage): Er treedt een bias op waarbij de gegenereerde stem onbedoeld de impressie van de referentie-audio overneemt, in plaats van zich strikt te houden aan de doel-impressie. De auteurs hypotheseren dat dit ontstaat omdat één enkele referentie-uiting ($r$) zowel voor de sprekeridentiteit als voor de stemimpressie (VI) wordt gebruikt tijdens het trainen, waardoor deze twee factoren verstrengeld (entangled) raken.

Methodologie

De auteurs stellen een nieuwe aanpak voor die bestaat uit een nieuw dataset en twee methoden om de verstrengeling te doorbreken.

1. LibriTTS-VI: Een Publiek Corpus

Om het gebrek aan open data op te lossen, hebben de auteurs LibriTTS-VI ontwikkeld, gebaseerd op het bestaande LibriTTS-R corpus.

• Annotatie: Er zijn 130 uitingen van verschillende sprekers handmatig geannoteerd door vier ervaren annotatoren op een 7-punts Likert-schaal voor 10 van de 11 VI-dimensies (bijv. laag-hoog, mannelijk-vrouwelijk, kalm-ongesteld).
• Schaalvergroting: Omdat handmatige annotatie duur is, werd een VI-schatter (VIE) getraind om het volledige corpus te labelen. Om de beperkte trainingsdata te overwinnen, werd een nieuwe data-augmentatiestrategie gebruikt: alleen akoestisch vergelijkbare uitingen van dezelfde spreker kregen dezelfde handmatige label toegewezen, wat resulteerde in een 100-voudige augmentatie.
• Resultaat: Een publiek beschikbaar corpus met geschatte VI-waarden voor het gehele LibriTTS-R dataset.

2. Nieuwe Trainingsmethoden voor Ontkoppeling

Om de impressie-lekkage te verminderen, worden twee methoden voorgesteld die de verstrengeling tussen sprekeridentiteit en VI doorbreken:

• VIC-dis (Disentanglement via verschillende uitingen):

  • In plaats van één referentie-uiting te gebruiken, worden tijdens het trainen twee verschillende uitingen van dezelfde spreker gebruikt.
  • Uiting $r'$ dient als bron voor de sprekeridentiteit.
  • Uiting $r$ (de oorspronkelijke) dient als bron voor de doel-impresie (VI) via de VIE.
  • Dit dwingt het model om identiteit en impressie los van elkaar te leren, zonder de architectuur fundamenteel te wijzigen.

• VIC-srf (Speaker-Reference-Free):

  • Deze methode verwijdert de audio-referentie volledig uit het syntheseproces.
  • De synthese wordt uitsluitend geconditioneerd op de doel-impresie-vector ($v$).
  • De invoer die normaal gesproken de spreker-embedding zou bevatten, wordt vervangen door Gaussisch ruis ($z$).
  • Dit elimineert structureel de kans op lekkage van de referentie-audio.

Belangrijkste Bijdragen

1. LibriTTS-VI: Het eerste publieke corpus specifiek voor numerieke stemimpressiebesturing, inclusief annotatiegidsen en geschatte waarden voor het volledige LibriTTS-R.
2. Ontkoppelde Trainingsstrategieën: De introductie van VIC-dis en VIC-srf die effectief de verstrengeling tussen sprekeridentiteit en stemimpressie doorbreken.
3. Benchmarking van LLM-TTS: Een vergelijking met een state-of-the-art LLM-based TTS (Qwen3-TTS), waarbij wordt aangetoond dat natuurlijke taalprompts (NL) onnauwkeurig zijn in numerieke controle en leiden tot verstrengeling met tekstsemantiek.

Resultaten

De methoden zijn objectief en subjectief geëvalueerd op het LibriTTS-R test-set (zero-shot voor 39 onbekende sprekers).

• Objectieve Evaluatie:

  • Impressie-lekkage: De methode VIC-srf reduceerde de lekkage ($\Delta V$) significant van 0.22 (baseline) naar 0.05, wat aangeeft dat de verstrengeling effectief is opgeheven.
  • Controleerbaarheid: De Mean Squared Error (MSE) voor de 11-dimensionale VI-vector daalde objectief van 0.61 (baseline) naar 0.41 voor VIC-srf.
  • Kwaliteit: De spraakkwaliteit (gemeten via UTMOS) en verstaanbaarheid (CER/WER) bleven vergelijkbaar met de baseline en de ground truth, wat aantoont dat de verbeterde controle niet ten koste gaat van de geluidskwaliteit.
  • LLM Vergelijking: Het Qwen3-TTS model toonde een hogere MSE (0.97) en een sterke correlatie tussen tekstinhoud en stemimpressie, wat leidt tot onnauwkeurige controle (bijv. leestekens beïnvloeden de "rusteloosheid").

• Subjectieve Evaluatie:

  • Menselijke beoordelaars beoordeelden de controleerbaarheid via MSE. VIC-srf behaalde de beste scores (0.92 MSE bij meervoudige VI-modulatie) vergeleken met de baseline (1.15).
  • De Mean Opinion Score (MOS) voor audio-kwaliteit bleef hoog (rond 3.4 - 3.7), wat bevestigt dat de nieuwe methoden geen kwaliteitsverlies veroorzaken.

Betekenis

Dit paper biedt een cruciale stap voorwaarts in de besturing van TTS-systemen. Door het beschikbaar stellen van LibriTTS-VI democratiseert het onderzoek naar stemimpressie. De voorgestelde methoden (VIC-dis en VIC-srf) lossen het fundamentele probleem van impressie-lekkage op, waardoor precieze, numerieke controle van stemkarakteristieken mogelijk wordt zonder afhankelijk te zijn van specifieke referentie-audio of onnauwkeurige tekstprompts. Dit maakt TTS-systemen veel bruikbaarder voor toepassingen waar specifieke, schaalbare stemkwaliteiten vereist zijn, zoals in audioboeken, games of assistente-toepassingen.