⚡ electrical engineering

Voice Mapping of Text-to-Speech Systems: A Metric-Based Approach for Voice Quality Assessment

Deze studie stelt een op metriek gebaseerd raamwerk voor stemmapping voor om de kwaliteit van tekst-naar-spraak te evalueren bij zes modellen, waarbij wordt gebleken dat het stembereik een primaire indicator voor vermogen is, terwijl specifieke metrieken zoals cepstrale piekprominentie (CPPs) en spectrale balans effectief natuurlijk steminspanning onderscheiden van robotachtige artefacten.

Oorspronkelijke auteurs: Huanchen Cai, Sten Ternström

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huanchen Cai, Sten Ternström

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een muziekrecensent bent die probeert te beoordelen hoe goed verschillende robots kunnen zingen. Jarenlang was de enige manier om dit te doen een groep mensen te vragen om te luisteren en de robots een score van 1 tot 5 te geven. Maar dit is traag, duur en soms geven mensen gewoon hoge scores om aardig te zijn, of kunnen ze het niet eens worden over hoe "goed" klinkt.

Dit artikel stelt een nieuwe, wetenschappelijke manier voor om deze zingende robots (Text-to-Speech of TTS-systemen) te beoordelen zonder menselijke oren nodig te hebben. De auteurs noemen deze methode "Stemmapping".

Hier is een eenvoudige uiteenzetting van wat ze deden en wat ze ontdekten:

1. Het Probleem: De "Robostem" versus de "Menselijke Stem"

Wanneer een mens spreekt, wordt het niet alleen luid of zacht. Wanneer ze schreeuwen, verandert de textuur van hun stem; wanneer ze fluisteren, verandert het weer. Het is een complexe dans van inspanning en geluid. Oude computergeluiden klonken vaak als een vlak, robotachtig gezoem omdat ze deze subtiele veranderingen niet aankonden. Nieuwere AI-modellen worden beter, maar hoe meten we exact hoe menselijk ze zijn?

2. De Oplossing: De "Stemkaart"

De auteurs creëerden een visueel hulpmiddel genaamd een Stemkaart. Denk hierbij aan een weerskaart, maar in plaats van temperatuur en regen, wordt hier Toonhoogte (hoe hoog of laag de stem is) en Luidheid (hoe zacht of luid het is) in kaart gebracht.

Het Rooster: Stel je een rooster voor waarbij de horizontale as de noot (toonhoogte) is en de verticale as het volume.
De Kleuren: Elke keer dat de computer spreekt, laat het een stip vallen op deze kaart. De kleur van de stip vertelt ons iets over de kwaliteit van de stem op dat specifieke moment.
- Warme kleuren (Rood/Oranje): De stem klinkt helder, rijk en natuurlijk.
- Koele kleuren (Blauw): De stem klinkt hijgig, ruisend of robotachtig.

Door naar de hele kaart te kijken, kun je het "territorium" zien dat de robot kan bestrijken. Kan het hoog en luid zingen? Kan het zachtjes fluisteren? Of zit het vast in een klein, saai hoekje?

3. Het Experiment: De Robots Testen

De onderzoekers namen 100 zinnen uit een beroemde opname (een vrouw die een boek voorlas) en vroegen zes verschillende AI-modellen om ze voor te lezen. Vervolgens vergeleken ze de "Stemkaart" van de AI met de oorspronkelijke kaart van de mens.

Ze gebruikten drie specifieke "linialen" om de stemkwaliteit te meten:

Crest Factor (De "Toppen"): Dit meet hoe "spits" de geluidsgolf is. Te spits en het klinkt hard; te vlak en het klinkt saai.
Spectrum Balans (De "Helderheid"): Dit controleert of de stem genoeg hoogfrequente "sprankeling" heeft of dat het klinkt alsof het onder een deken ligt.
CPPs (De "Harmonie"): Dit meet hoe georganiseerd de geluidsgolven zijn. Een perfect georganiseerde golf klinkt helder; een rommelige golf klinkt als statische ruis of een robot.

4. De Resultaten: Wie Zong Het Best?

De studie vergeleek modellen variërend van oudere modellen (zoals Merlin uit 2016) tot de nieuwste (zoals VITS uit 2021).

De Oude Garde (Merlin): Haar kaart was klein en verspreid. Het klonk zeer robotachtig. De "Harmonie"-score was te hoog (boven de 10 dB), wat volgens de auteurs een teken is van een "perfect stijve" robotstem in plaats van een menselijke.
De Nieuwe Sterren (VITS): Dit model creëerde een kaart die bijna identiek was aan die van de mens. Het bestreek het meeste territorium (hoog, laag, luid en zacht) en had de meest natuurlijke geluidskwaliteit. Het kwam het dichtst bij het echte werk.
De Zachte Fluisteraar (Glow-TTS): Dit model had een kleinere kaart (het kon niet zo veel luid of hoge noten), maar wanneer het fluisterde, was het het beste. Het ving de "zachte" menselijke stem beter dan wie dan ook, klinkend zeer helder en natuurlijk in rustige momenten.
De "Robotische" Waarschuwing: De studie vond een sweet spot voor de "Harmonie"-score. Als de score tussen 7 en 8 dB ligt, klinkt het natuurlijk. Als het boven de 10 dB gaat, begint de stem robotachtig en onnatuurlijk te klinken.

5. De "Motor"-Controle (Vocoders)

De onderzoekers testten ook de "motoren" (genaamd vocoders) die de noten van de AI omzetten in daadwerkelijk geluid. Ze ontdekten dat één motor, UnivNet, een helderder, natuurlijker geluid produceerde dan de andere (Multiband-MelGAN), vooral wanneer de stem luid was.

De Conclusie

Dit artikel zegt niet alleen "deze robot klinkt goed". Het geeft een visueel blauwdruk van waarom het goed klinkt.

VITS is momenteel de kampioen voor het klinken als een echt mens in alle opzichten.
Glow-TTS is de kampioen voor zachtjes fluisteren.
Stemmapping is het nieuwe hulpmiddel dat ons laat zien waar een robotstem precies faalt (zoals te robotachtig zijn in de hoge noten) en waar het slaagt, zonder dat er een mens nodig is om urenlang te gaan zitten en te luisteren.

Kortom, ze bouwden een "vingerafdrukscanner voor stemmen" die ons vertelt of een computergeluid echt levend is of slechts een slimme imitatie.

Hier volgt een gedetailleerde technische samenvatting van het artikel "Voice Mapping of Text-to-Speech Systems: A Metric-Based Approach for Voice Quality Assessment."

1. Probleemstelling

De evaluatie van Text-to-Speech (TTS)-systemen staat voor aanzienlijke uitdagingen bij het afwegen van subjectieve en objectieve metrics:

Subjectieve beperkingen: De "gouden standaard" Mean Opinion Score (MOS) is resource-intensief, tijdrovend en lijdt aan score-instabiliteit en range-vergelijkingsbias tussen verschillende studies.
Objectieve beperkingen: Traditionele objectieve metrics (zoals MCD, PESQ, ESTOI) werken op frame- of uiteringsniveau. Ze slagen er niet in om variabiliteit binnen een spreker over verschillende toonhoogte ( $F_0$ ) en luidheid (SPL) condities vast te leggen. Bijgevolg negeren ze temporele dynamieken van stemkwaliteit, zoals hoe een model omgaat met steminspanning, expressiviteit en fysiologische factoren zoals glottale periodiciteit bij langere spraak.
De kloof: Huidige TTS-modellen controleren toonhoogte en luidheid vaak onafhankelijk van elkaar, waardoor ze de complexe fysiologische koppeling tussen steminspanning en stemkwaliteit die voorkomt in natuurlijke menselijke spraak, niet repliceren. Er is behoefte aan een evaluatiekader dat de stemomvang van een model visualiseert en kwantificeert, en het vermogen om natuurlijke stemkwaliteit over die omvang te behouden.

2. Methodologie

De auteurs stellen Voice Mapping voor, een objectief, op metrics gebaseerd beoordelingskader dat is aangepast van klinisch stemonderzoek (fonetogrammen) om synthetische stemmen te evalueren.

Data & Opstelling:
- Dataset: 100 opeenvolgende zinnen uit de LJSpeech-dataset (ground truth) werden gebruikt als basislijn.
- Geëvalueerde modellen: Zes invloedrijke TTS-architecturen die een decennium ontwikkeling omvatten: Merlin (2016), Tacotron 2 (2018), Transformer TTS (2019), FastSpeech 2 (2020), Glow-TTS (2020) en VITS (2021).
- Vocoders: Specifieke vergelijkingen werden gemaakt tussen Multiband-MelGAN- en UnivNet-vocoders.
Constructie van Voice Mapping:
- De methode mapt akoestische kenmerken af op een 2D-ruimte gedefinieerd door Fundamentele Frequentie ( $F_0$ ) (x-as, in halftonen) en Geluidsdruk (SPL) (y-as, in dB).
- Het akoestische signaal wordt cyclus-per-cyclus verwerkt met FonaDyn-software om metrics voor elke glottale cyclus te extraheren.
- De $(F_0, SPL)$ -ruimte wordt gediskretiseerd in bakjes, en metrics worden gemiddeld binnen elke cel om een hittekaart te creëren.
Belangrijke Metrics:
1. Crest Factor (CF): Verhouding van piekamplitude tot RMS-amplitude. Geeft de "piekachtigheid" en onderbrekingen van het glottale stroming aan.
2. Spectrum Balance (SB): Verschil in akoestisch vermogen tussen frequenties >2 kHz en <1.5 kHz. Geeft spectrale helderheid/doorzichtigheid aan.
3. Cepstral Peak Prominence (CPPs): Meet de mate van harmonische organisatie en periodiciteit. Hogere waarden duiden op een heldere, meer periodieke stem; lagere waarden duiden op ruis of instabiliteit.
Analyse: De studie vergelijkt de stemkaarten van gesynthetiseerde spraak met die van de oorspronkelijke spreker (LJSpeech) en analyseert verschilkaarten om gebieden te identificeren waar kwaliteit verslechtert of verbetert.

3. Belangrijkste Bijdragen

Nieuwe Toepassing van Voice Mapping: Eerste toepassing van klinische stemmapping-technieken (oorspronkelijk gebruikt voor stemstoornissen) om TTS-systemen te evalueren, waardoor een visueel en kwantitatief hulpmiddel ontstaat voor het vergelijken van synthetische versus natuurlijke stemdynamiek.
Cyclusgesynchroniseerde Metric-extractie: Gaat voorbij aan frame-gemiddelden om stemkwaliteit cyclus-per-cyclus te analyseren, waardoor de relatie tussen steminspanning (SPL) en kwaliteit wordt vastgelegd.
Identificatie van Kwaliteitstresholds: Empirische drempels voor CPPs in natuurlijke vrouwelijke spraak vastgesteld (7–8 dB) en geïdentificeerd dat waarden boven de 10 dB correleren met robotachtige output.
Uitgebreide Modelvergelijking: Biedt een systematische vergelijking van zes grote TTS-architecturen en twee vocoders onder gecontroleerde omstandigheden, waarbij de impact van architectuur en vocoder op stemkwaliteit wordt geïsoleerd.

4. Belangrijkste Resultaten

Stemomvang:
- VITS toonde de grootste stemomvang (dekking van $F_0$ -SPL-cellen), wat sterk overeenkwam met de natuurlijke spreker.
- Glow-TTS vertoonde een aanzienlijk beperkte stemomvang.
- Merlin (ouder statistisch model) toonde een verspreide, beperkte omvang met slechte tracking.
Metric-prestaties:
- CPPs (Periodiciteit):
  - Natuurlijke Omvang: 7–8 dB.
  - Merlin: ~12,24 dB (Excessief hoog, waargenomen als robotachtig).
  - Moderne Modellen (Tacotron 2, Transformer, FastSpeech 2, VITS): Variëerden tussen 6,68 en 7,96 dB, wat goed aansluit bij natuurlijke spraak.
  - FastSpeech 2: Laagste CPPs (6,68 dB), wat suggereert dat er iets minder periodiciteit is.
- Spectrum Balance (SB):
  - Glow-TTS: Toonde een superieure SB (-14,89 dB) vergeleken met de basislijn, wat wijst op een betere behoud van hoogfrequente energie bij zachte fonatie (rustige spraak), waardoor het helderder klinkt in gebieden met lage inspanning ondanks de beperkte omvang.
  - Merlin & Gedegradeerde Synthese: Toonden significant verlies aan hoogfrequente energie (zeer negatieve SB), wat resulteerde in een doffe stemkwaliteit.
- Crest Factor: Glow-TTS had een iets hogere CF, wat "piekachtigere" signalen aangeeft, terwijl de meeste andere modellen dicht bij de basislijn bleven.
Vocoder-vergelijking:
- UnivNet presteerde beter dan Multiband-MelGAN in zowel Spectrum Balance als CPPs, met name in luidere spraakgebieden, wat wijst op een beter behoud van spectrale kenmerken en harmonische stabiliteit.

5. Betekenis en Conclusie

Verschuiving in Evaluatieparadigma: De studie toont aan dat stemmapping een krachtig hulpmiddel is voor het visualiseren van de "expressiviteit" en "steminspanning"-capaciteiten van TTS-modellen, wat traditionele metrics missen.
Modelinzichten:
- VITS is momenteel de sterkste algehele presteerder, met een balans tussen een brede stemomvang en natuurlijke periodiciteit.
- Glow-TTS blinkt uit in kwaliteit bij zachte fonatie maar mist omvang, wat wijst op een afweging in zijn architectuur.
- CPPs als Diagnostisch: De studie valideert CPPs als een kritieke indicator; waarden >10 dB dienen als waarschuwingssignaal voor robotachtige artefacten, terwijl 7–8 dB natuurlijke kwaliteit aangeeft.
Toekomstige Richtingen: De auteurs stellen voor dit kader uit te breiden naar datasets met meerdere sprekers, extra metrics te integreren (jitter, shimmer, HNR) en stemkaarten mogelijk te gebruiken voor real-time feedback bij modeltraining.

Conclusie: Het artikel vestigt stemmapping succesvol als een robuust, objectief kader voor TTS-evaluatie, dat in staat is om subtiele nuances in stemkwaliteit en dynamische omvang vast te leggen die essentieel zijn voor hoogwaardige, expressieve spraaksynthese.