💬 NLP

Neural networks for Text-to-Speech evaluation

Deze studie introduceert en valideert een reeks nieuwe neurale modellen, waaronder NeuralSBS en WhisperBert, die menselijke beoordelingen van spraakkwaliteit (TTS) nauwkeuriger en efficiënter simuleren dan traditionele methoden, terwijl ze ook de beperkingen van generieke LLM-evaluators aantonen.

Oorspronkelijke auteurs: Ilya Trofimenko, David Kocharyan, Aleksandr Zaitsev, Pavel Repnikov, Mark Levin, Nikita Shevtsov

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ilya Trofimenko, David Kocharyan, Aleksandr Zaitsev, Pavel Repnikov, Mark Levin, Nikita Shevtsov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting: Hoe computers leren om te oordelen over de kwaliteit van robotstemmen

Stel je voor dat je een nieuwe stem voor een GPS-app of een virtuele assistent wilt bouwen. Je hebt honderden versies gemaakt, maar welke klinkt het meest natuurlijk? Klinkt die ene als een mens, en die andere als een robot die net een flensje heeft geslikt?

Vroeger moest je hiervoor duizenden mensen bellen, laten luisteren en vragen: "Hoe goed klinkt dit op een schaal van 1 tot 5?" Dit is duur, traag en mensen zijn vaak ongeduldig of hebben hun eigen vooroordelen.

De auteurs van dit paper hebben een oplossing bedacht: Neurale netwerken die leren oordelen als een mens, maar dan supersnel en goedkoop.

Hier is hoe ze dat gedaan hebben, vertaald in alledaagse taal:

1. Het probleem: Mensen zijn niet altijd eerlijk

Stel je voor dat je een wedstrijd laat beoordelen door drie juryleden.

Jurylid A is streng: hij geeft alleen 4 of 5 punten.
Jurylid B is mild: hij geeft alleen 3 of 4 punten.
Jurylid C is wisselvallig.

Als je hun scores direct optelt, is het resultaat een rommeltje. De auteurs hebben een slimme truc bedacht (noem het "de score-herkalibratie"): ze kijken niet naar het cijfer zelf, maar naar hoe dat cijfer relatief is voor die specifieke jury. Ze maken alle scores eerlijk vergelijkbaar, alsof ze allemaal met dezelfde liniaal hebben gemeten. Dit noemen ze Std SOMOS.

2. De twee soorten testen

De computer moet twee dingen kunnen doen:

A. De "Blindtest" (SBS - Side-by-Side)
Je speelt twee geluiden af (A en B) en vraagt: "Welke klinkt beter?"

De oplossing: Ze hebben een model gebouwd genaamd NeuralSBS. Dit model luistert naar de geluiden en vergelijkt ze.
Het resultaat: Het model heeft het in 74% van de gevallen goed. Dat is bijna net zo goed als wanneer twee mensen het met elkaar eens zijn.
De valkuil: Ze dachten eerst: "Laten we ook de tekst toevoegen die gesproken wordt, zodat de computer begrijpt wat er gezegd wordt." Maar dat werkte juist slechter! Het was alsof je een kok vraagt om een soep te proeven, maar je geeft hem ook het recept te lezen. Hij gaat dan oordelen op basis van de ingrediënten in plaats van de smaak. De computer luisterde beter als hij alleen naar het geluid keek.

B. De "Cijfergeefster" (MOS - Mean Opinion Score)
Hier moet de computer een cijfer geven van 1 tot 5, zonder een tweede geluid om mee te vergelijken.

De oplossing: Ze hebben een model genaamd WhisperBert gemaakt.
Hoe het werkt: Stel je voor dat dit model twee experts heeft die samenwerken:
1. De Luisteraar (Whisper): Een expert die heel goed naar de klank, de ritme en de emotie in de stem luistert.
2. De Lezer (BERT): Een expert die de tekst leest en weet wat er had moeten worden gezegd.
De slimme stap: In plaats van dat deze twee experts direct met elkaar praten (wat vaak tot verwarring leidt), laten ze hun oordelen eerst door een "hoofdjury" (een ensemble van kleine modellen) verwerken. De hoofdjury kijkt naar de luisteraar én de lezer en geeft dan het definitieve cijfer.
Het resultaat: Dit model gaf cijfers die gemiddeld 0,40 punten afweken van de menselijke oordelen. Mensen onder elkaar wijken vaak 0,62 punten van elkaar af. De computer is dus consistenter dan mensen!

3. Wat werkt NIET? (De "Grote Droom" die faalde)

De auteurs probeerden ook de nieuwste, super-intelligente AI-modellen (zoals Qwen en Gemini) om dit te doen. Ze gaven ze de opdracht: "Luister en geef een cijfer."

Het resultaat: Het was een ramp. Deze modellen waren te "algemeen". Ze konden niet goed genoeg oordelen over de fijne details van geluidskwaliteit.
De les: Voor een heel specifiek vak (zoals het beoordelen van stemkwaliteit) heb je een gespecialiseerde vakman nodig, geen alleskunner die ook nog eens poëzie kan schrijven.

4. Waarom is dit belangrijk?

Voor bedrijven die stemmen maken (zoals voor Google, Apple of Amazon) is dit een game-changer.

Vroeger: Wachten op mensen om te luisteren = traag en duur.
Nu: De computer doet het in een seconde, 24/7, en is eerlijker dan mensen.

Conclusie in één zin:
De auteurs hebben een "digitale jury" gebouwd die luistert naar robotstemmen, die eerlijker oordeelt dan mensen, en die bedrijven helpt om alleen de allerbeste stemmen live te zetten, zonder dat ze duizenden mensen hoeven te betalen.

Probleemstelling

De kwaliteit van moderne Text-to-Speech (TTS)-systemen is sterk toegenomen, maar de evaluatie ervan vormt nu een knelpunt. Traditionele menselijke evaluatieprotocollen, zoals de Mean Opinion Score (MOS) voor absolute kwaliteit en Side-by-Side (SBS) vergelijkingen voor relatieve voorkeur, worden beschouwd als de "gouden standaard". Deze methoden zijn echter:

Duur en tijdrovend: Ze vereisen grote pools van menselijke beoordelaars.
Onsamenhangend: Er is sprake van variabiliteit tussen en binnen beoordelaars (bias in schaalgebruik).
Onduidelijk voor CI/CD: Ze zijn te traag voor snelle regressietests in ontwikkelingspijplijnen.

Bestaande objectieve meetmethoden (zoals PESQ of STOI) correleren slecht met menselijke waarneming van natuurlijkheid. Er is dus behoefte aan geautomatiseerde, neurale evaluatoren die menselijke oordelen nauwkeurig nabootsen.

Methodologie

De auteurs hebben een reeks neurale modellen ontwikkeld voor zowel relatieve (SBS) als absolute (MOS) evaluatie, gebaseerd op de SOMOS-dataset (20.000 clips, 360.000 beoordelingen).

1. Data-voorverwerking en Standaardisatie

Collaborative Filtering: Om de bias van individuele beoordelaars te verminderen, worden ruwe scores gestandaardiseerd per beoordelaar ( $z_r = (y_r - \mu_r) / \sigma_r$ ) en vervolgens herschaald naar het bereik [1, 5]. Dit creëert de "Std SOMOS" dataset, wat de continuïteit van de scores vergroot en de relatie tussen features en labels verbetert.
Data Augmentatie: Een tweestapsproces met signaal-perturbaties (ruis, micro-gaten) en fonetische transformaties (duur, reverberatie, toonhoogte).

2. Architecturen voor Relatieve Evaluatie (SBS)

NeuralSBS: Een model dat gebaseerd is op HuBERT (zelftoezichtende audio-encodering). Het berekent een voorkeurscore via een antisymmetrische bilineaire pooling: $s = z_a^T W z_b - z_b^T W z_a$ . Dit garandeert dat $P(A > B) = 1 - P(B > A)$ .
NeuralSBSBert: Een multimodale variant die BERT-tekstfeatures toevoegt via cross-attention. De resultaten waren echter minder goed dan het audio-only model.

3. Architecturen voor Absolute Evaluatie (MOS)

Verbeterde MOSNet: Een klassieke CNN+BLSTM-architectuur met cruciale trainingsoptimalisaties:
- Sorteren van audio-bestanden op lengte om padding te minimaliseren.
- Maskeren van padding-frames tijdens de loss-berekening.
- Gebruik van Dropout en Batch Normalization.
WhisperBert (Stacking Ensemble): Een innovatieve multimodale aanpak. In plaats van directe latent-fusie (wat instabiel bleek), worden features van Whisper (audio) en BERT (tekst) onafhankelijk geëxtraheerd en vervolgens samengevoegd via een "stacking ensemble". Zwakke leraars (Ridge Regression, SVR, Decision Trees) voorspellen de score, die door een Meta-Learner (MLP) wordt geaggregeerd.
Ablatie van complexe fusie: Een SpeechLM-architectuur met diepe fusie (Cross-Attention) faalde en convergeerde naar de gemiddelde dataset-score, wat aantoont dat complexe fusie op kleine datasets problematisch is.

Belangrijkste Resultaten

Relatieve Evaluatie (SBS)

Het NeuralSBS-model bereikte 73,7% nauwkeurigheid op de originele SOMOS-dataset (AUC-ROC 0,816).
Dit is vergelijkbaar met de overeenkomst tussen menselijke beoordelaars.
Het toevoegen van tekst via cross-attention (NeuralSBSBert) leidde tot een lichte daling in prestaties.

Absolute Evaluatie (MOS)

WhisperBert behaalde de beste resultaten met een Root Mean Square Error (RMSE) van ~0,40 op de gestandaardiseerde dataset.
Dit is significant beter dan de menselijke inter-beoordelaar variabiliteit (baseline RMSE van 0,62).
Vergelijking met UTMOS: Hoewel UTMOS (gebaseerd op Wav2Vec 2.0) betere rangorde-correlaties (LCC/SRCC) heeft, presteert WhisperBert beter in het voorspellen van de absolute score (lagere MSE), wat cruciaal is voor kwaliteitsdrempels in CI/CD.
LLM-tests: Zero-shot evaluatie met grote taalmodellen (Qwen2-Audio, Gemini 2.5) leverde slechte resultaten op (bijv. 31% nauwkeurigheid voor MOS), wat aantoont dat gespecialiseerde regressiemodellen noodzakelijk blijven.

Kernbijdragen

NeuralSBS: Een effectief model voor paarsgewijze vergelijking dat menselijke voorkeur met hoge nauwkeurigheid voorspelt.
WhisperBert: Een nieuw multimodaal ensemble dat audio (Whisper) en tekst (BERT) succesvol combineert via late-stage stacking, wat superieur is aan directe cross-attention fusie.
Data Standaardisatie: Het aantonen dat het corrigeren van beoordelaarsbias via collaborative filtering (Std SOMOS) de stabiliteit en nauwkeurigheid van MOS-predictors aanzienlijk verbetert.
Ablatie-studies: Het bewijs dat naieve multimodale fusie (cross-attention) de prestaties kan verslechteren en dat complexe SpeechLM-architecturen zonder voldoende data kunnen instorten.

Betekenis en Toekomstperspectief

Deze studie bewijst dat geautomatiseerde, neurale evaluatie TTS-kwaliteit kan meten met een betrouwbaarheid die menselijke experts overtreft (in termen van consistentie en RMSE), terwijl kosten en latentie drastisch worden verlaagd. De modellen zijn direct toepasbaar in CI/CD-pijplijnen om TTS-releases te "gaten" op basis van een vaste kwaliteitsdrempel.

Toekomstig werk richt zich op cross-linguale evaluatie (met name Russisch), integratie van visuele modaliteiten voor video-TTS, en zelftoezichtende pretraining om de afhankelijkheid van menselijke annotaties verder te verminderen.