💬 NLP

PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech

Dit artikel introduceert PSP (Phoneme Substitution Profile), een interpreteerbare benchmark per dimensie die Indiase tekst-naar-spraaksystemen evalueert op specifieke accentkenmerken zoals retroflexie en aspiratie, en onthult dat huidige toonaangevende commerciële en open-source systemen deze fonologische nuances vaak niet weten te vatten ondanks hoge standaard scores voor verstaanbaarheid.

Oorspronkelijke auteurs: Venkata Pushpak Teja Menta

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Venkata Pushpak Teja Menta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die tekst hardop kan voorlezen. Als je vraagt dat hij een zin in Hindi, Telugu of Tamil voorleest, kan het zijn dat hij elk enkel woord "correct" uitspreekt volgens een spellingcontrole. Hij zal geen enkel woord verkeerd spellen. Maar als een moedertaalspreker uit die regio hem beluistert, kan hij zeggen: "Dat klinkt als een buitenlander die probeert mijn taal te spreken." De robot krijgt de spelling goed, maar het accent is verkeerd.

Dit artikel introduceert een nieuw hulpmiddel genaamd PSP (Phoneme Substitution Profile) om precies te meten hoe dat accent verkeerd is, in plaats van alleen te zeggen "het klinkt slecht" of "het klinkt goed".

Hieronder volgt een uiteenzetting van de ideeën uit het artikel, met behulp van eenvoudige analogieën:

1. Het Probleem: De Valstrik "Perfecte Spelling, Verkeerd Accent"

Huidige manieren om spraakrobots (Text-to-Speech of TTS) te testen, lijken op een spellingwedstrijd. Ze controleren:

Begrijpelijkheid: Heeft hij de juiste woorden gezegd? (Woordfoutenratio).
Natuurlijkheid: Klinkt het menselijk? (MOS-scores).

De Tekortkoming: Een robot kan 100% halen in de spellingwedstrijd, maar klinkt toch als een toerist. In Indiase talen zijn er specifieke "smaak"-klanken die makkelijk verkeerd gaan voor niet-moedertaalsprekers:

Retroflexe klanken: De tong krult naar achteren (zoals een 't' of 'd' die wordt gemaakt tegen het gehemelte).
Aspiratie: Een luchtstootje (zoals een zachte 'h' na een medeklinker).
Vokaallengte: Een klank langer vasthouden (zoals "kat" versus "kaat").
De "Zha"-klank: Een unieke Tamil-klank die niet bestaat in het Engels.

Als een robot een "krullende tong"-klank verandert in een gewone "platte tong"-klank, is dat geen spelfout; het is een accentfout. Huidige tools missen dit.

2. De Oplossing: Het "Zes-Punts Accentrapport"

De auteurs hebben PSP ontwikkeld, wat lijkt op een zes-dimensionale gezondheidstest voor het accent van een robot. In plaats van één enkele score, krijg je een rapport met zes specifieke cijfers:

Retroflex Collapse Rate (RR): Hoe vaak faalde de robot om zijn tong te krullen? (Zoals een leerling die steeds de huiswerkopdracht vergeet).
Aspiration Fidelity (AF): Blaasde hij de lucht uit wanneer dat moest?
Vowel Length Fidelity (LF): Hield hij de lange klinkers lang genoeg vast?
Tamil "Zha" Fidelity (ZF): Kreeg hij die ene lastige Tamil-klank goed?
Audio Distance (FAD): Hoe ver klinkt de stem van de robot verwijderd van die van een moedertaalspreker in een "klankruimte"? (Denk hierbij aan een afstandsmeter).
Prosodic Signature (PSD): Heeft de robot het juiste ritme, toonhoogte en melodie? (Zingt hij het lied plat, of met de juiste emotie?).

De Magie: De eerste vier worden gemeten door de klanken van de robot te vergelijken met een "gemiddelde moedertaalspreker" (een centroid) met behulp van AI-luistertools. De laatste twee meten de algehele "sfeer" van de audio.

3. De Experimenten: De Robots Testen

De auteurs testten vier beroemde commerciële robots (zoals ElevenLabs en Cartesia) en enkele open-source varianten op Hindi, Telugu en Tamil.

De Grote Ontdekkingen:

Moeilijkheidsladder: De robots vonden Hindi het makkelijkst, Telugu moeilijker en Tamil het moeilijkst.
- Hindi: Robots behaalden bijna perfecte scores op de lastige klanken.
- Telugu: Robots begonnen ongeveer 40% van de "krullende tong"-klanken verkeerd te maken.
- Tamil: Robots maakten ongeveer 68% van die klanken verkeerd.
De "Spelling" versus "Accent" Koppeling: De robot die de beste spellingresultaten behaalde (laagste Woordfoutenratio) was niet altijd degene met het beste accent.
- Analogie: Stel je een leerling voor die een 'A' haalt op een wiskundetoets maar zakt voor het handschriftgedeelte. Het oude beoordelingssysteem keek alleen naar het wiskundecijfer. PSP kijkt naar beide.
Geen Perfecte Robot: Geen enkele robot was overal het beste in. De ene robot had misschien een geweldig ritme (PSD) maar slechte "krullende tong"-klanken. Een andere had misschien prachtige klanken maar een plat, saai ritme. Je moet het juiste gereedschap kiezen voor de specifieke taak.

4. De "Stem Prompt"-Truc

De auteurs testten ook hun eigen robot (Praxy Voice). Ze ontdekten dat als ze de robot een 9-seconden audiofragment gaven van een echt mens die Telugu sprak als "referentie", de robot plotseling veel meer als een moedertaalspreker klonk.

Analogie: Het is alsof een leerling even naar een moedertaalspreker luistert voordat hij een toets maakt. De robot "ving de sfeer" en verbeterde zijn accent, ook al leerde hij de hele taal niet opnieuw.

5. Waarom Dit Belangrijk Is

Het artikel betoogt dat we moeten stoppen met "accent" te behandelen als een vaag gevoel. Door het op te breken in deze zes specifieke dimensies kunnen ontwikkelaars precies zien waar hun robot faalt.

Als de "Retroflex"-score laag is, weten ze dat ze de klanken met tongkrullen moeten fixen.
Als de "Prosodie"-score laag is, weten ze dat ze het ritme en de emotie moeten verbeteren.

Kortom: Dit artikel geeft ingenieurs een gedetailleerde kaart om het lastige terrein van Indiase accenten te navigeren, en laat zien dat de woorden goed krijgen slechts de helft van de strijd is; de smaak goed krijgen is de andere helft.

(Opmerking: Het artikel stelt expliciet dat deze resultaten gebaseerd zijn op proefversies en dat de formele correlatie met menselijke luisterscores in een toekomstige versie, v2, definitief wordt vastgesteld.)

1. Probleemstelling

De huidige evaluatie van Tekst-naar-Spraak (TTS) voor Indo-Aziatische talen is sterk afhankelijk van intelligibiliteitsmetrieken (Woordfoutpercentage - WER, Karaktersfoutpercentage - CER) en totale natuurlijkheidsscores (Mean Opinion Score - MOS, UTMOS).

De Kloof: Een synthesizer kan een bijna perfect WER en hoge MOS-scores behalen, maar toch "niet-inheems" klinken door specifieke fonologische fouten.
De Specifieke Uitdaging: Indo-Aziatische talen bezitten systematische fonologische kenmerken die niet-inheemse sprekers (en vele AI-modellen) routinematig samenvoegen of verkeerd uitspreken. Deze omvatten:
- Retroflex articulatie (bijv. het onderscheiden van ṭ van t).
- Aspiratie (bijv. kh versus k).
- Fonemische klinkerlengte (lange versus korte klinkers).
- Talspecifieke klanken (bijv. de Tamilse retroflex approximant /r̲/ of ḻ).
Beperking van Bestaande Metrieken: Metrieken zoals WER meten transcriptienauwkeurigheid, niet de akoestische fideliteit ten opzichte van inheemse fonologie. Distributieve metrieken zoals Fréchet Audio Distance (FAD) leveren een enkele scalair score op, maar missen de interpreteerbaarheid over welke fonologische kenmerken falen.

2. Methodologie: Het Phoneme Substitution Profile (PSP)

De auteurs stellen PSP voor, een benchmark die "accent" decomposeert in zes interpreteerbare, per-dimensie metrieken. Het verschuift van regelgebaseerde transcriptie-overeenkomst naar akoestische probing met behulp van deep learning-embeddings.

Kernmechanisme

PSP maakt gebruik van forced alignment (via tal-specifieke Wav2Vec2-XLS-R CTC-aligners) om phonem-spanningen in gegenereerde audio te lokaliseren. Vervolgens vergelijkt het de akoestische embeddings van deze spanningen met inheemse spreker-centroïden en substituut-spreker centroïden (die de niet-inheemse fout vertegenwoordigen) met behulp van gerectificeerde cosijn-similariteit.

De Zes Dimensies

De benchmark meet twee soorten dimensies:

Per-Phoneme Dimensies (gemeten via akoestische probes):
- Retroflex Collapse Rate (RR): Meet het falen om retroflexe consonanten (ṭ, ḍ, ṇ, ṣ, ḷ) te onderscheiden van hun dentale tegenhangers.
- Aspiration Fidelity (AF): Meet het behoud van geaspirerde stops (kh, gh, enz.), voornamelijk voor Hindi.
- Length Fidelity (LF): Evalueert de verhouding van lange tot korte klinkerduur tegenover inheemse priors.
- Tamil-zha Fidelity (ZF): Meet specifiek de productie van de Tamilse retroflex approximant /r̲/ (ழ).
Corpus-niveau Dimensies (gemeten via distributieve afstanden):
- Fréchet Audio Distance (FAD): Berekent de afstand tussen de gegenereerde en inheemse audio-distributies in de Wav2Vec2-XLS-R Layer-9 embedding-ruimte. Dit vangt klankkleur, co-articulatie en globale akoestische kwaliteit.
- Prosodic Signature Divergence (PSD): Berekent de Fréchet-afstand in een 5-dimensionale prosodische kenmerkruimte (pitch-bereik, log-F0-middelpunt, spreektempo, nPVI en log-duur).

Implementatiedetails

Referentiegegevens: Inheemse centroïden zijn opgebouwd uit 500 studio-opgenomen clips per taal (Hindi, Telugu, Tamil) met diverse sprekers.
Scoren: Het systeem berekent fideliteitsscores door gegenereerde embeddings te vergelijken met de inheemse centroïde ( $\mu_{nat}$ ) versus de substituut-centroïde ( $\mu_{sub}$ ).
Open Source: De code, centroïden en referentie-embeddings zijn vrijgegeven onder MIT- en CC-BY-licenties.

3. Belangrijkste Bijdragen

Formalisatie van Accentmetrieken: Definieerde zes specifieke, interpreteerbare dimensies voor Indo-Aziatische TTS-evaluatie, verdergaand dan enkelvoudige scalair scores.
Akoestische-Probe-gebaseerde Aanpak: In tegenstelling tot regelgebaseerde systemen (bijv. PSR voor Engels), vertrouwt PSP op akoestische embeddings, waardoor het robuust is zelfs wanneer ASR-transcriptie foutgevoelig is voor specifieke accenten.
Ressourcenvrijgave: Vrijgegeven inheemse spreker-centroïden, 1000-clip uitspraakniveau-embeddings voor FAD, 500-clip prosodische matrices voor PSD, en 300-uitspraak "golden sets" voor toekomstige benchmarking.
Uitgebreide Benchmarking: Evalueerde vier systemen (ElevenLabs v3, Cartesia Sonic-3, Sarvam Bulbul, Indic Parler-TTS) en een in ontwikkeling zijnd open-source systeem (Praxy Voice) over Hindi, Telugu en Tamil.

4. Belangrijkste Resultaten & Bevindingen

A. De "Accent versus Intelligibiliteit" Dissociatie

WER $\neq$ Accent: Systemen met het laagste WER (bijv. ElevenLabs, Cartesia) leiden niet consequent in accentfideliteit.
- Voorbeeld: In Hindi had ElevenLabs het laagste WER maar stond tweede in FAD. In Telugu had Cartesia een laag WER maar de slechtste retroflex collapse rate (50%).
Pareto-inefficiëntie: Geen enkel systeem is optimaal over alle zes dimensies. Bijvoorbeeld, op Tamil won Indic Parler-TTS vier van de vijf dimensies, terwijl Sarvam Bulbul alleen FAD won.

B. Fonologische Moeilijkheidsgradiënt

De studie bevestigde een monotoon toename in moeilijkheid voor Indo-Aziatische TTS, wat PSP succesvol bijhoudt:

Hindi: ~1% retroflex collapse (Gevorderd, bijna-inheems).
Telugu: ~40% retroflex collapse.
Tamil: ~68% retroflex collapse (Moeilijkst).
Betekenis: Westers gebouwde commerciële systemen degraderen aanzienlijk naarmate de doeltaal verder verwijderd raakt van Engelse fonologie, terwijl op Indo-Aziatische talen gerichte systemen (Sarvam, Parler) beter generaliseren.

C. Gedetecteerde Specifieke Falingsmodi

Prosodische Platheid (PSD): De Telugu-uitvoer van ElevenLabs had een enorme PSD-score (154 versus ~11 voor inheemsen), wat een "platte, niet-expressieve" levering aangeeft ondanks correcte woorduitspraak. WER miste dit volledig.
Tamil-zha Collapse: Het unieke Tamilse geluid /r̲/ stortte bij ~86% in bij de meeste commerciële systemen.
Trainingsschaal versus Akoestische Decoder: In de Praxy Voice casestudie (R5 $\to$ R6) verbeterde het vergroten van trainingsdata (85h $\to$ 1220h) de FAD (akoestische gelijkenis) maar verslechterde de PSD (prosodie) en liet de Retroflex Collapse onveranderd. Dit bewees dat meer data alleen specifieke fonologische articulatie niet oplost als de gewichten van de akoestische decoder niet correct worden bijgewerkt.

D. Voice-Prompt Herstel

Met een "Bring Your Own Reference" (BYOR)-aanpak, waarbij een 9-seconden inheemse Telugu-clip in het Praxy R6-systeem werd ingevoerd, verbeterden de resultaten aanzienlijk:

Retroflex collapse daalde van 40% naar ~27-33%.
PSD verbeterde drastisch, overeenkomend met commerciële baselines.
Dit toonde aan dat conditionering op een inheemse referentie de noodzaak van massale hertraining kan omzeilen om accentproblemen op te lossen.

5. Betekenis en Toekomstig Werk

Paradigmaverschuiving: PSP verschuift de TTS-evaluatie van "Kan de machine de tekst lezen?" (WER) naar "Klinkt de machine als een inheemse spreker?" (Accent).
Diagnostische Nut: De per-dimensie uitsplitsing stelt ontwikkelaars in staat om specifieke fouten te identificeren (bijv. "Het model heeft goede prosodie maar faalt op retroflexen") in plaats van te vertrouwen op een enkele geaggregeerde score.
Complementariteit: PSP is ontworpen om bestaande metrieken aan te vullen, niet te vervangen, zoals PSR (voor Engels) of MUSHRA luistertests.
Toekomstige Roadmap (v2): De auteurs plannen om:
- Formele MOS-correlatiestudies uit te voeren met inheemse beoordelaars.
- Benchmarks uit te breiden naar 300 uitspraken per taal voor statistische significantie.
- Per-phoneme scores te normaliseren om rekening te houden met aligneringsruisvloeren in Telugu/Tamil.
- Evaluatie van code-gemengde invoer toe te voegen.

Conclusie: Het artikel stelt vast dat accent in Indo-Aziatische TTS een meetbare, decomposeerbare vector van fonologische kenmerken is. PSP biedt het eerste interpreteerbare kader om deze kenmerken te kwantificeren, en onthult dat huidige state-of-the-art TTS-systemen vaak falen in het vastleggen van inheemse fonologie ondanks hoge intelligibiliteitsscores.