⚡ electrical engineering

TokAN: Accent Normalization Using Self-Supervised Speech Tokens

TokAN is een zelfgesuperviseerd, token-gebaseerd accentnormalisatieframework dat niet-moedertaalspraak omzet naar standaardaccenten met behulp van een autoregressieve encoder-decoder en reinforcement learning, waarbij superieure verstaanbaarheid en accentreductie wordt bereikt zonder dat er parallelle trainingsdata of synthetische doelwitten nodig zijn.

Oorspronkelijke auteurs: Qibing Bai, Shuai Wang, Yuhan Du, Bohan Li, Yannan Wang, Haizhou Li

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qibing Bai, Shuai Wang, Yuhan Du, Bohan Li, Yannan Wang, Haizhou Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Accent" Verbeteren Zonder de "Stem" te Verliezen

Stel je voor dat je luistert naar een vriend die een verhaal vertelt, maar hij heeft een sterk accent waardoor sommige woorden moeilijk te begrijpen zijn. Je wilt dat hij klinkt alsof hij "standaard" Engels spreekt (zoals een nieuwslezer), maar je wilt nog steeds dat het klinkt alsof het jouw vriend is die het verhaal vertelt, en niet een robot of een ander persoon.

Dit is het probleem dat Accent Normalization probeert op te lossen. Het paper introduceert een nieuw systeem genaamd TokAN dat dit beter doet dan eerdere methoden.

Het Probleem met Oude Methoden

Vóór TokAN was het verbeteren van accenten alsovergelijken met het met de hand kopiëren van een schilderij:

Het "Referentie"-probleem: Sommige oude methoden hadden een opname nodig van een moedertaalspreker die precies dezelfde zin uitsprak om als gids te dienen. Dit is alsof je een foto van het originele schilderij nodig hebt om het te kunnen kopiëren. In de echte wereld heb je zelden zo's een perfecte match.
Het "Synthetische" probleem: Andere methoden probeerden computergegenereerde spraak als gids te gebruiken. Maar computerstemmen klinken vaak robotachtig of hebben een vreemde timing. Als je een model traint met deze "nep" stemmen, leert het model die robotachtige fouten aan, waardoor het eindresultaat onnatuurlijk klinkt.

De TokAN Oplossing: De "Digitale Lego"-aanpak

TokAN verandert het spel door niet te werken met ruwe geluidsgolven (zoals een continu audiobestand). In plaats daarvan breekt het spraak af in discrete tokens.

De Analogie:
Denk aan spraak niet als een gladde rivier van geluid, maar als een zin geschreven in Morsecode of Minecraft-blokken.

Tokens: Dit zijn de individuele "blokken" of "punten en strepen" die geluiden (fonemen) vertegenwoordigen.
De Magie: Deze blokken bevatten de betekenis van het woord, maar strippen de rommelige details weg van hoe het werd uitgesproken (het specifieke accent, de ademhaling, de exacte toonhoogte).

Hoe TokAN Werkt (Het 3-Stappenproces)

1. De Vertaler (De Tokenizer)

Eerst luistert het systeem naar de geaccentueerde spraak en zet deze om in deze "blokken" (tokens).

De Innovatie: In het verleden werden deze blokken willekeurig toegewezen (zoals het sorteren van Lego-steentjes op kleur zonder plan). TokAN gebruikt een Jointly Trained VQ Tokenizer.
De Analogie: Stel je een meester-ambachtslid voor die de blokjes niet alleen sorteert; hij ontwerpt de blokjes specifiek zodat wanneer je later een huis bouwt, de muren recht zijn en het dak perfect past. Deze tokenizer is getraind samen met de spraaksynthesizer om ervoor te zorgen dat de "blokken" precies de juiste hoeveelheid detail vastleggen—genoeg om de woorden te begrijpen, maar niet zoveel dat het accent in de data blijft hangen.

2. De Converter (De Encoder-Decoder)

Dit is het brein van de operatie. Het neemt de "geaccentueerde blokken" en herschikt ze tot "standaard blokken".

De Innovatie: Het gebruikt een speciaal type AI (een autoregressieve encoder-decoder) die de hele reeks blokken in één keer bekijkt.
De Analogie: Denk aan dit als een vertaler die een zin leest die geschreven is in "Frans-geaccentueerd Engels" en deze herschrijft in "Standaard Engels" zonder het verhaal te veranderen. Cruciaal is dat deze vertaler accent-universeel is. Het hoeft niet te weten welk accent de spreker heeft (Chinees, Indiaas, Spaans); het kijkt gewoon naar de blokken en bepaalt zelf de standaardversie.

3. De Bouwer (De Synthesizer)

Zodra de blokken zijn omgezet naar "standaard", moet het systeem ze weer omzetten in geluid.

De Innovatie: Het gebruikt een Flow-Matching Synthesizer.
De Analogie: Als de tokens het bouwplan zijn, dan is dit de bouwploeg. Het bouwt de audio-golf.
De "Dubbing"-functie: Een van de coolste onderdelen is Duration Control (duurcontrole). Soms moet de spraak exact even lang duren als het origineel (zoals bij het nasynchroniseren van films). TokAN heeft een speciale "tijdmanager" die de spraak kan uitrekken of inkrimpen om in een specifieke tijdslimiet te passen, zonder dat het klinkt als een mierenhapje of een luiaard.

Het Geheime Sausje: Reinforcement Learning (De "Coach")

Nadat het systeem is getraind, voegden de auteurs een laatste stap toe genaamd Reinforcement Learning (RL) met een methode genaamd GRPO.

De Analogie: Stel je een student voor die hard heeft gestudeerd (Supervised Fine-Tuning), maar nog steeds kleine foutjes maakt. Nu krijgt hij een Coach.
Hoe het werkt: Het systeem genereert een paar versies van de spraak. De Coach (een AI-rechter) luistert en geeft punten op basis van twee dingen:
1. Zei het de juiste woorden? (Lage Word Error Rate).
2. Klinkt het als een native speaker? (Vertrouwen van de Accent Classifier).
Het systeem probeert het steeds opnieuw en krijgt "punten" voor het doen van het beter. Dit leert het systeem om subtiele accentproblemen op te lossen die standaardtraining miste, zonder dat er nieuwe menselijke data nodig is.

De Resultaten: Waarom het Ertoe Doet

Het paper testte TokAN op mensen die Engels spraken met zeven verschillende accenten (zoals Chinees, Spaans, Koreaans, etc.).

Betere Helderheid: Het systeem verminderde de "Word Error Rate" (hoe vaak een computer de spraak verkeerd begrijpt) aanzienlijk meer dan welke eerdere methode ook.
Natuurlijker: Het klonk meer als een moedertaalspreker en minder als een robot.
Behoud van Identiteit: Ondanks dat het accent veranderde, kon de luisteraar nog steeds de unieke stem van de oorspronkelijke spreker herkennen.

Samenvatting

TokAN is als een slimme, magische vertaler die:

Spraak afbreekt in eenvoudige "blokken" om de accentruis te negeren.
Die blokken herschikt naar standaard Engels.
Het geluid weer opbouwt met een hoogwaardige bouwploeg.
Een coach inhuurt om te oefenen tot het accent weg is, maar de unieke stem van de spreker behouden blijft.

Het lost het probleem op van het nodig hebben van perfecte bijpassende opnames of het lijden onder robotachtige computerstemmen, wat het een grote stap voorwaarts maakt voor zaken als film-nasynchronisatie en taalleerprocessen.

Technische Samenvatting: TokAN: Accent Normalisatie met Zelf-Gesuperviseerde Spraak-Tokens

Probleemstelling

Accent Normalisatie (AN), of Foreign Accent Conversion (FAC), beoogt niet-native (L2) geaccentueerde spraak om te zetten naar standaard native (L1) spraak, terwijl de identiteit van de oorspronkelijke spreker behouden blijft. Bestaande benaderingen kampen met significante beperkingen:

Referentie-gebaseerde methoden vereisen native spraakmonsters tijdens de inferentie, wat de praktische inzetbaarheid belemmert.
Referentievrije methoden vertrouwen vaak op natuurlijk opgenomen parallelle L1–L2 corpora, die schaars zijn.
Synthetische supervisie-methoden (gebruikmakend van gekoppelde ASR-TTS pipelines) lijken te lijden onder kwaliteitsdegradatie. Directe spraaksupervisie verspreidt stemkloningsartefacten en prosodische fouten van synthetische targets, terwijl synthetische duurinformatie vaak niet de authentieke native ritmes weerspiegelt.
Token-gebaseerde methoden die gebruikmaken van vooraf getrainde self-supervised learning (SSL) modellen met K-Means clustering, genereren mogelijk geen code-to assignments die optimaal onderscheidend zijn voor accentspecifieke fonetische inhoud. Bovendien is supervised fine-tuning (SFT) met cross-entropy loss een zwak signaal voor de uiteindelijke doelen van inhoudsbehoud en reductie van accentering.

Methodologie

De auteurs stellen TokAN voor, een uitgebreid framework dat opereert op zelf-gesuperviseerde discrete spraak-tokens. Het systeem bestaat uit drie hoofdonderdelen en een vierfasen trainingspipeline.

1. Gezamenlijk getrainde VQ Tokenizer

In plaats van een offline K-Means clustering op bevroren SSL-features te gebruiken, hanteert TokAN een leerbare Vector Quantization (VQ) codebook.

Architectuur: Een bevroren WavLM-Large SSL encoder extraheert frame-niveau features, die door een ondiepe 1-D ResNet en een VQ bottleneck gaan om discrete tokens te produceren.
Gezamenlijke training: De tokenizer wordt gezamenlijk geoptimaliseerd met een flow-matching spraaksynthesizer en een CTC-gebaseerde ASR-module op native Engelse spraak. De doelstelling combineert VQ reconstructie-loss, synthese-loss en herkennings-loss.
Voordeel: Dit zorgt ervoor dat de codebook fonetisch rijke representaties vastlegt die geschikt zijn voor zowel hoogwaardige reconstructie als inhoudsbehoud, wat impliciet een initiële normalisatie van geaccentueerde spraak biedt.

2. Autoregressieve Token Conversie Model

Dit module transformeert L2-geaccentueerde tokensequenties naar L1-geaccentueerde sequenties.

Architectuur: Een encoder-decoder Transformer. De encoder gebruikt Rotary Positional Encodings (RoPE) en wordt gesuperviseerd door een CTC fonem-voorspellingsverlies om de fonemische inhoud te versterken. De decoder is alleen gericht op self-attention, waarbij de encoder-output als een prefix wordt behandeld in plaats van het gebruik van aparte cross-attention lagen. Het model is accent-universeel, waarbij expliciete bron-accent embeddings worden verwijderd om te vertrouwen op fonetische inhoud alleen.
Training:
- Pre-training: BART-stijl corruptie (span masking, insertie) op ongelabelde native spraak om token-distributies te leren.
- Supervised Fine-Tuning (SFT): Getraind op semi-synthetische parallelle tokenparen (L2 bron-tokens gekoppeld aan TTS-gesynthetiseerde L1 target-tokens) met behulp van cross-entropy en CTC-begeleiding.
- RL Post-training: Een reinforcement learning fase met behulp van Group Relative Policy Optimization (GRPO). De decoder wordt gefinetuned op ongepaarde echte meer-geaccentueerde spraak (GLOBE dataset) met een beloningsfunctie die Word Error Rate (WER) en de betrouwbaarheid van een accent-classifier combineert. Dit optimaliseert direct taak-specifieke doelstellingen zonder dat er extra gepaard gebrachte data nodig is.

3. Flow-Matching Synthesizer

Een niet-autoregressief model zet de geconverteerde tokensequentie terug om naar een Mel-spectrogram.

Duurcontrole: Een flow-matching duration predictor wijst duur toe aan tokens. Het ondersteunt een total-duration-aware modus, die conditioneel is op de gemiddelde token-duur van de bron. Dit maakt behoud van de "bron-lengte" mogelijk, wat cruciaal is voor toepassingen zoals voice dubbing, terwijl het een natuurlijkere prosodie behoudt dan eenvoudige schaling.
Output: Een vooraf getrainde HiFT vocoder genereert de uiteindelijke waveform, geconditioneerd op de bron-spreker embedding.

Belangrijkste Bijdragen

Gezamenlijk getrainde VQ Tokenizer: Verving de HuBERT/K-Means tokenizer uit de conferentieversie met een gezamenlijk getrainde VQ tokenizer gekoppeld aan synthese- en ASR-modules, waardoor de fonetische representatie en reconstructiefidelity systematisch werden geoptimaliseerd.
Accent-Universele Architectuur: Ontwierp de conversiemodule opnieuw met RoPE en een self-attention-only decoder, waarbij bron-accent embeddings werden verwijderd om een meer generaliseerbaar model te creëren.
RL Post-Training: Introduceerde een GRPO-gebaseerde RL-fase die direct de inhoudsbehoud (via WER) en de reductie van accentering (via accent classifier) optimaliseert met behulp van ongepaarde echte data, waardoor de kloof tussen SFT-gedrag en deployment-criteria wordt overbrugd.
Duration-Aware Synthese: Breidde de duurcontrole uit met een flow-matching predictor die geconditioneerd is op de gemiddelde bron-duur, wat hoogwaardige synthese mogelijk maakt die de totale duurrestricties respecteert.
Uitgebreide Evaluatie: Breidde de scope uit voorbij de conferentieversie met grotere datasets, sterkere baselines en gedetailleerde ablatie-studies.

Experimentele Resultaten

Experimenten werden uitgevoerd op zeven Engelse accenten (L2-ARCTIC dataset) waarbij TokAN werd vergeleken met FramAN (frame-to-frame), CosyAccent (directe flow-matching) en VEVO (prompt-gebaseerde token conversie).

Begrijpelijkheid (WER): TokAN behaalde een WER van 9,23% (TokAN-1, duration-free) en 9,40% (TokAN-2, source-length) na RL post-training. Dit presteerde significant beter dan CosyAccent (12,40%) en FramAN (17,55%).
Reductie van Accentering: TokAN behaalde de laagste $\Delta$ PPG (0,2533) en de hoogste L1-waarschijnlijkheid (99,09%), wat duidt op een superieure conversie naar native-achtige uitspraak.
Naturaliteit: TokAN-1 behaalde de hoogste subjectieve naturaliteitsscore (70,73 MUSHRA).
Spreker-gelijkenis: Hoewel TokAN een trade-off vertoonde tussen accentreductie en spreker-gelijkenis (consistent met eerdere bevindingen), behield het competitieve gelijkenisscores. De auteurs merken op dat de huidige embedding-geconditioneerde synthesizer een bottleneck kan zijn voor de preservatie van de sprekeridentiteit in vergelijking met prompt-gebaseerde benaderingen.
Ablatie-studies: Bevestigden de noodzaak van elke fase: het verwijderen van RL verhoogde de WER naar 9,89%; het verwijderen van SFT zorgde ervoor dat de prestaties degradeerden naar bijna resynthese-niveaus; het verwijderen van pre-training of CTC-supervisie schaadde de prestaties eveneens aanzienlijk.

Betekenis en Claims

Het artikel claimt dat TokAN een significante vooruitgang vertegenwoordigt in accent normalisatie door effectief de noodzaak voor parallelle L1–L2 data te omzeilen en de kwaliteitsdegradatie die gepaard gaat met synthetische supervisie te mitigeren. Door op token-niveau te opereren, abstraheert het framework paralinguïstische artefacten weg, en de gezamenlijke training van de tokenizer zorgt ervoor dat de discrete representaties geoptimaliseerd zijn voor de specifieke downstream taken van conversie en synthese.

De integratie van GRPO-gebaseerde RL post-training wordt benadrukt als een nieuwe bijdrage aan het veld, waardoor het model zijn output kan verfijnen op basis van taak-specifieke beloningen (begrijpelijkheid en accentreductie) met behulp van ongepaarde echte data. Daarnaast adresseert de total-duration-aware synthese een cruciale praktische vereiste voor toepassingen zoals dubbing, door een oplossing te bieden die de bron-timing respecteert zonder de natuurlijke prosodie op te offeren.

De auteurs concluderen bescheiden dat hoewel TokAN een nieuwe state-of-the-art instelt, toekomstig werk prompt-gebaseerde synthesizers zou kunnen verkennen om de balans tussen accentreductie en spreker-identiteit-preservatie beter te beheren en de modulaire architectuur naar niet-Engelse talen zou kunnen uitbreiden.