Controllable Accent Normalization via Discrete Diffusion

Dit paper introduceert DLM-AN, een systeem op basis van discrete diffusie dat controleerbare accentnormalisatie mogelijk maakt door het selectief hergebruiken van brontokens om de accentsterkte aan te passen en de duur aan te passen voor een natuurlijk ritme.

De kern

DLM-AN: De "Accent-Regelaar" voor Spraak

Stel je voor dat je een radio hebt die je stem kan nabootsen, maar dan met een specifiek accent. Soms wil je dat iemand perfect Nederlands spreekt (zoals een nieuwslezer), maar soms wil je dat ze een beetje dat buitenlandse accent behouden, bijvoorbeeld omdat ze een personage in een film spelen die uit een ander land komt.

Tot nu toe waren de technologieën hiervoor als een lichtschakelaar: ofwel ging het licht helemaal uit (geen accent meer), ofwel stond het helemaal aan (volledig accent). Er was geen dimmer.

Dit nieuwe onderzoek, genaamd DLM-AN, introduceert precies zo'n dimmer. Het is een slim systeem dat kan beslissen hoeveel van het originele accent je wilt behouden, van "volledig native" tot "bijna hetzelfde als het origineel".

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Bouwstenen-Principe (De "Discrete Tokens")

Stel je voor dat spraak niet als een continue stroom van geluid is, maar als een reeks Lego-blokjes. Elk blokje staat voor een klein stukje geluid (een klank).

• Het systeem pakt eerst de originele stem (met het accent) en zet die om in deze Lego-blokjes.
• Vervolgens kijkt het systeem naar een "native" (moedertaal) versie van dezelfde zin.

2. De Slimme Zoeker (De "Common Token Predictor")

Hier komt de magie van de CTP (Common Token Predictor) om de hoek kijken. Stel je voor dat je twee zinnen vergelijkt: één met een Frans accent en één in perfect Engels.

• Sommige woorden klinken in beide versies bijna hetzelfde (bijvoorbeeld "de" of "en"). Deze zijn als gouden blokjes.
• Andere woorden klinken heel anders door het accent. Deze zijn als rode blokjes.

De CTP is een slimme robot die door de Lego-bak loopt en zegt: "Hey, dit blokje klinkt in het origineel al goed genoeg als een native woord. Laten we dat blokje behouden!"

3. De Dimmer voor het Accent

Dit is het belangrijkste deel. Je kunt nu een knop draaien:

• Knop helemaal naar links (Geen accent): De robot gooit alle originele blokjes weg en bouwt de zin helemaal opnieuw op, alsof hij het voor het eerst leert. Het resultaat klinkt als een native spreker.
• Knop helemaal naar rechts (Volledig accent): De robot gebruikt alle originele blokjes. Het resultaat klinkt precies zoals de spreker oorspronkelijk was.
• Knop ergens in het midden: De robot behoudt alleen de "gouden blokjes" (de woorden die al goed klinken) en bouwt de rest van de zin opnieuw op. Het resultaat is een mix: de zin is begrijpelijk en klinkt natuurlijker, maar je hoort nog net een beetje van het originele accent.

Dit geeft gebruikers controle. Je kunt een taalstudent helpen door het accent langzaam te verminderen, of een acteur helpen die een rol moet spelen met een zacht accent.

4. Het Ritme (De "Duur-Regelaar")

Soms spreken mensen met een accent sneller of langzamer dan native sprekers. Het systeem heeft ook een tweede knop: de ritme-regelaar.
Stel je voor dat je een liedje hebt. Soms wil je dat het liedje net zo lang duurt als het origineel, en soms wil je dat het iets sneller of langzamer wordt. Dit systeem past automatisch de lengte van de zinnen aan, zodat het ritme natuurlijk klinkt, of je nu het accent volledig verwijdert of niet.

Waarom is dit zo goed?

In tests met mensen uit verschillende landen (zoals Chinees, Indiaans, Spaans) die Engels spraken, bleek dit systeem:

1. Beter begrijpelijk: De woorden werden minder vaak verkeerd verstaan door computers (een lagere "foutenratio").
2. Natuurlijker: Het klinkt minder als een robot dan eerdere systemen.
3. Flexibel: Het is de eerste keer dat je het accent kunt "dimmen" in plaats van alleen aan of uit te zetten.

Kortom: DLM-AN is als een slimme geluidstechnicus die niet alleen je accent kan weghalen, maar die je ook laat kiezen hoeveel van je "eigen geluid" je wilt behouden, terwijl hij ervoor zorgt dat het ritme perfect blijft.

Technische samenvatting

Titel: Controleerbare Accentnormalisatie via Discrete Diffusie (DLM-AN)

1. Het Probleem

Bestaande methoden voor accentconversie (het omzetten van een niet-native naar een native accent) en accentnormalisatie missen vaak de mogelijkheid om de sterkte van het accent te controleren. Veel toepassingen, zoals taalverwerving (waarbij men geleidelijk van accent wil afkomen) of nasynchronisatie (waarbij men een deel van het originele accent wil behouden voor authenticiteit), vereisen een instelbare "knop" voor accentretentie.
Eerdere benaderingen waren vaak:

• Referentie-gebaseerd: Vereisten native spraakvoorbeelden.
• Referentievrij maar statisch: Voerden een "volledige" conversie uit zonder tussenstappen.
• Beperkt in controle: Bestaande methoden voor sterktecontrole (zoals FAC-FACodec) werkten met continue diffusie op frame-niveau, wat beperkte controle over ritme en duur bood en geen fijne granulariteit toeliet.

2. Methodologie: DLM-AN

De auteurs stellen DLM-AN voor, een systeem gebaseerd op ge-maskerde discrete diffusie over zelftoezichtende (self-supervised) spraaktokens. Het systeem combineert een taalmodel-achtige architectuur met spraakverwerking.

Kerncomponenten:

1. Discrete Tokenisatie:

   • Het systeem gebruikt een SSL-tokenizer (gebaseerd op WavLM) om spraak om te zetten in discrete tokens. Deze tokens vertegenwoordigen fonetische inhoud.
   • Een Transformer-tokenencoder verwerkt deze tokens tot continue content-voorstellingen, verrijkt met fonetische supervisie via een CTC-gebaseerde loss (Connectionist Temporal Classification) om de fonemische kwaliteit te waarborgen.

2. Common Token Predictor (CTP) – De sleutel tot controle:

   • Dit is het innovatieve onderdeel voor controleerbaarheid. De CTP analyseert de source-tokens (niet-native) en voorspelt welke tokens waarschijnlijk ook voorkomen in het native doel (L1).
   • Tokens met een hoge "common score" worden geïdentificeerd als fonetisch vergelijkbaar met het native accent.
   • Controlemechanisme: Tijdens het generatieproces kunnen deze hoog-scorende source-tokens worden hergebruikt om het masker te initialiseren.
     • Geen hergebruik: Volledige normalisatie (alle tokens gegenereerd van scratch).
     • Volledig hergebruik: Behoud van het originele accent (directe hersynthese).
     • Gedeeltelijk hergebruik: Een gladde overgang tussen beide uitersten.

3. Duration Ratio Predictor (DP):

   • Een module gebaseerd op Flow Matching die de totale duurverhouding tussen bron en doel voorspelt. Dit lost het probleem op dat niet-native spraak vaak een ander ritme heeft dan native spraak, en zorgt voor een natuurlijk klinkend ritme in het doel.

4. Diffusieproces (DLM Decoder):

   • Het systeem gebruikt een Bidirectionele Transformer (gebaseerd op LLaDA) die werkt volgens het principe van "absorberende diffusie".
   • Forward proces: Tokens worden willekeurig gemaskeerd ([MASK]).
   • Reverse proces: Het model voorspelt iteratief de gemaskeerde tokens, conditioneel op de content-voorstellingen.
   • Sampling: Gebruikt een greedy-sampling algoritme met Classifier-Free Guidance (CFG) om de kwaliteit en contentbehoud te verbeteren.

3. Belangrijkste Bijdragen

• Eerste Discrete Diffusie voor Accentnormalisatie: DLM-AN is het eerste systeem dat discrete diffusie toepast op spraaktokens voor accentconversie, wat iteratieve verbetering en betere theoretische onderbouwing biedt dan autoregressieve modellen.
• Interpreteerbare Accentsterkte: Door het introduceren van de CTP en het hergebruik van tokens, biedt het systeem een intuïtieve en gladde controle over de accentsterkte, van volledige normalisatie tot behoud van het originele accent.
• Superieure Contentbehoud: Het systeem behoudt de inhoud (woorden) beter dan bestaande methoden, wat resulteert in een lagere Woordfoutratio (WER).
• Robuuste Duurcontrole: Integratie van een flow-matching duurvoorspeller zorgt voor een natuurlijke ritmische aanpassing.

4. Resultaten

Het systeem is getest op meervoudig accent-Engelse data (o.a. L2-ARCTIC corpus met sprekers uit Arabisch, Chinees, Hindi, Koreaans, Spaans, Vietnamees).

• Objectieve Metingen:
  • WER (Woordfoutratio): DLM-AN behaalde de laagste WER van alle vergeleken systemen (bijv. 10.64% voor DLM-AN-2 vs. 13.82% voor TokAN-1), wat aantoont dat de betekenis van de tekst het best behouden blijft.
  • Accentreductie (∆PPG): Toonde sterke prestaties in het verminderen van fonetische verschillen met het native doel.
  • Natuurlijkheid (UTMOS): Competitieve scores, vergelijkbaar met state-of-the-art systemen.
• Subjectieve Metingen (MUSHRA/BWS):
  • DLM-AN scoorde hoog op natuurlijkheid (NAT) en behoud van sprekeridentiteit (SIM).
  • De controleerbaarheid werd bevestigd: door de drempel ($\tau$) voor tokenhergebruik te variëren, kon de accentsterkte (ACT-score) systematisch worden aangepast van volledig native tot sterk beïnvloed door het originele accent.
• Duurverhouding: DLM-AN presteerde beter bij het comprimeren van spraak (korter maken) dan concurrenten zoals TokAN, die vaak problemen hadden met het behoud van tokens bij drastische duurveranderingen.

5. Betekenis en Toekomst

DLM-AN markeert een belangrijke stap in de richting van controleerbare spraakgeneratie. Het bewijst dat discrete diffusiemodellen, vaak gebruikt voor tekst, zeer effectief kunnen worden toegepast op spraakconversie.

• Praktische Toepassing: Het systeem is ideaal voor taaltrainingsapps (waarbij gebruikers geleidelijk hun accent kunnen "afschalen") en voor multimedia-producties waar een specifieke mix van accent en native klank vereist is.
• Toekomstige Werk: De auteurs wijzen op verbeterpunten, zoals het verminderen van fouten in de token-encoder bij zware accenten, het oplossen van herhalende uitspraken tijdens het generatieproces, en het trainen van de tokenizer op L2-data om de reconstructie van sterk geaccentueerde spraak te verbeteren.

Kortom, DLM-AN biedt een krachtig, interpreteerbaar en hoogpresterend framework voor accentnormalisatie dat de balans vindt tussen het behoud van de spreker, de inhoud en de gewenste mate van accentreductie.