⚡ electrical engineering

WordVoice: Explicit and Decoupled Multi-Dimensional Word-Level Control for LLM-Based TTS

Het artikel introduceert WordVoice, een verenigd framework dat de beperkingen van grofmazige controle bij LLM-gebaseerde TTS aanpakt door gebruik te maken van een massale, vijfdimensionaal geannoteerde dataset en een nieuw bound-token-mechanisme om expliciete, ontkoppelde en precieze woordniveau-manipulatie van akoestische attributen zoals duur, toonhoogte en energie mogelijk te maken.

Oorspronkelijke auteurs: Sihang Nie, Jinxin Ji, Xiaofen Xing, Deyi Tuo, Chengbin Jin, Jialong Mai, Xiangmin Xu

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sihang Nie, Jinxin Ji, Xiaofen Xing, Deyi Tuo, Chengbin Jin, Jialong Mai, Xiangmin Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film regisseert, maar de acteurs (de AI-stem) improviseren. Ze klinken geweldig en natuurlijk, maar je kunt ze niet precies vertellen hoe ze een specifiek woord moeten uitspreken. Je kunt niet zeggen: "Pauzeer hier een fractie van een seconde," of "Laat dit woord boos klinken," of "Zing deze noot hoger." Je moet hopen dat de AI je intentie correct raadt.

Dit paper introduceert WordVoice, een nieuw systeem dat regisseurs (gebruikers) een afstandsbediening geeft voor elk afzonderlijk woord in een zin. Het verandert de AI van een improviserende acteur in een scriptgetrouwe performer die jouw exacte instructies opvolgt.

Dit is hoe ze het hebben gedaan, uitgelegd via eenvoudige analogieën:

1. Het Probleem: De "Vage" Afstandsbediening

Huidige AI-stem-systemen zijn als een afstandsbediening met slechts een paar grote knoppen: "Blij," "Verdrietig," of "Snel." Als je de toonhoogte van slechts één woord in een lange zin wilt veranderen, werkt de afstandsbediening niet. De AI behandelt de hele zin als één grote klankmassa, waardoor het onmogelijk is om individuele delen nauwkeurig aan te passen.

2. De Oplossing: Een Massief "Instructieboek" (WordVoice-5A)

Om de AI te leren hoe hij naar deze kleine, specifieke instructies moet luisteren, moesten de onderzoekers eerst een enorme bibliotheek van voorbeelden bouwen.

De Analogie: Stel je voor dat je probeert een student piano te leren door alleen hele liedjes te laten zien. Ze zullen misschien de algemene sfeer leren, maar ze zullen niet weten hoe ze een specifieke noot met een specifieke kracht moeten raken.
Wat ze deden: Het team creëerde WordVoice-5A, een dataset van 4.700 uur spraak (een enorme bibliotheek!). Ze labelden niet alleen de hele zin; ze gingen woord voor woord te werk en schreven vijf specifieke "instructies" voor elk afzonderlijk woord:
1. Duur: Hoe lang het woord duurt.
2. Grens (Boundary): Is er een pauze voor of na het woord?
3. Energie: Hoe luid of benadrukt het is.
4. Toonhoogte (Pitch): Hoe hoog of laag de stem is.
5. Toon (Tone): De vorm van de melodie (stijgend, dalend, vlak, etc.).

Ze gebruikten een strikt, door taalkundigen geleid proces om ervoor te zorgen dat deze labels perfect waren, waardoor ze de ultieme "instructiehandleiding" voor de AI creëerden.

3. De Hersenen: De "Akoestische Planner" (WordVoice-LLM)

De kern van hun systeem is een Large Language Model (LLM), wat de "hersenen" is die de spraak genereren.

De Oude Manier: De hersenen zouden gewoon het volgende geluid raden, in de hoop dat het goed klonk.
De Nieuwe Manier (WordVoice): De onderzoekers voegden een speciale "planning token" toe (denk aan een briefje met een post-it). Voordat de AI een woord uitspreekt, stopt hij en schrijft hij een plan op dat briefje.
- Voorbeeld: "Voor het woord 'Hallo', plan ik: 0,5 seconden lang, hoge energie, stijgende toonhoogte."
- Zodra het plan is geschreven, spreekt de AI het woord exact volgens dat plan uit.
De Magie: Gebruikers kunnen de AI ofwel zijn eigen plan laten schrijven (Free Mode), of het plan zelf schrijven (Control Mode). Als je wilt dat een specifiek woord dramatisch klinkt, schrijf je simpelweg "Hoge Energie" op het briefje, en de AI gehoorzaamt.

4. De Stemkast: De "Fine-Tuner" (WordVoice-FM)

Zelfs met een perfect plan kan de "stemkast" van de AI (het deel dat digitale noten omzet in daadwerkelijke geluidsgolven) soms details verliezen, zoals een foto met een lage resolutie.

De Analogie: Stel je voor dat je een perfect architecturaal blauwdruk (het plan) hebt, maar de bouwer gebruikt ruwe bakstenen. De vorm is juist, maar de textuur klopt niet.
Wat ze deden: Ze voegden een "Fine-Tuner" module toe aan het einde. Deze module kijkt naar de blauwdruk en de ruwe bakstenen, en strijkt ze vervolgens glad om ervoor te zorgen dat de uiteindelijke geluidsgolf perfect bij het plan past. Het overbrugt de kloof tussen de digitale "noten" en de continue "klank", waardoor de energie en toonhoogte exact zijn zoals je hebt gevraagd.

5. De Resultaten: Totale Controle

Het team heeft dit systeem getest tegen andere top AI-stemtools.

De Verdict: WordVoice stelt gebruikers in staat om de duur, luidheid, toonhoogte en toon van specifieke woorden met extreme precisie te veranderen.
De Trade-off: Het paper merkt een kleine trade-off op. Omdat de AI zo hard gefocust is op het volgen van jouw specifieke instructies voor individuele woorden, is de algemene "natuurlijke flow" van de stem iets minder perfect dan wanneer de AI gewoon zou improviseren. Echter, de winst in controle is enorm.
Het Bewijs: Wanneer ze de AI vroegen om slechts één woord van toon of lengte te veranderen, deed de AI dit met hoge nauwkeurigheid, terwijl andere systemen er niet in slaagden om die specifieke wijzigingen door te voeren zonder de hele zin te verstoren.

Samenvatting

WordVoice is als het geven van een script aan een stemacteur waarbij bij elk afzonderlijk woord een specifieke regie staat aangegeven (bijv. "Zeg dit woord luid," "Zeg dit woord langzaam"). Het lost het probleem van "grove controle" op door spraak op te splitsen in kleine, beheersbare stukjes en de gebruiker een afstandsbediening voor elk stukje te geven, terwijl de stem toch natuurlijk en menselijk blijft klinken.

Technische Samenvatting: WordVoice

1. Probleemstelling

Recente op Large Language Models (LLM) gebaseerde Text-to-Speech (TTS) systemen hebben een opmerkelijke natuurlijkheid bereikt, maar vertrouwen voornamelijk op impliciete, end-to-end generatieparadigma's. Deze architectuur resulteert in grove controle (coarse-grained control), wat een kritieke bottleneck vormt voor toepassingen die precieze, deterministische interventies op woordniveau vereisen, zoals audioboekvertelling en videodubbing. Huidige modellen hebben moeite met het expliciet manipuleren van specifieke akoestische attributen (bijv. duur, energie, toonhoogte, toon) voor individuele woorden zonder de globale stabiliteit in gevaar te brengen. Bovendien wordt deze beperking verergerd door het tekort aan grootschalige, fijnmazig geannoteerde datasets en de architecturale moeilijkheid om multidimensionale controlesignalen te integreren in discrete autoregressieve generatie.

2. Methodologie

De auteurs stellen WordVoice voor, een verenigd framework dat impliciete generatie transformeert naar een expliciet, hoogwaardig controleerbaar paradigma via een duaal-staps architectuur en een massieve nieuwe dataset.

2.1. Datafundament: WordVoice-5A

Om het datatekort aan te pakken, hebben de auteurs WordVoice-5A geconstrueerd, een tweetalige (Chinees en Engels) dataset bestaande uit ongeveer 4.700 uur spraak.

Annotatie-pipeline: Er is een rigoureuze, taalkundig geleide pipeline ontwikkeld die bestaat uit:
- Timestamp Optimalisatie: Dual-model uitlijning (MFA en Qwen3FA) met loudness-gebaseerde optimalisatie en consistentiecontroles om hoge-precisie woordgrenzen te garanderen.
- Temporele Attributen: Extractie van duur en discretisering van grenzen in vijf niveaus (van continue fonatie tot pauzes op periodeniveau).
- Akoestische/Prosodische Attributen: Extractie van energie (gemiddelde van de bovenste 50% frames), toonhoogte (gemiddelde van de centrale 80% F0) en toon. De toon wordt gemodelleerd via expert-gestuurde morfologische regressie, waarbij continue F0-contouren worden toegewezen aan zeven universele prosodische categorieën (vlak, stijgend, sterk stijgend, dalend, sterk dalend, piek, dal).

2.2. Architecturaal Framework

WordVoice werkt op een backbone afgeleid van CosyVoice3, waarbij zin-generatie wordt verfijnd tot een woord-niveau "akoestisch planningsproces".

Fase 1: WordVoice-LLM (Macro-Prosodische Planning)

De auteurs introduceren een bound-token mechanisme (⟨b⟩) binnen de autoregressieve LLM om het causale generatieproces te herstructureren.

Akoestische Planning: Bij het voorspellen van de bound-token voor een woord, wordt de hidden state van het model gerouteerd naar een lichtgewicht Word Decoder om vijf akoestische attributen te voorspellen: duur, grens, energie, toonhoogte en toon.
Expliciete Controle: Deze attributen worden ingebed in een style token en geconcateneerd met de semantische embedding om een verenigde conditie te vormen. Dit maakt twee inferentie-modi mogelijk:
- Free Mode: Het model plant autonoom de prosodie.
- Control Mode: Gebruikers kunnen de decoder omzeilen en handmatig attribuutwaarden specificeren voor specifieke woorden, wat zorgt voor zero-shot, deterministische controle zonder de LLM-gewichten te wijzigen.

Fase 2: WordVoice-FM (Micro-Akoestische Modulatie)

Om de resolutieafstand tussen discrete tokens en continue golfvormen te overbruggen, is een fijnmazige akoestische modulatiemodule geïntegreerd in de Flow Matching (FM) fase.

Upsampling: Woord-niveau style tokens worden geupsampled naar het frame-niveau op basis van voorspelde duur en pauzes.
Modulatie: Deze frame-niveau style tokens worden via een toegewijde module in de FM-backbone geïnjecteerd, die schaalparameters ( $\gamma_t$ ) en verschuivingsparameters ( $\beta_t$ ) genereert. Dit stuurt de golfvorm-synthese expliciet aan om te voldoen aan de geplande energie, toonhoogte en temporele grenzen, waardoor de verloren gegane akoestische details tijdens de kwantisatie worden gecompenseerd.

3. Belangrijkste Bijdragen

Datafundament: De creatie en open-source beschikbaarstelling van WordVoice-5A, een 4,7k-uur dure tweetalige dataset met rigoureuze vijfdimensionale woord-niveau annotaties en een taalkundig geleide pipeline.
Architecturale Innovatie: De voorstel van het WordVoice framework, dat een expliciet "akoestisch planningsproces" via bound-tokens in de LLM combineert met een fijnmazige style modulatie module in de Flow Matching fase.
Woord-niveau Controle: De demonstratie van zeer precieze, ontkoppelde controle over meerdere akoestische dimensies (duur, grens, energie, toonhoogte, toon) op woordniveau, waarbij een concurrerende zero-shot synthese-stabiliteit behouden blijft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de WordVoice-5A testsets (Chinees en Engels) met CosyVoice3 als baseline.

Subjectieve Evaluatie: WordVoice-Control behaalde de hoogste scores in Naturalness (N-MOS) en Word Style Control (Ctrl-MOS), met statistisch significante verbeteringen ( $p < 0,01$ ) in controleerbaarheid ten opzichte van de baseline. Hoewel Speaker Similarity (Spk-MOS) een marginale trade-off zag door gelokaliseerde variaties, werd de algehele expressiviteit aanzienlijk verbeterd.
Objectieve Evaluatie:
- Controle Precisie: In Control mode verminderde WordVoice de Mean Absolute Error (MAE) voor continue attributen (Duur, Energie, Toonhoogte) en de Error Rate (ER) voor discrete attributen (Grens, Toon) drastisch vergeleken met de baselines.
- Temporele Uitlijning: WordVoice presteerde beter dan MagicTTS (een sterke baseline voor temporele controle) op zowel duur- als grenscriteria, wat een superieure stabiliteit demonstreert bij het gelijktijdig manipuleren van meerdere attributen.
- Ontkoppeling: Ablatie-studies bevestigden dat het controlemechanisme grotendeels ontkoppeld is; het beperken van een enkel attribuut verminderde de specifieke fout van dat attribuut aanzienlijk met minimale impact op andere, behalve voor toon, die een lichte verstrengeling vertoonde vanwege de dynamische aard ervan.
Ablatie-studies: Het verwijderen van de WordVoice-FM module resulteerde in een significante degradatie van de energie- en toonhoogte-accuratesse, wat de noodzaak ervan bevestigt voor het compenseren van kwantisatieverliezen. Daarentegen werden temporele attributen primair gemodelleerd in de LLM-fase.

5. Betekenis en Claims

Het artikel beweert dat WordVoice een fundamentele beperking in huidige LLM-gebaseerde TTS aanpakt: het onvermogen om hoog-precieze, fijnmazige akoestische controle op woordniveau uit te voeren. Door impliciete generatie te transformeren naar een expliciet, interpreteerbaar proces, maakt het framework het volgende mogelijk:

Deterministische Interventies: Makers kunnen de duur, nadruk en intonatie van specifieke woorden nauwgezet manipuleren om genuanceerde emoties over te brengen of strikte cross-modale uitlijning te bereiken (bijv. lip-sync).
Verenigde Multidimensionale Controle: In tegenstelling tot eerdere benaderingen die vaak unidimensionaal waren (bijv. alleen duur of alleen emotie), controleert WordVoice gelijktijdig vijf akoestische dimensies.
Toekomstig Potentieel: De auteurs suggereren dat dit expliciete planningsmechanisme als een "akoestische chain-of-thought" kan dienen voor zeer expressieve gesproken dialoogsystemen en interpreteerbare generatie voor instructie-gebaseerde TTS kan bieden.

Het werk positioneert zichzelf niet louter als een incrementele verbetering van natuurlijkheid, maar als een structurele verschuiving naar expliciete, controleerbare en ontkoppelde spraaksynthese.