⚡ electrical engineering

WordVoice: Explicit and Decoupled Multi-Dimensional Word-Level Control for LLM-Based TTS

Le papier introduit WordVoice, un cadre unifié qui répond aux limitations de contrôle à grain grossier des TTS basés sur les LLM en exploitant un ensemble de données massif, annoté selon cinq dimensions, et un nouveau mécanisme de jetons liés pour permettre une manipulation explicite, découplée et précise des attributs acoustiques tels que la durée, la hauteur et l'énergie au niveau du mot.

Auteurs originaux : Sihang Nie, Jinxin Ji, Xiaofen Xing, Deyi Tuo, Chengbin Jin, Jialong Mai, Xiangmin Xu

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sihang Nie, Jinxin Ji, Xiaofen Xing, Deyi Tuo, Chengbin Jin, Jialong Mai, Xiangmin Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez un film, mais que les acteurs (la voix de l'IA) improvisent. Ils sonnent bien et de manière naturelle, mais vous ne pouvez pas leur dire exactement comment prononcer un mot spécifique. Vous ne pouvez pas dire : « Fais une pause d'une fraction de seconde ici », ou « Fais en sorte que ce mot ait l'air colérique », ou « Chante cette note plus haut ». Vous devez espérer que l'IA devine votre intention correctement.

Cette publication présente WordVoice, un nouveau système qui offre aux réalisateurs (utilisateurs) une télécommande pour chaque mot d'une phrase. Cela transforme l'IA, passant d'un acteur qui improvise à un interprète respectant scrupuleusement le script et suivant vos instructions exactes.

Voici comment ils ont procédé, expliqué par des analogies simples :

1. Le problème : La télécommande « floue »

Les systèmes de voix IA actuels sont comme une télécommande qui n'aurait que quelques gros boutons : « Joyeux », « Triste » ou « Rapide ». Si vous voulez changer la hauteur de just un seul mot dans une longue phrase, la télécommande ne fonctionne pas. L'IA traite toute la phrase comme un gros bloc de son, ceant impossible d'ajuster précisément des parties individuelles.

2. La solution : Un immense « manuel d'instructions » (WordVoice-5A)

Pour apprendre à l'IA à écouter ces instructions minuscules et spécifiques, les chercheurs ont d'abord dû construire une immense bibliothèque d'exemples.

L'analogie : Imaginez essayer d'apprendre le piano à un élève en ne lui montant que des chansons entières. Il apprendra l'ambiance générale, mais il ne saura pas comment frapper une note spécifique avec une force précise.
Ce qu'ils ont fait : L'équipe a créé WordVoice-5A, un ensemble de données de 4 700 heures de parole (une immense bibliothèque !). Ils n'ont pas seulement étiqueté la phrase entière ; ils sont allés mot par mot et ont écrit cinq « instructions » spécifiques pour chaque mot :
1. Durée : Combien de temps dure le mot.
2. Frontière : Y a-t-il une pause avant ou après lui ?
3. Énergie : À quel point il est fort ou accentué.
4. Hauteur (Pitch) : Si la voix est aiguë ou grave.
5. Ton : La forme de la mélodie (montante, descendante, plate, etc.).

Ils ont utilisé un processus rigoureux, guidé par des linguistes, pour s'assurer que ces étiquettes soient parfaites, créant ainsi le « manuel d'instructions » ultime pour l'IA.

3. Le cerveau : Le « planificateur acoustique » (WordVoice-LLM)

Le cœur de leur système est un Grand Modèle de Langage (LLM), qui est le « cerveau » générant la parole.

L'ancienne méthode : Le cerveau se contentait de deviner le son suivant, en espérant qu'il soit correct.
La nouvelle méthode (WordVoice) : Les chercheurs ont ajouté un « jeton de planification » spécial (pensez à un post-it). Avant que l'IA ne prononce un mot, elle s'arrête et écrit un plan sur ce post-it.
- Exemple : « Pour le mot "Bonjour", je vais planifier : 0,5 seconde de durée, haute énergie, hauteur montante. »
- Une fois le plan écrit, l'IA prononce le mot exactement selon ce plan.
La magie : Les utilisateurs peuvent soit laisser l'IA écrire son propre plan (Mode Libre), soit écrire le plan eux-mêmes (Mode Contrôle). Si vous voulez qu'un mot spécifique paraisse dramatique, vous écrivez simplement « Haute Énergie » sur le post-it, et l'IA obéit.

4. La boîte vocale : Le « fine-tuneur » (WordVoice-FM)

Même avec un plan parfait, la « boîte vocale » de l'IA (la partie qui transforme les notes numériques en ondes sonores réelles) peut parfois perdre en détails, comme une photo à basse résolution.

L'analogie : Imaginez que vous avez un plan architectural parfait (le plan), mais que le constructeur utilise des briques grossières. La forme est correcte, mais la texture est ratée.
Ce qu'ils ont fait : Ils ont ajouté un module de « Fine-Tuning » (ajustement fin) à la fin. Ce module regarde le plan et les briques grossières, puis les lisse pour s'assurer que l'onde sonore finale correspond parfaitement au plan. Il comble le fossé entre les « notes » numériques et le « son » continu, garantissant que l'énergie et la hauteur sont exactement ce que vous avez demandé.

5. Les résultats : Un contrôle total

L'équipe a testé ce système par rapport à d'autres outils de voix IA de pointe.

Le verdict : WordVoice permet aux utilisateurs de modifier la durée, la force, la hauteur et le ton de mots spécifiques avec une précision extrême.
Le compromis : La publication note un léger compromis. Parce que l'IA se concentre tellement sur le respect de vos instructions spécifiques pour chaque mot individuel, le « flux naturel » global de la voix est légèrement moins parfait que si elle se contentait d'improviser. Cependant, le gain de contrôle est massif.
La preuve : Lorsqu'ils ont demandé à l'IA de changer le ton ou la longueur d'un seul mot, elle l'a fait avec une grande précision, alors que d'autres systèmes échouaient à effectuer ces changements spécifiques sans dérégler toute la phrase.

Résumé

WordVoice est comme donner à un acteur de doublage un script où chaque mot possède une direction spécifique attachée (par exemple : « Dites ce mot fort », « Dites ce mot lentement »). Cela résout le problème du « contrôle grossier » en décomposant la parole en petites pièces gérables et en offrant à l'utilisateur une télécommande pour chacune d'elles, tout en gardant une voix naturelle et humaine.

Résumé Technique : WordVoice

1. Énoncé du Problème

Les récents systèmes de synthèse vocale (TTS) basés sur les grands modèles de langage (LLM) ont atteint un naturel remarquable, mais reposent principalement sur des paradigmes de génération implicites et de bout en bout. Cette architecture entraîne un contrôle à grain grossier, créant un goulot d'étranglement critique pour les applications nécessitant des interventions précises et déterministes au niveau du mot, telles que la narration de livres audio et le doublage vidéo. Les modèles actuels peinent à manipuler explicitement des attributs acoustiques spécifiques (ex. : durée, énergie, hauteur, ton) pour des mots individuels sans compromettre la stabilité globale. De plus, cette limitation est exacerbée par la rareté des jeux de données annotés à grande échelle et de grain fin, ainsi que par la difficulté architecturale d'intégrer des signaux de contrôle multidimensionnels dans une génération autoregressive discrète.

2. Méthodologie

Les auteurs proposent WordVoice, un cadre unifié qui transforme la génération implicite en un paradigme explicite et hautement contrôlable grâce à une architecture à deux étapes et un nouveau jeu de données massif.

2.1. Fondations de Données : WordVoice-5A

Pour remédier à la rareté des données, les auteurs ont construit WordVoice-5A, un jeu de données bilingue (chinois et anglais) comprenant environ 4 700 heures de parole.

Pipeline d'Annotation : Un pipeline rigoureux, guidé par la linguistique, a été développé impliquant :
- Optimisation des Horodatages : Alignement par double modèle (MFA et Qwen3FA) avec optimisation basée sur l'intensité sonore et des vérifications de cohérence pour garantir des limites de mots de haute précision.
- Attributs Temporels : Extraction de la durée et discrétisation des limites en cinq niveaux (allant de la phonation continue aux pauses au niveau de la période).
- Attributs Acoustiques/Prosodiques : Extraction de l'énergie (moyenne des 50 % supérieurs des trames), de la hauteur (moyenne de F0 des 80 % centraux) et du ton. Le ton est modélisé via une régression morphologique guidée par des experts, cartographiant les contours de F0 continus en sept catégories prosodiques universelles (plat, montant, montée forte, descendant, descente forte, pic, vallée).

2.2. Cadre Architectural

WordVoice opère sur une structure dérivée de CosyVoice3, affinant la génération au niveau de la phrase en un processus de « planification acoustique » au niveau du mot.

Étape 1 : WordVoice-LLM (Planification Macro-Prosodique)

Les auteurs introduisent un mécanisme de jeton de liaison (⟨b⟩) au sein du LLM autoregressif pour restructurer le processus de génération causale.

Planification Acoustique : Lors de la prédiction du jeton de liaison pour un mot, l'état caché du modèle est dirigé vers un décodeur de mots léger pour prédire cinq attributs acoustiques : durée, limite, énergie, hauteur et ton.
Contrôle Explicite : Ces attributs sont intégrés dans un jeton de style et concaténés avec l'incorporation sémantique pour former une condition unifiée. Cela permet deux modes d'inférence :
- Mode Libre : Le modèle planifie la prosodie de manière autonome.
- Mode Contrôle : Les utilisateurs peuvent contourner le décodeur et spécifier manuellement les valeurs d'attributs pour des mots spécifiques, permettant un contrôle déterministe zero-shot sans modifier les poids du LLM.

Étape 2 : WordVoice-FM (Modulation Micro-Acoustique)

Pour combler l'écart de résolution entre les jetons discrets et les formes d'onde continues, un module de modulation acoustique à grain fin est intégré dans l'étape de Flow Matching (FM).

Suréchantillonnage : Les jetons de style au niveau du mot sont suréchantillonnés au niveau de la trame en fonction des durées et des pauses prédites.
Modulation : Ces jetons de style au niveau de la trame sont injectés dans le squelette FM via un module dédié qui génère des paramètres d'échelle ( $\gamma_t$ ) et de décalage ( $\beta_t$ ). Cela guide explicitement la synthèse de la forme d'onde pour qu'elle respecte l'énergie, la hauteur et les limites temporelles planifiées, compensant les détails acoustiques perdus lors de la quantification.

3. Contributions Clés

Fondations de Données : La création et l'ouverture de WordVoice-5A, un jeu de données bilingue de 4,7k heures avec des annotations rigoureuses à cinq dimensions au niveau du mot et un pipeline guidé par la linguistique.
Innovation Architecturale : La proposition du cadre WordVoice, qui combine un processus de « planification acoustique » explicite via des jetons de liaison dans le LLM avec un module de modulation de style à grain fin dans l'étape de Flow Matching.
Contrôle au Niveau du Mot : La démonstration d'un contrôle découplé de haute précision sur plusieurs dimensions acoustiques (durée, limite, énergie, hauteur, ton) au niveau du mot, maintenant une stabilité de synthèse zero-shot compétitive.

4. Résultats Expérimentaux

Des expériences ont été menées sur les ensembles de test WordVoice-5A (chinois et anglais) en utilisant CosyVoice3 comme référence.

Évaluation Subjective : WordVoice-Control a obtenu les scores les plus élevés en Naturalité (N-MOS) et en Contrôle de Style de Mot (Ctrl-MOS), avec des améliorations statistiquement significatives ( $p < 0,01$ ) de la contrôlabilité par rapport à la référence. Bien que la Similitude du Locuteur (Spk-MOS) ait subi un léger compromis dû aux variations localisées, l'expressivité globale a été considérablement renforcée.
Évaluation Objective :
- Précision du Contrôle : En mode Contrôle, WordVoice a considérablement réduit l'Erreur Absolue Moyenne (MAE) pour les attributs continus (Durée, Énergie, Hauteur) et le Taux d'Erreur (ER) pour les attributs discrets (Limite, Ton) par rapport aux références.
- Alignement Temporel : WordVoice a surpassé MagicTTS (une référence solide pour le contrôle temporel) tant pour les métriques de durée que de limite, démontrant une stabilité supérieure lors de la manipulation simultanée de plusieurs attributs.
- Découplage : Les études d'ablation ont confirmé que le mécanisme de contrôle est largement découplé ; la contrainte d'un seul attribut réduit considérablement son erreur spécifique avec un impact minimal sur les autres, exception faite du ton, qui présente un léger enchevêtrement dû à sa nature dynamique.
Études d'Ablation : Le retrait du module WordVoice-FM a entraîné une dégradation significative de la précision de l'énergie et de la hauteur, confirmant sa nécessité pour compenser les pertes de quantification. Inversement, les attributs temporels sont principalement modélisés dans l'étape du LLM.

5. Signification et Revendications

L'article affirme que WordVoice répond à une limitation fondamentale des LLM actuels pour la TTS : l'incapacité d'effectuer un contrôle acoustique de haute précision et de grain fin au niveau du mot. En transformant la génération implicite en un processus explicite et interprétable, le cadre permet :

Interventions Déterministes : Les créateurs peuvent manipuler méticuleusement la durée, l'emphase et l'intonation de mots spécifiques pour transmettre des émotions nuancées ou atteindre un alignement cross-modal strict (ex. : synchronisation labiale).
Contrôle Multidimensionnel Unifié : Contra'irement aux approches précédentes qui étaient souvent unidimensionnelles (ex. : seulement la durée ou seulement l'émotion), WordVoice contrôle simultanément cinq dimensions acoustiques.
Potentiel Futur : Les auteurs suggèrent que ce mécanisme de planification explicite pourrait servir de « chaîne de pensée acoustique » pour des systèmes de dialogue parlé hautement expressifs et fournir une génération interprétable pour la TTS basée sur des instructions.

Ce travail se positionne non pas comme une simple amélioration incrémentale de la naturalité, mais comme un changement structurel vers une synthèse vocale explicite, contrôlable et découplée.