⚡ electrical engineering

Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS

Ce papier propose une stratégie de sélection de prompts en deux étapes, combinant des évaluations statiques et dynamiques, afin d'améliorer l'intensité émotionnelle et la cohérence de l'identité de l'orateur dans la synthèse vocale zéro-shot pilotée par des modèles de langage.

Auteurs originaux : Haoyu Wang, Chunyu Qiang, Tianrui Wang, Cheng Gong, Yu Jiang, Yuheng Lu, Chen Zhang, Longbiao Wang, Jianwu Dang

Publié 2026-04-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoyu Wang, Chunyu Qiang, Tianrui Wang, Cheng Gong, Yu Jiang, Yuheng Lu, Chen Zhang, Longbiao Wang, Jianwu Dang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎙️ Le Problème : Le "Mauvais Copain" de l'IA

Imaginez que vous avez un chanteur d'IA très talentueux (un modèle de synthèse vocale). Il peut imiter n'importe quelle voix et chanter n'importe quelle émotion. Mais il y a un hic : pour bien chanter, il a besoin d'une référence.

Actuellement, pour dire à l'IA : "Chante cette phrase en étant triste", on lui donne un petit extrait audio (une "prompt") d'une voix triste. Le problème, c'est que souvent, on choisit cet extrait au hasard, comme si on tirait une carte au hasard dans un jeu.

Parfois, l'extrait est triste, mais la voix est bizarre.
Parfois, l'extrait est triste, mais l'IA ne comprend pas quelle tristesse il faut imiter (est-ce une tristesse calme ou un chagrin d'amour ?).
Résultat : L'IA chante parfois faux, ou avec une émotion qui ne correspond pas à ce qu'on voulait.

💡 La Solution : ExpPro (Le Chef de Chœur Intelligents)

Les chercheurs de cet article ont créé une méthode appelée ExpPro. Au lieu de choisir une référence au hasard, ils ont mis en place un processus de sélection en deux étapes, comme un casting très rigoureux pour trouver le meilleur acteur pour un rôle.

Étape 1 : Le Casting "Statique" (Avant le spectacle)

Imaginez que vous avez une grande boîte remplie de centaines d'enregistrements de voix (des candidats). Avant même de savoir quelle chanson on va chanter, on filtre ces candidats selon trois critères stricts :

Le "Tempérament" de la voix (La Hauteur) : On analyse la voix pour voir si elle a le "feu" nécessaire. Une voix en colère doit avoir des variations de hauteur (comme un tonnerre), tandis qu'une voix triste doit être plus plate et douce. On utilise un algorithme (K-Means) pour trier les voix qui ont le "bon" tempérament émotionnel.
La "Qualité" de la voix (Le Micro) : On vérifie si la voix est claire et naturelle, comme si on testait la qualité d'un micro de studio. On rejette les voix qui ont du bruit ou qui sonnent robotiques.
La "Cohérence" du texte (Le Scénario) : On demande à un grand cerveau artificiel (un LLM, comme un ChatGPT) de lire le texte de l'enregistrement et de dire : "Est-ce que ce texte correspond vraiment à l'émotion affichée ?". Si quelqu'un dit "Je suis heureux" avec une voix de mort, on le rejette.

Résultat de l'étape 1 : On garde seulement les 10 ou 20 meilleurs candidats qui ont la bonne voix, la bonne qualité et le bon texte.

Étape 2 : Le Casting "Dynamique" (Pendant le spectacle)

Maintenant, imaginons que vous voulez que l'IA dise : "Oh non, j'ai perdu mon chat !" (Triste).
Même parmi nos 20 meilleurs candidats sélectionnés à l'étape 1, certains sont tristes d'une manière, d'autres d'une autre.

Le candidat A est triste comme un chien abandonné.
Le candidat B est triste comme quelqu'un qui a raté un examen.

L'étape 2 utilise un outil de comparaison de texte pour regarder votre phrase "Oh non, j'ai perdu mon chat !" et trouver le candidat dont la voix correspond parfaitement à cette situation spécifique. C'est comme choisir le bon acteur pour le rôle précis que vous jouez aujourd'hui.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cette méthode avec des IA de pointe (comme CosyVoice et GPT-SoVITS). Les résultats sont impressionnants :

Plus d'émotion : La voix de l'IA est beaucoup plus expressive. Quand elle pleure, on a vraiment envie de pleurer avec elle.
Plus de stabilité : La voix de l'IA reste cohérente. Elle ne change pas de personnalité au milieu de la phrase.
Zéro entraînement : Le plus beau, c'est qu'ils n'ont pas eu besoin de réapprendre l'IA. Ils ont juste amélioré la façon de lui donner ses "instructions" (les prompts). C'est comme donner un meilleur script à un acteur déjà célèbre, sans avoir à le rééduquer.

🎭 En Résumé avec une Analogie Culinaire

Imaginez que vous voulez faire un gâteau (la voix synthétisée).

La méthode actuelle : Vous prenez n'importe quel œuf dans le frigo (au hasard) et vous espérez que le gâteau sera bon. Parfois, c'est raté.
La méthode ExpPro :
1. Vous inspectez tous les œufs (Étape 1) : vous jetez ceux qui sont cassés, ceux qui sont trop vieux, et vous ne gardez que les œufs frais et de bonne qualité.
2. Vous regardez la recette (le texte) : si vous faites un gâteau au chocolat, vous choisissez l'œuf qui va le mieux avec le chocolat, pas celui qui irait mieux avec un gâteau au citron.

Grâce à cette méthode, le gâteau (la voix) est toujours délicieux, parfaitement dosé, et correspond exactement à ce que vous aviez en tête.

C'est cela que propose cette recherche : transformer le hasard en une science précise pour que les voix artificielles soient enfin aussi expressives et humaines que nous le souhaitons.

1. Problématique

Les systèmes de synthèse vocale (TTS) basés sur les grands modèles de langage (LLM) permettent désormais une génération "zero-shot" (sans entraînement spécifique) en utilisant des invites (prompts) audio pour contrôler le timbre, l'identité du locuteur et l'émotion. Cependant, la qualité de la sortie dépend fortement de la sélection de l'invite audio d'entrée.

Les méthodes actuelles de sélection d'invites souffrent de limitations majeures :

Sélection aléatoire : Ne garantit pas une intensité émotionnelle suffisante ni une stabilité de l'identité du locuteur.
Sélection basée uniquement sur le texte : Se concentre sur la similarité sémantique entre le texte d'entrée et le texte de l'invite, négligeant souvent la corrélation entre le texte et l'émotion réelle souhaitée, ainsi que la qualité acoustique intrinsèque de l'invite.

Le défi central est d'améliorer l'intensité émotionnelle et la cohérence du locuteur dans le TTS zero-shot sans entraînement supplémentaire du modèle, en optimisant la sélection de l'invite.

2. Méthodologie : ExpPro

Les auteurs proposent une stratégie de sélection d'invites en deux étapes, nommée ExpPro, conçue spécifiquement pour la synthèse vocale expressive.

A. Étape Statique (Avant la synthèse)

Cette phase vise à filtrer les candidates d'invites en évaluant leur qualité intrinsèque et leur performance au sein du modèle TTS spécifique. L'évaluation repose sur trois dimensions principales :

Caractéristiques Prosodiques (Pitch) :
- Analyse de la fréquence fondamentale (moyenne et variance).
- Utilisation de l'algorithme K-Means pour regrouper les invites selon leurs profils émotionnels (ex: la colère et la surprise ont une moyenne et une variance élevées, tandis que la tristesse et le calme ont des valeurs plus basses).
- Sélection des clusters les plus adaptés à l'émotion cible.
Qualité Perceptuelle et Cohérence Textuelle :
- Qualité Perceptuelle : Utilisation de DNSMOS (Deep Neural Network for Speech Quality) pour évaluer la clarté et le naturel de l'audio.
- Cohérence Textuelle : Utilisation de l'API ChatGPT pour évaluer la correspondance sémantique entre le texte de l'invite et l'étiquette émotionnelle visée. Les scores DNSMOS et de cohérence sont combinés pour sélectionner le top $n\%$ des données les plus expressives.
Performance du Modèle (Prompt Model Performance) :
- Reconnaissant que la même invite peut produire des résultats différents selon le modèle TTS, les auteurs évaluent les invites restantes en les faisant passer par le modèle cible.
- Métriques utilisées : Taux d'erreur de caractères (CER), similarité du locuteur (Resemblyzer, WavLM) et similarité émotionnelle (emotion2vec).
- Un score pondéré combine ces métriques pour retenir les invites qui fonctionnent le mieux avec le modèle spécifique.

B. Étape Dynamique (Pendant la synthèse)

Une fois les meilleures candidates sélectionnées statiquement, cette étape choisit l'invite finale en fonction du texte à synthétiser.

Un modèle de similarité textuelle (stsb-distilroberta-base) compare le texte d'entrée actuel avec les textes des invites candidates.
L'invite la plus sémantiquement pertinente est sélectionnée pour garantir la cohérence contextuelle.

3. Contributions Clés

Stratégie ExpPro : Proposition d'une méthode de sélection d'invites en deux étapes (statique/dynamique) pour le TTS basé sur LLM, sans nécessiter de réentraînement du modèle.
Analyse Multi-perspectives : Intégration de la qualité audio intrinsèque (prosodie, DNSMOS), de la cohérence sémantique (LLM) et de la performance spécifique au modèle (CER, similarité).
Généralité : Une stratégie flexible applicable à n'importe quel modèle TTS utilisant le concept d'invites audio pour améliorer l'expressivité émotionnelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux modèles TTS de pointe (CosyVoice et GPT-SoVITS) et deux jeux de données (HE2D et ESD) couvrant cinq émotions (joie, tristesse, colère, surprise, calme).

Comparaison avec les baselines : ExpPro surpasse significativement les méthodes de sélection aléatoire et les méthodes basées uniquement sur le texte (MiniLM).
- Amélioration de l'intensité émotionnelle perçue (MOS) et de la perception de la force émotionnelle (SP).
- Meilleure similarité du locuteur et réduction du taux d'erreur (CER).
Impact de la sélection de modèle : Les résultats montrent que les meilleures invites varient d'un modèle à l'autre, confirmant la nécessité de l'étape d'évaluation "Performance du Modèle".
Études d'ablation :
- La suppression de la sélection basée sur la qualité de l'audio (étape statique) entraîne une baisse notable de la perception de la force émotionnelle (SP).
- La suppression de l'évaluation de la performance du modèle réduit également la qualité globale (MOS), prouvant que la sélection doit être adaptée au modèle cible.

5. Signification et Conclusion

Ce travail démontre que la qualité de la synthèse vocale expressive en mode zero-shot ne dépend pas uniquement de la puissance du modèle de génération, mais aussi crucialement de la stratégie de sélection de l'invite.

En introduisant une approche systématique qui combine l'analyse acoustique, la compréhension sémantique et l'évaluation spécifique au modèle, ExpPro permet de générer une parole plus stable, plus expressive et plus fidèle à l'identité du locuteur. Cette méthode offre une voie prometteuse pour améliorer les systèmes TTS sans coût de calcul supplémentaire lié à l'entraînement, ouvrant la porte à des applications plus robustes dans la synthèse vocale émotionnelle.