Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer

Cet article propose S2S-ZEST, un cadre de transfert de style émotionnel speech-to-speech sans texte et non parallèle qui permet de transférer les émotions d'une parole de référence à une parole source tout en préservant l'identité du locuteur et le contenu sémantique.

L'essentiel

🎭 Le Magicien des Émotions : S2S-ZEST

Imaginez que vous avez deux amis :

1. Paul, qui vous raconte une blague avec une voix très calme et monotone (le Source).
2. Julie, qui raconte la même blague en riant aux éclats, avec une voix pleine d'enthousiasme (le Référence).

L'objectif de ce papier est de créer un "magicien" numérique capable de prendre l'histoire de Paul, mais de lui donner la voix joyeuse et l'énergie de Julie, tout en gardant l'identité de Paul (pour qu'on ne le confonde pas avec Julie) et le sens exact de ses mots.

Ce magicien s'appelle S2S-ZEST.

🧩 Comment fonctionne ce magicien ? (Le processus en 3 étapes)

Le système fonctionne comme une usine de montage très intelligente qui sépare les ingrédients d'une voix pour les mélanger ensuite.

1. L'Analyse : Le Démontage du Lego
Quand le système écoute une voix, il ne l'écoute pas comme un tout. Il la déconstruit en quatre pièces de Lego distinctes :

• Le Contenu (Les mots) : C'est l'histoire racontée. Le système utilise une technologie avancée (des "tokens") pour comprendre ce qui est dit, sans se soucier de qui le dit.
• L'Identité (Le visage) : C'est la signature unique de la voix (la gravité, le timbre). C'est ce qui fait que Paul reste Paul.
• L'Émotion (Le costume) : C'est l'humeur (joie, colère, tristesse). C'est ce qui fait que Julie semble joyeuse.
• Le Rythme et la Hauteur (La musique) : C'est la mélodie de la voix (le "F0") et la vitesse à laquelle on parle.

2. Le Mélange : La Recette du Magicien
C'est ici que la magie opère. Le système prend les ingrédients de Paul (ses mots et son identité) et y injecte les ingrédients de Julie (son émotion et son rythme).

• Il dit à la voix de Paul : "Reste toi-même, mais parle comme si tu étais dans l'état d'esprit de Julie."
• Le système apprend à prédire comment l'émotion de Julie modifie la durée des mots et la mélodie de la voix de Paul.

3. La Reconstruction : La Création de la Nouvelle Voix
Une fois les ingrédients mélangés, le système utilise un synthétiseur très puissant (appelé BigVGAN) pour "recoudre" le tout et générer un fichier audio nouveau. Le résultat ? On entend Paul, mais il raconte sa blague avec l'énergie débordante de Julie.

🚀 Pourquoi est-ce une révolution ?

Avant ce travail, pour faire cela, il fallait souvent :

• Des milliers d'heures d'enregistrements de la même personne parlant avec différentes émotions (très cher et difficile à obtenir).
• Ou alors, le système confondait l'émotion et l'identité : si on demandait de mettre de la colère sur la voix de Paul, le système transformait parfois Paul en quelqu'un d'autre (comme un méchant de film).

S2S-ZEST change la donne grâce à deux super-pouvoirs :

1. Zéro-shot (Sans entraînement préalable) : Il n'a pas besoin de voir Paul en colère pour apprendre à le mettre en colère. Il peut prendre n'importe quelle voix et lui donner n'importe quelle émotion, même si cette combinaison n'a jamais été vue pendant l'apprentissage. C'est comme un acteur qui peut jouer n'importe quel rôle sans avoir répété le texte à l'avance.
2. Le Découplage parfait : Il réussit à séparer l'émotion de l'identité. On garde la voix de l'acteur, mais on change son jeu d'acteur.

🎯 À quoi ça sert dans la vraie vie ?

• Pour les jeux vidéo et les films : Imaginez pouvoir changer l'émotion d'un personnage dans un jeu vidéo en temps réel, ou donner une voix de "méchant" à un narrateur neutre sans avoir besoin de réenregistrer tout le film.
• Pour les assistants vocaux : Votre assistant personnel pourrait vous répondre avec plus d'empathie si vous êtes triste, ou avec plus d'enthousiasme si vous êtes excité, en gardant sa propre voix.
• Pour l'entraînement des IA : Les chercheurs utilisent cette technologie pour créer des milliers de nouvelles voix émotionnelles afin d'entraîner de meilleures IA à reconnaître les émotions humaines.

🏆 Le verdict

Les tests montrent que ce système est le meilleur de sa catégorie. Il réussit à transférer l'émotion de manière très convaincante (on dirait vraiment que la personne est heureuse ou en colère) tout en gardant la voix d'origine intacte. C'est comme si on avait trouvé la clé pour copier-coller l'âme d'une voix sur le corps d'une autre, sans jamais casser le corps.

En résumé : S2S-ZEST, c'est l'art de donner une nouvelle âme émotionnelle à une voix existante, sans la trahir.

Résumé technique

1. Problématique

Le transfert de style émotionnel (Emotion Style Transfer - EST) vise à modifier l'expression émotionnelle d'un signal de parole tout en préservant l'identité du locuteur et le contenu linguistique.
Les défis majeurs identifiés dans la littérature sont :

• Dépendance aux données parallèles : Les approches traditionnelles nécessitent des ensembles de données où un même locuteur prononce le même contenu avec différentes émotions, ce qui est coûteux et difficile à obtenir à grande échelle.
• Enchevêtrement des représentations (Entanglement) : Les méthodes existantes ont souvent du mal à séparer l'identité du locuteur du style émotionnel, ce qui empêche un transfert efficace vers des locuteurs non vus (unseen speakers).
• Contrôle de la prosodie : La gestion fine de la durée (rythme) et de la contour de pitch (F0) lors du transfert est complexe sans modèle de texte.

L'objectif de cet article est de proposer un cadre zero-shot (sans entraînement spécifique sur les paires source-cible) pour le transfert de style émotionnel parole-à-parole (S2S), fonctionnant dans un environnement sans texte (textless) et non parallèle.

2. Méthodologie : Le cadre S2S-ZEST

Les auteurs proposent S2S-ZEST (Speech-to-Speech Zero-shot Emotion Style Transfer), un pipeline d'analyse-synthèse basé sur l'apprentissage automatique.

A. Pipeline d'Analyse (Extraction des facteurs)

Le système décompose la parole d'entrée en cinq composantes distinctes :

1. Tokens sémantiques : Utilisation d'un encodeur de contenu basé sur soft-HuBERT (modèle auto-supervisé) dont les embeddings continus sont discrétisés via un clustering k-means. Cela permet de capturer le contenu linguistique tout en permettant un contrôle de la durée.
2. Représentation du locuteur : Extraction via un encodeur de locuteur pré-entraîné (ECAPA-TDNN). Pour éviter que l'émotion ne s'infiltre dans cette représentation, un loss adversaire est appliqué pour désenchevêtrer l'identité du locuteur de l'émotion.
3. Embeddings émotionnels : Un classificateur d'émotion (basé sur HuBERT) extrait des embeddings au niveau des trames et au niveau de l'énoncé. Un loss adversaire de locuteur est également utilisé ici pour garantir que l'embedding émotionnel ne contient pas d'informations sur l'identité du locuteur.
4. Contour de pitch (F0) : Un module de reconstruction de pitch utilise une attention croisée (Cross-Attention) où les tokens de contenu servent de requêtes, et les embeddings combinés (locuteur + émotion) servent de clés et de valeurs. Cela permet de générer un pitch conditionné par l'émotion cible et l'identité du locuteur source.
5. Prédiction de durée : Un prédicteur de durée estime la durée de chaque token unique (après dé-duplication) en fonction du contenu source, de l'identité du locuteur et de l'émotion de référence.

B. Pipeline de Synthèse

La reconstruction de la parole est effectuée par un vocodeur BigVGAN.

• Entrées : La séquence de tokens (avec les durées prédites), l'embedding du locuteur, l'embedding émotionnel (de la référence) et le contour de pitch reconstruit.
• Objectif d'entraînement : Le modèle est entraîné avec une perte de reconstitution (auto-encodeur) pour apprendre à générer une parole naturelle à partir de ces facteurs factorisés.

C. Phase de Transfert de Style

Lors de l'inférence pour le transfert de style :

• Les tokens et l'identité du locuteur sont extraits de la parole source.
• Les embeddings émotionnels et les durées sont dérivés de la parole de référence (style cible).
• Le synthétiseur BigVGAN combine ces éléments pour générer la parole convertie, imitant l'émotion de la référence tout en conservant le contenu et la voix de la source.

3. Contributions Clés

• Architecture sans texte et zero-shot : Le cadre fonctionne entièrement sans transcriptions textuelles et sans données parallèles, permettant un transfert vers des locuteurs et des émotions non vus lors de l'entraînement.
• Amélioration des composants :
  • Remplacement de HuBERT standard par soft-HuBERT pour une meilleure intelligibilité et un contrôle de la durée.
  • Utilisation de BigVGAN comme vocodeur au lieu de HiFi-GAN, offrant une meilleure qualité de synthèse.
  • Introduction d'un prédicteur de durée explicite qui permet de moduler le rythme en fonction de l'émotion cible.
• Désenchevêtrement robuste : Utilisation de losses adversaires pour garantir que les embeddings de locuteur et d'émotion sont indépendants l'un de l'autre, crucial pour la généralisation.
• Application en Augmentation de Données : Démonstration de l'utilité du modèle pour améliorer les tâches de reconnaissance d'émotions (SER) en générant des données d'entraînement synthétiques.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des ensembles de données comme ESD, CREMA-D et TIMIT, avec des métriques objectives et subjectives.

• Transfert d'émotion : S2S-ZEST obtient les scores de similarité d'émotion les plus élevés (moyenne de 0,61) par rapport aux méthodes de base (StarGANv2-EST, VEVO, ZEST), y compris dans les scénarios "unseen" (locuteurs et émotions non vus).
• Préservation du contenu : Le taux d'erreur de mots (WER) reste faible, indiquant que le contenu linguistique est bien préservé. La variante "diverse" (entraînée sur plus de données) améliore encore ce point.
• Préservation du locuteur : Bien que VEVO ait un score légèrement supérieur en préservation de la voix, S2S-ZEST montre une bonne généralisation, surtout avec la variante entraînée sur des données diversifiées.
• Évaluations subjectives (MOS) : Les tests d'écoute confirment que S2S-ZEST est perçu comme ayant une meilleure similarité émotionnelle et une meilleure qualité globale que les méthodes de référence.
• Robustesse au bruit : Le modèle maintient une bonne similarité émotionnelle même lorsque la parole source est bruitée (SNR 10-20 dB), bien que l'intelligibilité (WER) diminue légèrement.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de la synthèse vocale expressive :

1. Démocratisation du transfert de style : En éliminant le besoin de données parallèles coûteuses, le cadre S2S-ZEST rend le transfert d'émotion accessible pour des applications réelles avec des données limitées.
2. Généralisation : La capacité à transférer des émotions vers des locuteurs jamais vus et des émotions non présentes dans l'ensemble d'entraînement ouvre la voie à des systèmes de dialogue plus naturels et adaptatifs.
3. Outil d'augmentation : La démonstration de l'amélioration des modèles de reconnaissance d'émotions (SER) grâce à l'augmentation de données générées par ce modèle souligne son utilité pratique pour entraîner des IA plus robustes.
4. Architecture modulaire : L'approche factorisée (séparation stricte du contenu, du locuteur, de la durée et de l'émotion) offre une base solide pour de futures recherches sur le contrôle fin de la parole générée.

En résumé, S2S-ZEST propose une solution élégante et performante pour le transfert de style émotionnel, combinant des techniques d'apprentissage auto-supervisé, de désenchevêtrement de facteurs et de génération vocale de haute fidélité.