Résumé Technique : TRACE-EVC

Énoncé du Problème

Les systèmes traditionnels de conversion de voix émotionnelle (EVC - Emotional Voice Conversion) reposent sur des conditions cibles explicites — telles que des étiquettes d'émotions discrètes, des énoncés audio de référence ou des descriptions de style absolues — pour guider la génération. Bien qu'efficides, ces paradigmes définissent un état cible fixe mais ne parviennent pas à capturer la direction ou la nature de la transition émotionnelle par rapport à la source. Dans de nombreux scénarios pratiques, les utilisateurs n'ont pas forcément une émotion cible précise en tête, mais souhaitent plutôt modifier l'énoncé source de manière relative (par exemple, « rendre le discours légèrement plus calme » ou « paraître nettement plus confiant »). Les méthodes existantes manquent de la capacité d'interpréter de telles instructions relatives conditionnées par la source, et il existe un manque important de données concernant les jeux de données décrivant des transformations affectives plutôt que des styles d'énoncés statiques.

Méthodologie

Les auteurs proposent TRACE-EVC, un cadre zero-shot pour l'EVC relative guidée par instruction, soutenu par le jeu de données TRACE-Instruct. Le cadre se compose de deux composantes principales :

1. Construction du jeu de données TRACE-Instruct

Pour remédier au manque de données d'entraînement pour les instructions relatives, les auteurs ont construit TRACE-Instruct en utilisant des paires de parole émotionnelle provenant des corpus ESD et MEAD.

• Construction des paires : Des paires source-cible sont formées à travers différentes émotions (inter-émotion) et niveaux d'intensité (intra-émotion).
• Calcul de la différence affective : Un modèle de reconnaissance de l'émotion de la parole (SER - Speech Emotion Recognition) prédit les coordonnées Valence-Arousal-Dominance (VAD) pour les énoncés source ($VAD_{src}$) et cible ($VAD_{tgt}$). Le changement affectif relatif est calculé comme $\Delta VAD = VAD_{tgt} - VAD_{src}$.
• Génération d'instructions : Un grand modèle de langage (LLM, Qwen3) est sollicité avec la description du style source, la description du style cible et le $\Delta VAD$ calculé. Le LLM génère des instructions en langage naturel qui décrivent la transformation (par exemple, « augmenter la vivacité ») plutôt que le style cible absolu.
• Filtrage : Un filtrage basé sur des règles supprime les étiquettes d'émotions explicites, les valeurs VAD numériques et les métadonnées pour garantir que les instructions restent relatives.

2. Cadre TRACE-EVC

Le modèle fonctionne de manière zero-shot, ne nécessitant ni étiquettes cibles ni énoncés audio de référence lors de l'inférence. Il comprend deux modules en cascade :

• Emo-Compass (Prédicteur d'Émotion) :

  • Entrée : Embedding d'émotion source ($z_{src}$) et un embedding d'instruction encodé textuellement ($p$).
  • Représentation : L'embedding d'émotion $z$ concatène un embedding emotion2vec (catégorie), des coordonnées VAD (état affectif continu) et des caractéristiques prosodiques moyennes (F0 et énergie).
  • Mécanisme : Contrairement aux modèles de diffusion qui génèrent à partir de bruit, Emo-Compass modélise la conversion comme un flux rectifié ancré sur la source (source-anchored rectified flow). Il traite l'instruction comme un vecteur de déplacement dans l'espace affectif.
  • Entraînement : Un Transformer $D_\theta$ prédit la vélocité $\hat{v}$ du flux, entraîné pour correspondre au déplacement réel $v^* = z_{tgt} - z_{src}$. La fonction de perte inclut un terme de régression de vélocité et des termes de guidage auxiliaires pour la direction, la catégorie, la reconstruction VAD/prosodie et l'ordre d'intensité.
  • Inférence : En partant de $z_{src}$, le modèle intègre la vélocité prédite sur $K$ étapes d'Euler pour générer l'embedding cible $\hat{z}_{tgt}$.

• Module de Synthèse :

  • Basé sur l'architecture DurFlex-EVC, ce module effectue une conversion zero-shot en utilisant des embeddings continus.
  • Il combine l'embedding du locuteur source avec l'embedding d'émotion cible prédit pour créer une représentation de style cible ($m_{tgt}$).
  • Un régulateur de durée et un décodeur de diffusion conditionnel génèrent le spectrogramme de Mel, qui est converti en forme d'onde par un vocodeur HiFi-GAN. Ce processus préserve l'identité du locuteur source et le contenu linguistique tout en appliquant le décalage émotionnel instruit.

Principales Contributions

1. Tâche d'EVC relative guidée par instruction : L'introduction d'un nouveau paradigme de tâche où les instructions en langage naturel spécifient des transformations affectives conditionnées par la source (changements catégoriels et modifications d'intensité) plutôt que des états cibles fixes.
2. Jeu de données TRACE-Instruct : Un jeu de données de 0,54 M d'instructions d'émotion relatives couvrant les changements inter-émotions, les modifications d'intensité intra-émotion et les transitions ouvertes, générées via des LLM guidés par les différences VAD.
3. Cadre TRACE-EVC : Un système zero-shot comprenant Emo-Compass, qui repense l'EVC basée sur les prompts en ancrant le processus génératif sur l'embedding source et en modélisant l'instruction comme une vélocité de flux rectifié. Cela permet un contrôle flexible sans étiquettes cibles ni audio de référence.
4. Validation Empirique : Expérimentations approfondies démontrant que le système suit avec précision les instructions relatives tout en préservant l'identité du locuteur, le contenu linguistique et la qualité de la parole.

Résultats Expérimentaux

Conversion Inter-Émotion (Jeu de données ESD)

• Performance : TRACE-EVC a atteint les scores les plus élevés pour la similitude d'émotion (EECS : 0,82), la similitude de locuteur (SECS : 0,68) et la précision de classification d'émotion (ACCcls : 93,00 %) parmi les bases de comparaison (incluant les modèles SGEVC/DurFlex-EVC basés sur les étiquettes et ZEST/VEVO basés sur la référence).
• Qualité : Il a maintenu un taux d'erreur de mots compétitif (WER : 9,96 %) et des scores UTMOS (3,57), indiquant une intelligibilité et une naturalité élevées.
• Ablation : Le retrait d'Emo-Compass et la simple concaténation d'embeddings entraînent une chute significative de l'EECS (0,65) et de l'ACCcls (43,08 %), validant la nécessité de prédire explicitement l'embedding cible via le flux.

Conversion d'Intensité Intra-Émotion (Jeu de données MEAD)

• Capacité Zero-Shot : Évalué sur des locuteurs non vus, TRACE-EVC a obtenu des scores NISQA (3,147) proches de la vérité terrain (3,248), démontrant une grande naturalité.
• Contrôle d'Intensité : Le système a montré des augmentations monotones des décalages de moyenne d'arousal correspondant à la force de l'instruction (par exemple, « légère augmentation » vs « forte augmentation »), confirmant un contrôle précis de l'intensité émotionnelle.
• Préservation du Locuteur : Le SECS est resté stable (0,706 pour les locuteurs non vus), indiquant une robuste préservation de l'identité du locuteur.

Suivi des Instructions

L'évaluation subjective par 15 évaluateurs a produit des scores de suivi d'instruction (IF) élevés : 4,135 pour les réglages inter-émotions et 4,296 pour les réglages intra-émotion (sur une échelle de 1 à 5).

Analyse des Composantes (Emo-Compass)

• Indices Affectifs : Les études d'ablation ont confirmé que si emotion2vec fournit une forte précision au niveau de la catégorie, l'inclusion des caractéristiques VAD et prosodiques est critique pour les métriques continues. Le retrait du VAD a augmenté la distance L2 du VAD et l'erreur quadratique moyenne (MSE) de l'intensité ; le retrait de la prosodie a davantage dégradé la cohérence de l'intensité.

Signification et Revendications

L'article affirme que TRACE-EVC comble avec succès le fossé entre les instructions en langage naturel et le contrôle émotionnel fin dans la conversion de voix. En passant d'une génération orientée vers la cible à une transformation relative conditionnée par la source, le cadre permet un contrôle plus intuitif et flexible (par exemple, « plus calme », « plus expressif ») sans exiger que les utilisateurs spécifient une étiquette d'émotion cible ou fournissent un enregistrement de référence. Le travail démontre que modéliser le changement émotionnel comme un déplacement dans un espace affectif continu (via le flux rectifié) est une stratégie efficace pour l'EVC zero-shot, atteignant des performances compétitives avec les systèmes de pointe sur les tâches catégorielles standards tout en permettant de nouvelles capacités de contrôle de l'intensité relative et de l'affect ouvert.