Résumé Technique : UniVoice

Problématique

La synthèse de la parole (TTS) et la synthèse de voix chantée (SVS) partagent l'objectif de générer de l'audio vocal humain à partir d'entrées symboliques, mais imposent des exigences fondamentalement contradictoires sur le processus de génération. La TTS repose sur une prosodie flexible, pilotée par la langue et déduite du contexte linguistique, tandis que la SVS nécessite un contrôle mélodique explicite (par exemple, des notes MIDI) et un alignement rythmique précis.

L'entraînement d'un modèle unique et unifié sur des données mixtes est difficile car les sémantiques de conditionnement sont incompatibles : les conditions de mélodie doivent agir comme des contraintes fortes pour le chant, mais ne doivent pas restreindre la prosodie naturelle et dépendante du contexte de la parole. Un entraînement conjoint naïf force le modèle à attribuer des significations conflictuelles aux conditions liées à la mélodie, ce qui entraîne une interférence de gradient et une dégradation de la qualité de génération pour les deux modalités.

Méthodologie

UniVoice est un cadre unifié pour la génération de parole et de chant basé sur le Flow Matching Conditionnel (CFM) avec une architecture Diffusion Transformer (DiT). L'innovation centrale réside dans le conditionnement factorisé et un jeton de mélodie nulle appris (learned null melody token).

1. Architecture

Le modèle utilise un squelette DiT partagé (adapté de Wan-DiT) avec 24 couches, 16 têtes d'attention et environ 0,3 milliard de paramètres. Il opère sur des caractéristiques latentes extraites par un VAE Song Bloom à 25 Hz.

• Squelette Partagé : La parole et le chant sont tous deux traités comme des modes conditionnels d'un même flux continu.
• Modulation Adaptative : Un Jeton de Tâche (Task Token) léger (indiquant « parole » ou « chant ») est injecté via une Normalisation de Couche Adaptative (AdaLN) pour moduler le squelette partagé sans introduire de têtes spécifiques à chaque tâche.

2. Conditionnement Factorisé

Pour résoudre le conflit de représentation, UniVoice décompose le signal de conditionnement $c$ en quatre axes orthogonaux :

• Contenu ($c_{cnt}$) : Séquences de phonèmes encodées par un encodeur basé sur ConvNeXt.
• Mélodie ($c_{mel}$) :
  • Pour le Chant : Encodée sous forme de séquences de notes MIDI via un encodeur Conformer.
  • Pour la Parole : Remplacée par un jeton de mélodie nulle appris ($e_\emptyset$). Ce jeton signale au modèle d'inférer la prosodie à partir du contexte linguistique et acoustique plutôt que de contraintes mélodiques explicites.
• Timbre ($c_{tmb}$) : Dérivé d'un échantillon audio de référence de 3 à 10 secondes, encodé via le même VAE utilisé pour l'audio cible. Cela permet le clonage de voix zero-shot à travers les deux modalités.
• Jeton de Tâche ($c_{tsk}$) : Embedding discret pour distinguer les modes de génération.

3. Justification Théorique

L'article postule que le jeton nul appris agit comme une approximation amortie efficace de la marginalisation de la mélodie. Dans la génération de parole, le champ de vecteurs idéal doit marginaliser sur toutes les réalisations mélodiques possibles. Le jeton nul permet au modèle d'apprendre la représentation optimale « absente de mélodie » sans interférence des gradients spécifiques au chant, effectuant ainsi un guidage de type classificateur-libre sélectif par axe.

4. Entraînement et Inférence

• Données : Entraîné sur un ensemble de données mixte de 30 000 heures de parole (provenant du jeu de données Emilia) et 35 000 heures de chant (enregistrements en studio et en milieu naturel).
• Entraînement : Utilise une taille de lot de 32 000 trames sur 8 GPU A800 pendant 100 époques. Les conditions (texte, mélodie, échantillon audio) sont supprimées aléatoirement avec une probabilité de 10 % pour permettre le guidage sans classificateur (classifier-free guidance).
• Inférence : Génère l'audio en utilisant un solveur d'ODE d'Euler en 32 étapes. Des échelles de guidage spécifiques aux axes sont appliquées (ex: $w_{txt}=5$ pour le texte, $w_{mel}=1$ pour la mélodie).

Principales Contributions

1. Architecture Unifiée : Un modèle de flow matching unique avec un squelette DiT partagé qui génère à la fois la parole et le chant sans têtes spécifiques à la tâche.
2. Conditionnement Factorisé : Un schéma séparant le contenu, la mélodie et le timbre pour éliminer les conflits de gradient entre la modélisation de la prosodie de la parole et le contrôle de la mélodie du chant.
3. Jeton de Mélodie Nulle Appris : Un mécanisme pour la génération de parole qui remplace les entrées de mélodie explicites par un jeton appris, théoriquement fondé sur la marginalisation d'une variable mélodique.
4. Benchmark UNISINGING-EVAL : Un nouveau benchmark d'évaluation couvrant 12 styles musicaux, conçu pour tester la génération de voix unifiée à travers divers styles, des horodatages au niveau de la phrase et une cohérence cross-modale.

Résultats Expérimentaux

Évalué sur une tâche de génération de phrases croisées avec des clips de 10 secondes :

• Génération de Parole : UniVoice atteint un taux d'erreur de phonème (PER) de 5,26 %, comparable aux systèmes TTS dédiés comme F5-TTS (5,21 %) et CosyVoice3 (5,30 %), malgré l'utilisation de beaucoup moins de données de parole et d'une architecture unifiée. Il obtient le score de naturalité de la parole le plus élevé (S-MOS 3,76) parmi les modèles unifiés.
• Génération de Chant : UniVoice atteint un PER de 16,22 % et une similitude de locuteur (SIM) de 35,70 %. Cela surpasse nettement le modèle unifié de base Vevo1.5 (PER 45,07 %) et le modèle de chant dédié Soul-X-Singer (PER 26,22 %).
• Efficacité : Avec seulement 0,3 milliard de paramètres et 65 000 heures d'entraînement, UniVoice surpasse les modèles unifiés plus larges (Vevo1.5, 1 milliard de paramètres) et les modèles de chant dédiés, démontrant l'efficacité du conditionnement factorisé.

Les études d'ablation confirment que :

• La suppression du conditionnement factorisé provoque une dégradation sévère (le PER de la parole passe à 12,31 % ; le PER du chant à 23,45 %).
• Le jeton de mélodie nulle appris est supérieur à un vecteur nul fixe.
• Les jetons de tâche sont essentiels pour l'adaptation de la modalité.
• Le conditionnement mélodique explicite est critique pour le chant mais préjudiciable s'il est imposé à la parole.

Signification et Limites

Signification :
UniVoice démontre qu'un seul modèle peut efficacement combler le fossé entre la parole et le chant en découplant leurs exigences de conditionnement conflictuelles. Il établit un nouveau standard pour la génération de voix unifiée, offrant une qualité compétitive aux systèmes dédiés tout en permettant une identité de locuteur cohérente à travers les styles de parole et de chant. L'introduction de UNISINGING-EVAL répond au manque de benchmarks complets pour ce domaine émergent.

Limites :

• Similitude du Locuteur : Il subsiste un écart de similitude de locuteur (SIM) par rapport aux systèmes dédiés à la parole, indiquant un compromis entre le partage cross-modal et la fidélité du clonage de voix.
• Portée Linguistique : L'évaluation est actuellement limitée à l'anglais et au chinois.
• Latence : Le processus d'échantillonnage de l'ODE en 32 étapes introduit une latence plus élevée par rapport aux méthodes de génération en quelques étapes.
• Couverture de Style : Les styles vocaux mixtes comme le rap ou le chant parlé ne sont pas explicitement modélisés.
• Risques Éthiques : La capacité de clonage de voix zero-shot à travers les modalités soulève des préoccupations concernant les deepfakes et le droit d'auteur, nécessissant des mesures de déploiement responsable telles que le tatouage numérique et l'enrôlement basé sur le consentement.