Résumé Technique : Entraînement de Bout en Bout pour un Système TTS basé sur des Tokens Discrets

Problématique

Les systèmes de synthèse vocale (TTS) de pointe (SOTA) actuels reposent généralement sur un pipeline en cascade comprenant un tokenizer de parole, un Grand Modèle de Langage (LLM) autorégressif et un modèle de flux de correspondance (Flow-Matching - FM) basé sur la diffusion. Ces composants sont traditionnellement conçus et entraînés indépendamment, ce qui entraîne trois limitations principales :

1. Objectifs mal alignés : Les tokenizers sont pré-entraînés à l'aide d'objectifs de substitution (par exemple, la précision de l'ASR, la qualité de la représentation SSL ou la fidélité de l'auto-encodage) qui peuvent ne pas être alignés avec les besoins en aval de la prédiction de tokens autorégressifs ou de la reconstruction par FM. Cela entraîne souvent un comportement de bout en bout sous-optimal, où l'augmentation de l'expressivité des tokens (par exemple, des codebooks plus larges) bénéficie à la reconstruction mais augmente la difficulté d'apprentissage pour le LLM.
2. Représentations de tokens opaques : En raison de la nature "boîte noire" des réseaux de neurones, l'information encodée dans les tokens discrets est difficile à démêler. Les tokens contiennent souvent des facteurs de variation entrelacés, redondants et incontrôlables (par exemple, les attributs du locuteur mélangés au contenu sémantique), ce qui introduit de l'ambiguïté dans la prédiction et réduit le contrôle de la synthèse.
3. Décalage Entraînement-Test (Train-Test Mismatch) : Le modèle FM est typiquement entraîné sur des tokens de vérité terrain (ground-truth) plutôt que sur les tokens prédits par le LLM. Par conséquent, les erreurs et les décalages de distribution dans les sorties du LLM se propagent au FM, dégradant la qualité de la synthèse lors de l'inférence. De plus, les LLM entraînés uniquement pour maximiser la vraisemblance des tokens ont tendance à converger vers des générations "sûres" et "moyennes", échouant à capturer la diversité de la prosodie et du style requise pour une TTS expressive.

Bien que des études récentes aient tenté une optimisation conjointe partielle (par exemple, en couplant les tokenizers avec des modèles de diffusion ou les LLM avec des modèles de récompense), les approches existantes échouent souvent à optimiser le système de manière holistique, laissant des incohérences d'interface et des décalages entre l'entraînement et le test dans les composants entraînés indépendamment.

Méthodologie

Le papier propose un cadre d'optimisation entièrement de bout en bout (E2E) qui unifie l'entraînement du tokenizer de parole, du LLM, du modèle FM et d'un modèle de récompense (RM) auxiliaire. Le cadre utilise deux fonctions de perte distinctes et un pipeline d'entraînement en trois étapes.

Composants Fondamentaux

• Tokenizer de Parole : Utilise la Quantification Scalaire Finie (FSQ) pour convertir les signaux de parole en séquences de tokens discrets ($c_{1:T}$) et en représentations quantifiées ($q_{1:T}$).
• Modèle de Récompense (RM) : Un modèle de reconnaissance multi-tâches effectuant la Reconnaissance Automatique de la Parole (ASR), la Reconnaissance d'Émotion du Locuteur (SER) et l'Identification du Locuteur (SPK) sur les représentations de tokens.
• Modèle de Flux de Correspondance (FM) : Un Transformer de Diffusion (DiT) qui reconstruit la parole à partir des représentations de tokens.
• Grand Modèle de Langage (LLM) : Un modèle autorégressif prédisant le token de parole suivant conditionné par le texte d'entrée et les tokens précédents.

Fonctions de Perte

1. Perte de Premier Ordre ($L_1$) :

   • Objectif : Optimise conjointement le tokenizer en utilisant les tokens de vérité terrain.
   • Composantes :
     • $L_{LLM}$ : Perte de prédiction du prochain token.
     • $L_{RM}$ : Somme des pertes ASR (CTC), SER (Cross-Entropy) et SPK (Similarité Cosinus).
     • $L_{FM}$ : Perte de reconstruction par flux de correspondance.
   • Mécanisme : Les gradients de ces tâches sont rétropropagés directement vers le tokenizer, façonnant l'espace des tokens discrets pour qu'il soit acoustiquement et sémantiquement saillant pour le pipeline TTS spécifique.

2. Perte de Second Ordre ($L_2$) :

   • Objectif : Optimise le LLM sous sa propre distribution de génération pour atténuer le décalage entraînement-test.
   • Mécanisme : Le LLM génère des séquences de tokens (en utilisant le Gumbel-Softmax pour la différentiabilité) qui sont injectées dans le FM et le RM. Le système est ensuite optimisé en fonction de la qualité de reconstruction ($L_{LFM}$) et de la cohérence de reconnaissance ($L_{LRM}$) de ces tokens prédits.
   • Effet : Cela agit comme un alignement de type renforcement, encourageant le LLM à générer des tokens qui sont non seulement précis, mais aussi robustes aux exigences de reconstruction et de reconnaissance en aval.

Pipeline d'Entraînement

L'entraînement est réalisé en trois étapes pour assurer la stabilité :

1. Étape 1 : Tous les paramètres sont entraînables avec $L_1$. L'objectif est d'entraîner le tokenizer avec la supervision en aval du RM, du FM et du LLM.
2. Étape 2 : Le tokenizer est gelé. Le RM, le FM et le LLM sont entraînés indépendamment (potentiellement avec des jeux de données différents, par exemple en ajoutant des données bruitées pour le RM).
3. Étape 3 : Le RM est gelé. Le LLM et le FM sont entraînés conjointement avec $L_2$ (perte de second ordre) pour aligner la distribution de génération du LLM avec les capacités de reconstruction du FM.

Principales Contributions

• Cadre E2E Holistique : Le papier introduit un cadre d'entraînement unifié qui optimise simultanément le tokenizer, le LLM, le FM et le RM, dépassant les limites des pipelines en cascade entraînés indépendamment.
• Optimisation à Double Échelon : La distinction entre la Perte de Premier Ordre (supervision par vérité terrain pour le façonnage du tokenizer) et la Perte de Second Ordre (supervision consciente de la génération pour l'alignement du LLM) répond à la fois à l'apprentissage de représentation et au décalage lors de l'inférence.
• Analyse Théorique : Les auteurs formulent l'entraînement du tokenizer de parole comme un problème de codage de source, démontrant que les objectifs E2E proposés maximisent l'entropie des tokens ($H(X_n)$) et la dépendance temporelle ($I(X_{n+1}; X_n)$), conduisant à une utilisation plus efficace du codebook et une meilleure rétention de l'information prédictive.
• Pipeline d'Entraînement Simplifié : La méthode atteint des résultats SOTA avec un processus d'entraînement nettement plus simple par rapport aux systèmes en cascade complexes existants.

Résultats Expérimentaux

Le système a été évalué sur le benchmark Seed-TTS-Eval en utilisant un LLM de 0,6 milliard de paramètres et un modèle FM de 0,5 milliard de paramètres.

• Performance TTS Zero-Shot :
  • A atteint un taux d'erreur de mots (WER) de 0,78 % (Chinois) et 1,56 % (Anglais).
  • Ces résultats représentent un nouveau SOTA pour les systèmes de taille comparable, surpassant les bases en cascade et d'autres modèles récents (ex: Seed-TTS, CosyVoice3, Qwen3-TTS) tant en termes de cohérence de contenu (WER/CER) que de similitude de locuteur (SS).
• Reconstruction et Reconnaissance :
  • Le modèle FM a montré des améliorations substantielles du WER et de la Similitude du Locuteur (SS) entre les étapes d'entraînement, particulièrement lorsque l'entraînement conjoint avec le tokenizer a été introduit.
  • Le RM a démontré des performances robustes en ASR et SER, surpassant les tokenizers S3 et Qwen-TTS sur les tâches ASR en chinois.
• Études d'Ablation :
  • Supprimer l'entraînement E2E (pré-entraînement indépendant du tokenizer) a entraîné des performances inférieures, confirmant le rôle critique de l'optimisation conjointe.
  • L'analyse statistique des distributions de tokens a montré que l'entraînement E2E conduit à une entropie d'information plus élevée et une utilisation plus uniforme du codebook par rapport aux modèles entraînés sans $L_{LLM}$ ou $L_{FM}$.

Signification

Le papier affirme qu'une optimisation de bout en bout (E2E) holistique est cruciale pour améliorer les systèmes TTS basés sur des tokens discrets. En alignant l'apprentissage de représentation du tokenizer directement avec les exigences du LLM et du FM, le système surmonte les problèmes de désalignement et de décalage entraînement-test inhérents aux approches en cascade. Les résultats valident qu'un pipeline d'entraînement beaucoup plus simple, qui unifie l'optimisation de tous les composants, peut produire des performances comparables ou supérieures aux systèmes SOTA actuels tout en réduisant considérablement la complexité de l'infrastructure d'entraînement.