Résumé technique : HoliTok

Énoncé du problème

Les modèles de fondation unifiés pour la parole visent à réaliser à la fois la compréhension (par exemple, la reconnaissance) et la génération (par exemple, la synthèse) de la parole au sein d'un espace de paramètres partagé. Cependant, les méthodes de tokenisation de la parole existantes échouent à satisfaire simultanément les exigences contradictoires d'être apprenables par les modèles de langage, décodeables en signaux haute fidélité et informatives pour la compréhension sémantique.

• Les caractéristiques acoustiques traditionnelles (par exemple, les spectrogrammes mel) préservent la structure du signal mais produisent des séquences denses et redondantes, difficiles à apprendre pour les modèles en aval.
• Les représentations auto-supervisées offrent une information sémantique riche mais sont souvent non décodeables naturellement en signaux de haute qualité.
• Les tokeniseurs discrets (basés sur des codecs) compressent la parole en symboles adaptés au langage mais introduisent des artefacts de quantification et une complexité de modélisation.
• Les tokeniseurs continus existants optimisent souvent la reconstruction ou la synthèse de manière isolée, manquant d'un espace de représentation partagé qui soutienne des architectures unifiées de génération-compréhension sans ajustements architecturaux complexes et spécifiques à la tâche.

Par conséquent, la charge de l'unification est déplacée de la représentation elle-même vers des conceptions de modèles de plus en plus complexes, telles que des tokeniseurs multi-flux ou des modules découplés.

Méthodologie

Les auteurs proposent HoliTok, un modèle de tokenisation holistique continue de la parole conçu pour servir d'interface unifiée pour la génération et la compréhension.

Architecture

HoliTok est construit sur une colonne vertébrale de Variational Autoencoder (VAE) à faible latence :

• Encodeur : Un réseau convolutif causal avec une anticipation de 2 trames, réduisant l'échantillonnage de l'audio à 48 kHz vers une séquence à 25 Hz de latents continus de 128 dimensions.
• Goulot d'étranglement variationnel temporel : Un goulot d'étranglement basé sur un LSTM qui introduit de la stochasticité via une astuce de reparamétrisation, régularisé par un flot normalisant pour améliorer l'expressivité.
• Décodeur : Un générateur de style BigVGAN qui reconstruit le signal à 48 kHz à partir de la séquence de latents.
• Réseau de supervision : Un composant conscient de l'aval (encodeur Transformer 0,6B + décodeur Qwen2.5-0,5B) utilisé pour injecter des informations sémantiques et spécifiques à la tâche pendant l'entraînement.

Stratégie d'entraînement progressive

HoliTok emploie une recette d'entraînement progressive en trois étapes pour équilibrer fidélité, apprenabilité et richesse sémantique :

1. Étape I (Auto-encodage haute fidélité) : Un auto-encodeur déterministe est entraîné pour établir une variété de reconstruction fiable en utilisant des pertes spectrales multi-échelles, adversariales et d'appariement de caractéristiques. Cela garantit que le décodeur peut fidèlement reconstruire les signaux avant d'introduire de la stochasticité.
2. Étape II (Transfert de fidélité implicite) : L'encodeur et le décodeur sont figés. Seul le goulot d'étranglement variationnel temporel est entraîné avec une régularisation KL faible. Cela transfère l'espace déterministe vers un espace stochastique tout en maintenant les échantillons de latents proches de la région de décodage haute fidélité, empêchant la perte de détails acoustiques.
3. Étape III (Enrichissement conscient de l'aval) : Le modèle complet (encodeur et goulot d'étranglement) est optimisé conjointement avec un poids KL fort. Cette étape enrichit l'espace latent grâce à :
   • Distillation multi-granularité : Alignement des latents avec des représentations d'enseignant figées (WavLM pour le contexte au niveau de la trame, x-vector pour l'identité du locuteur).
   • Supervision multi-tâches : Utilisation d'un objectif de modélisation du langage pour prédire des cibles de tâche (ASR, émotion, légendage, etc.) conditionnées par la représentation latente. Cela force l'espace latent à conserver les informations critiques pour la compréhension, même si elles ne sont pas strictement nécessaires pour la reconstruction du signal.

Modélisation unifiée en aval

Pour évaluer le tokeniseur, les auteurs construisent un modèle unifié AR+DiT (Autoregressif + Diffusion Transformer) :

• Compréhension : Un LLM traite des patches mélangés de texte et de latents audio pour prédire le prochain token de texte (ASR).
• Génération : Le LLM prédit des états cachés sémantiques, qui conditionnent une tête d'appariement de flux basée sur DiT pour prédire le prochain patch latent (TTS).
• Évaluation : Le système teste si la même séquence de latents peut soutenir de manière robuste les deux tâches sans astuces architecturales supplémentaires.

Contributions clés

1. Tokeniseur HoliTok : Un tokeniseur de parole continu qui encode la parole à 48 kHz en une séquence de latents compacte à 25 Hz et 128 dimensions.
2. Recette d'entraînement progressive : Une stratégie novatrice en trois étapes qui établit séquentiellement la fidélité, introduit une régularité variationnelle et enrichit la sémantique, garantissant que l'espace latent reste à la fois décodeable et apprenable.
3. Interface unifiée : Démonstration qu'une seule représentation continue peut servir efficacement d'interface partagée pour une architecture AR+DiT, soutenant à la fois une synthèse de haute qualité et une reconnaissance précise sans encodeurs spécifiques à la tâche ni plusieurs flux de tokens.

Résultats expérimentaux

Les auteurs évaluent HoliTok sur des tâches de reconstruction, de synthèse de parole et de modélisation unifiée par rapport à des bases de référence telles que Semantic-VAE et MingTok-Audio.

• Reconstruction : HoliTok atteint une fidélité de signal compétitive (PESQ, STOI) avec un taux de compression élevé (7,5×) et une faible latence (25 TPS). Il surpasse les bases de référence dans la préservation de la similarité du locuteur et de l'émotion (SPKSIM, EMOSIM).
• Synthèse de parole : Dans des configurations TTS en zéro-shot et contrôlables, HoliTok démontre une forte apprenabilité, obtenant les meilleurs taux de victoire dans les dimensions expressives et paralinguistiques, et une performance solide en synthèse contrôlable (faible WER, scores CLSP élevés).
• Génération-compréhension unifiée :
  • HoliTok-Base (n'utilisant que les latents VAE) surpasse déjà les bases de référence en intelligibilité TTS tout en maintenant des performances ASR comparables.
  • HoliTok-Unite (incorporant l'encodeur sémantique causal de l'Étape III) améliore davantage à la fois le TTS et l'ASR, réduisant considérablement le WER dans les deux tâches par rapport à HoliTok-Base et aux bases de référence.
  • À l'inverse, des bases de référence comme Semantic-VAE se dégradent fortement en TTS lorsqu'elles sont utilisées dans un contexte unifié, et MingTok-Audio montre un déséquilibre favorisant la compréhension par rapport à la génération.

Importance et revendications

L'article revendique que HoliTok sert de tokeniseur de parole efficace et d'interface de représentation fondamentale pour la modélisation unifiée du langage parlé.

• Robustesse : Contrairement aux représentations existantes qui nécessitent des modifications architecturales complexes ou des conceptions d'entraînement incrémentielles pour unifier les tâches, HoliTok fonctionne de manière robuste dans une architecture AR+DiT unifiée sans astuces d'optimisation supplémentaires.
• Combler le fossé : Il comble avec succès le fossé entre l'abstraction sémantique, la fidélité acoustique et l'apprenabilité du modèle, suggérant qu'un espace continu unique peut satisfaire les exigences conjointes de la génération (préservation acoustique) et de la compréhension (accessibilité sémantique).
• Portée modeste : Les auteurs reconnaissent que leur évaluation actuelle se concentre sur des tâches centrées sur la parole (reconstruction, TTS, ASR). Ils ne revendiquent pas de généralisation à des domaines audio plus larges (par exemple, musique, sons environnementaux) ou à d'autres architectures génératives (par exemple, DiT pur) dans ce travail, notant ces aspects comme des pistes pour des recherches futures.

Le code est disponible à l'adresse : https://github.com/bovod-sjtu/HoliTok.