Résumé Technique : HybridCodec

Problématique

L'adoption rapide des modèles de langage de grande taille multimodaux (MLLM) a établi les codecs audio neuronaux comme des tokenizer de parole essentiels, nécessitant une séparation efficace des informations sémantiques (contenu linguistique) et acoustiques (identité du locuteur, prosody, conditions d'enregistrement). Les approches existantes suivent généralement deux paradigmes, chacun présentant des limitations distinctes :

1. Modèles à double flux (ex. : DualCodec) : Ils utilisent des flux séparés pour les caractéristiques sémantiques et acoustiques, employant souvent un grand modèle d'apprentissage auto-supervisé (SSL) (ex. : w2v-BERT-2.0) pour extraire les représentations sémantiques. Bien qu'ils parviennent à une forte désentrelacement sémantique-acoustique, ils induisent une latence d'inférence élevée en raison de la surcharge de calcul de l'encodeur SSL.
2. Modèles de distillation sémantique (ex. : Mimi, DAC avec distillation) : Ils injectent une supervision sémantique en distillant les représentations SSL dans la première couche de quantification vectorielle résiduelle (RVQ) d'un codec standard. Cela élimine le besoin d'un modèle SSL lors de l'inférence, offrant une latence rapide, mais se traduit généralement par une spécialisation sémantique plus faible dans le premier codebook par rapport aux approches à double flux.

Le défi central abordé par ce travail est d'atteindre le fort désentrelacement sémantique des modèles à double flux tout en maintenant l'efficacité d'inférence des modèles basés sur la distillation, sans nécessiter d'encodeur SSL lourd lors de l'inférence.

Méthodologie

Les auteurs proposent HybridCodec, une architecture unifiée qui intègre la structure à double flux avec la distillation sémantique. Le système fonctionne comme suit :

• Aperçu de l'architecture : Le modèle utilise un encodeur et un décodeur communs basés sur des réseaux de neurones convolutifs (CNN). L'encodeur commun traite les formes d'onde brutes de 24 kHz en représentations latentes, qui sont ensuite divisées en deux branches parallèles : une Branche Sémantique et une Branche Acoustique.
• Branche Sémantique : Cette branche consiste en un encodeur sémantique (SE) et un décodeur sémantique (SD) légers entourant une couche de quantification vectorielle (VQ). Le SE traite les latents de l'encodeur commun pour produire les codes RVQ-1. Crucialement, le SD est entraîné pour distiller l'information sémantique des représentations SSL (spécifiquement les embeddings de la 16ème couche de w2v-BERT-2.0) via une perte de distillation sémantique. Le modèle SSL est gelé pendant l'entraînement et supprimé entièrement lors de l'inférence.
• Branche Acoustique : Cette branche contient un encodeur acoustique (AE) léger, une couche de quantification vectorielle résiduelle (RVQ) et un décodeur acoustique (AD). Pour imposer le désentrelacement, la sortie du décodeur sémantique est soustraite de la sortie de l'encodeur commun avant d'être transmise à l'encodeur acoustique. Cela garantit que la branche acoustique ne modélise que l'information acoustique résiduelle non capturée par la branche sémantique.
• Objectifs d'entraînement : Le modèle est entraîné de bout en bout en utilisant une fonction de perte composite :
  • Perte de reconstruction de spectrogramme ($L_{spec}$) : Perte de spectrogramme Mel multi-échelle pour la fidélité acoustique.
  • Perte de distillation sémantique ($L_{distill}$) : Erreur quadratique moyenne (MSE) entre la sortie du décodeur sémantique et les caractéristiques SSL sous-échantillonnées.
  • Perte de quantification ($L_q$) : Inclut les pertes de codebook et d'engagement pour les deux flux.
  • Perte adversaire ($L_{adv}$) & Perte de correspondance de caractéristiques ($L_{fm}$) : Utilisant des discriminateurs STFT multi-périodiques et multi-échelles pour améliorer le réalisme perceptuel.

Contributions Clés

1. Architecture Unifiée : Le papier introduit HybridCodec, qui combine avec succès le paradigme à double flux avec la distillation sémantique. Cette conception modélise explicitement les informations sémantiques et acoustiques séparément tout en exploitant les connaissances SSL sans nécessiter le modèle SSL lors de l'inférence.
2. Comparaison Systématique : Les auteurs fournissent une comparaison exhaustive des paradigmes de désentrelacement sémantique-acoustique sous un cadre expérimental unifié, analysant les compromis entre performance sémantique, qualité acoustique et vitesse d'inférence dans des contextes in-domain, cross-lingue et zero-shot.
3. Compromis Performance-Vitesse : Le modèle proposé atteint des vitesses d'inférence comparables aux codecs basés sur la distillation tout en préservant le fort désentrelacement sémantique-acoustique caractéristique des modèles à double flux.

Résultats Expérimentaux

Les expériences ont été menées sur le corpus LibriSpeech (in-domain), SeedTTS-en (out-of-domain) et Common Voice French (zero-shot cross-lingual).

• Spécialisation Sémantique (RVQ-1) : HybridCodec (spécifiquement la variante HC-SED-AED) a obtenu le taux d'erreur de mots (WER) le plus bas sur le premier codebook sur tous les jeux de données. Sur LibriSpeech Test Clean, il a atteint un WER de 15,36 %, surpassant DualCodec (18,93 %) et DAC (Distill) (21,54 %).
• Reconstruction Acoustique : À mesure que davantage de quantificateurs sont ajoutés (RVQ-all), les performances convergent, HybridCodec restant compétitif avec les lignes de base existantes en termes de PESQ, UTMOS et similitude de locuteur (SSIM).
• Généralisation : Le modèle a démontré une robustesse dans les contextes out-of-domain et zero-shot. Sur la tâche difficile de CV-French zero-shot, HybridCodec s'est amélioré par rapport à DAC (Distill) et s'est approché des performances de DualCodec en termes de WER de RVQ-1.
• Efficacité d'Inférence : HybridCodec a réalisé une accélération de 3x par rapport à DualCodec. Il a atteint un facteur de temps réel (RTF) de 0,014 contre 0,042 pour DualCodec, traitant 348,75 échantillons/sec. Cette efficacité est attribuée à l'élimination de l'encodeur SSL de 600 millions de paramètres requis par DualCodec lors de l'inférence.
• Entraînement Étendu : Le passage de 60k à 300k mises à jour de l'entraînement a encore amélioré le WER et la fidélité acoustique, HybridCodec montrant des gains particuliers dans les niveaux de RVQ plus profonds.

Signification et Revendications

Le papier affirme qu'HybridCodec offre une solution pratique et efficace pour la tokenisation de la parole en comblant le fossé entre le désentrelacement sémantique et l'efficacité d'inférence. En utilisant une architecture à double flux avec distillation SSL, le modèle élimine le besoin d'encodeurs SSL lourds lors de l'inférence tout en maintenant une spécialisation sémantique supérieure (WER RVQ-1 le plus bas) et une qualité de reconstruction compétitive. Les auteurs affirment que cette approche hybride offre un compromis équilibré, la rendant adaptée aux applications en temps réel où une modélisation acoustique de haute fidélité et une forte séparation sémantique sont requises. Ce travail démontre que la combinaison du désentrelacement à double flux avec la distillation est une voie viable pour les prochains codecs audio neuronaux.