Résumé Technique : Amélioration de l'ASR Multilingue basée sur les LLM grâce au Mélange d'Experts et au Sous-échantillonnage Dynamique

1. Énoncé du Problème

L'avancement rapide des modèles de langage de grande taille (LLM) présente une nouvelle frontière pour la reconnaissance automatique de la parole (ASR), offrant une raisonnement sémantique et une compréhension contextuelle supérieurs par rapport aux modèles de langage statistiques traditionnels. Cependant, l'intégration efficace des LLM dans les systèmes ASR reste un défi. Bien que les premières approches aient utilisé les LLM simplement comme post-processeurs ou modèles de langage externes, les paradigmes récents « Encodeur–Projecteur–LLM » ont montré des promesses, mais souffrent de deux limitations critiques dans les contextes multilingues :

1. Généralisation Multilingue : L'alignement des encodeurs de parole avec les LLM multilingues nécessite une cartographie flexible pour gérer divers motifs phonétiques et linguistiques. L'intégration naïve échoue souvent à atteindre une adaptabilité translinguistique robuste.
2. Alignement de Modalité : Les conceptions de projecteurs existantes reposent généralement sur des taux de sous-échantillonnage fixes pour compresser les caractéristiques acoustiques en jetons (tokens) textuels. Cette rigidité rend les performances très sensibles aux variations du débit de parole et manque de modélisation explicite de l'alignement, entraînant des hallucinations et une dégradation de la robustesse lorsque les longueurs de séquences audio et textuelles ne correspondent pas naturellement.

2. Méthodologie

Les auteurs proposent un nouveau cadre d'ASR basé sur un LLM et un projecteur qui répond à ces défis par deux améliorations architecturales primaires : un projecteur de type Mélange d'Experts (MoE) et un mécanisme de sous-échantillonnage dynamique basé sur l'Intégration et le Déclenchement Continus (CIF).

2.1. Architecture de Référence (Baseline)

Le système suit le paradigme standard Encodeur–Projecteur–LLM :

• Encodeur de Parole : Utilise l'encodeur pré-entraîné Whisper-large-v3 pour extraire les caractéristiques acoustiques.
• LLM : Emploie le modèle gelé Qwen-2.5 7B comme module de décodage central, exploitant ses capacités sémantiques. Des invites (prompts) spécifiques à la langue sont utilisées pour accélérer la convergence.
• Projecteur : Relie l'encodeur et le LLM, en mappant les caractéristiques acoustiques vers l'espace d'embedding du LLM.

2.2. Projecteur Amélioré par MoE

Pour améliorer l'adaptabilité translinguistique, les couches de projecteur linéaires standards sont remplacées par une architecture MoE.

• Structure : Les couches convolutionnelles originales servent de colonne vertébrale partagée. Un ensemble de sous-réseaux experts est ajouté, le nombre d'experts correspondant au nombre de langues d'entraînement.
• Mécanisme : Un mécanisme de porte (gating) calcule les poids d'activation pour chaque expert en fonction des caractéristiques acoustiques d'entrée. La sortie finale est une somme pondérée des experts sélectionnés :
  $$y = \sum_{k=1}^{K} g_k(x)E_k(x)$$
  où $g_k(x)$ est le poids de la porte et $E_k(x)$ est la sortie de l'expert. Cela permet au modèle de router dynamiquement les entrées vers des réseaux spécialisés, modélisant plus efficacement les divers motifs linguistiques.

2.3. Alignement de Modalité basé sur CIF

Pour remplacer le sous-échantillonnage fixe rigide, les auteurs intègrent un mécanisme d'Intégration et de Déclenchement Continus (CIF).

• Mécanisme : Le CIF attribue un poids (de 0 à 1) à chaque trame acoustique. Ces poids sont accumulés, et lorsque la somme dépasse un seuil (par exemple, 1), un événement de « déclenchement » (fire) se produit, signalant la détection d'un nouveau jeton. Cela détermine dynamiquement la longueur de sortie en fonction de l'audio d'entrée.
• Modification : Le CIF standard conduit souvent à une sur-compression (sous-échantillonnage agressif) par rapport au facteur fixe de 4 de la référence, causant une perte d'information. Pour atténuer cela, les auteurs introduisent une variante de CIF relaxée. L'objectif d'entraînement est modifié pour encourager le prédicteur à générer une séquence de sortie $n$ fois plus longue que la séquence de jetons cible. Dans les expériences, $n=4$ a été choisi pour correspondre au taux de sous-échantillonnage effectif de la référence tout en conservant l'adaptabilité du CIF aux variations du débit de parole.

3. Configuration Expérimentale

• Jeux de Données : L'entraînement a été réalisé sur un jeu de données multilingue de 1 500 heures (défi Nexdata/MLC-SLM) couvrant 11 langues (anglais, français, allemand, italien, japonais, coréen, portugais, russe, espagnol, thaï, vietnamien). Une expérience d'expansion a utilisé 6 500 heures supplémentaires provenant de CommonVoice, GigaSpeech2, LibriSpeech, MLS et VoxPopuli (totalisant 8 000 heures).
• Évaluation : La performance a été mesurée par le Taux d'Erreur de Mots (WER) sur des benchmarks en domaine (MLCSLM-dev) et hors domaine (FLEURS-test, CommonVoice-test).
• Références (Baselines) : Les comparaisons ont été faites avec Whisper-large-v3 et une référence LLM-ASR standard (encodeur/LLM gelés avec un simple projecteur linéaire et un sous-échantillonnage fixe).

4. Résultats Clés

Les résultats expérimentaux démontrent que les composants proposés améliorent considérablement les performances :

• Impact du MoE : Le Projecteur Amélioré par MoE seul a réduit le WER sur l'ensemble MLCSLM-dev de 23,26 % (Référence) à 16,10 %, surpassant Whisper-large-v3 (21,48 %) et montrant des améliorations constantes sur la plupart des langues.
• Impact du CIF : Remplacer le sous-échantillonnage fixe par un CIF standard a initialement dégradé la performance (18,95 %) en raison de la sur-compression. Cependant, le CIF Modifié (variante relaxée) a restauré la performance, atteignant 15,27 % de WER sur MLCSLM-dev.
• Performance Combinée : La méthode complète proposée (MoE + CIF Modifié) a obtenu les meilleurs résultats sur tous les jeux de données :
  • MLCSLM-dev : 15,27 %
  • CommonVoice-test : 13,87 %
  • FLEURS-test : 10,46 %
• Mise à l'échelle des Données (Data Scaling) : L'expansion des données d'entraînement à 8 000 heures a généré des gains substantiels sur les jeux de données hors domaine (CommonVoice-test est tombé à 9,86 % ; FLEURS-test à 8,65 %), bien que cela ait entraîné une légère augmentation du WER en domaine (15,45 %), suggérant que la méthode privilégie la généralisation cross-domain.

5. Signification et Revendications

L'article affirme que le cadre proposé représente une étape significative vers la construction de systèmes ASR basés sur les LLM plus précis, robustes et généralisables. Les auteurs soulignent que :

1. Les architectures MoE sont efficaces pour gérer les mappings complexes et diversifiés requis dans l'ASR multilingue, offrant une généralisation translinguistique supérieure par rapport aux projecteurs standards.
2. Le sous-échantillonnage dynamique via CIF est crucial pour l'alignement des modalités, à condition que le taux de compression soit soigneusement calibré (via la variante relaxée) pour éviter la perte d'information.
3. Des projecteurs et des stratégies d'alignement bien conçus sont aussi critiques que le backbone LLM lui-même pour obtenir des performances robustes dans des scénarios multilingues.

Le travail conclut que ces améliorations répondent avec succès aux limitations de l'intégration naïve des LLM, produisant des améliorations de performance substantielles par rapport aux modèles de référence puissants et ouvrant la voie à des systèmes de reconnaissance vocale multilingue plus fiables.