Résumé Technique : SMEAR-MoE pour l'ASR Multilingue

1. Énoncé du Problème

Les avancées récentes en reconnaissance automatique de la parole (ASR) ont établi un paradigme où des encodeurs de parole gelés sont connectés à des modèles de langage de grande taille (LLM) via des projecteurs légers. Bien qu'efficace pour les tâches monolingues, cette architecture fait face à un goulot d'étranglement significatif dans les environnements multilingues. Un projecteur monolithique unique peine à aligner les diverses correspondances acoustiques-sémantiques requises pour des langues typologiquement distinctes (par exemple, indo-aryen vs dravidien), imposant ainsi des compromis représentationnels.

Les alternatives existantes présentent leurs propres compromis :

• Les projecteurs spécifiques à une langue améliorent la précision par langue mais entravent le partage de connaissances translingues.
• Les conceptions standards de mélange d'experts (MoE) permettent la spécialisation mais souffrent souvent d'instabilité et d'effondrement des experts (expert collapse), où un mauvais flux de gradient force quelques experts à dominer l'entraînement, rendant le modèle inefficace.

2. Méthodologie : SMEAR-MoE

Les auteurs proposent SMEAR-MoE (Stabilized Mixture-of-Experts for ASR), une architecture de projecteur conçue pour assurer un flux de gradient dense vers tous les experts, empêchant ainsi l'effondrement tout en permettant le partage translingue.

Aperçu de l'Architecture

S'appuyant sur le cadre SLAM-ASR, le système connecte un encodeur Whisper large-v3 gelé à un LLM Gemma-2-9B gelé. La composante entraînable est le projecteur, qui est redessiné comme suit :

1. Sous-échantillonnage Partagé : Une couche de convolution partagée ($D$) réduit la longueur de séquence des états cachés de l'encodeur ($H_S$) vers une représentation intermédiaire ($Z_S$).
2. MLP Experts : Un ensemble de réseaux perceptrons multicouches (MLP) légers ($\{P_m\}_{m=1}^M$) opère sur $Z_S$.
3. Routage Stabilisé (L'Innovation Centrale) :
   • Contrairement aux MoE standards qui utilisent un partitionnement strict (sélection des $k$ meilleurs experts par jeton ou utterance), SMEAR-MoE utilise un partitionnement souple (soft gating).
   • Un réseau de routage produit des probabilités par jeton ($G$). Celles-ci sont moyennées pour obtenir des poids par utterance ($\bar{g}$).
   • Au lieu de router vers des experts spécifiques, le modèle construit un expert virtuel différentiable en fusionnant tous les paramètres des experts pondérés par $\bar{g}$ :
     $$\bar{W} = \sum_{m=1}^M \bar{g}_m W_m, \quad \bar{b} = \sum_{m=1}^M \bar{g}_m b_m$$
   • Cet expert virtuel est appliqué à l'entrée. Crucialement, cela garantit que chaque expert reçoit un signal de gradient dense proportionnel à son poids de routage, éliminant le phénomène d'« effondrement des experts » commun aux MoE creux (sparse MoEs).

Configuration Expérimentale

• Langues : Quatre langues indicques à ressources moyennes : Hindi, Marathi, Tamoul et Telugu.
• Données : Entraîné sur environ 250 heures par langue à partir de IndicVoices et IndicSUPERB. Évalué sur le benchmark VISTAR (Kathbath, MUCS, IndicTTS, Fleurs).
• Baselines : Comparé à un projecteur monolithique, des variantes de multi-projecteurs statiques (spécifiques à la langue, liés, ensemble dense) et des stratégies MoE standard de type top-$k$ (au niveau de l'utterance et du jeton).

3. Résultats Clés

Les expériences sur quatre ensembles de tests distincts démontrent que SMEAR-MoE obtient la meilleure performance globale :

• Gains de Performance : SMEAR-MoE délivre jusqu'à 7,6 % de réduction relative du taux d'erreur par mot (WER) par rapport à la baseline du projecteur unique. Il surpasse systématiquement les modèles MoE à partitionnement strict et les ensembles statiques.
• Efficacité : Malgré sa conception multi-experts, SMEAR-MoE maintient une efficacité d'exécution comparable à celle du projecteur unique.
  • Facteur de Temps Réel (RTF) : SMEAR-MoE atteint un RTF de 0,198, presque identique au projecteur unique (0,196).
  • En revanche, l'Ensemble Dense (moyenne statique de tous les experts) est plus lent (RTF 0,243) en raison de nombres de paramètres plus élevés.
• Efficacité des Paramètres : La conception MoE totalise environ 52 millions de paramètres, ce qui est plus efficace que l'Ensemble Dense (~72 millions) tout en offrant une spécialisation dynamique.

4. Analyse du Comportement de Routage

Une conclusion critique de l'article est l'interprétabilité du routage appris. Le mécanisme de routage apprend spontanément des spécialisations linguistiques significatives sans instruction explicite :

• Langues Indo-aryennes (Hindi et Marathi) : Ces langues, qui partagent l'écriture Devanagari et la famille linguistique, favorisent principalement le même expert (ex: Expert 4), indiquant que le modèle exploite leurs similitudes acoustiques et structurelles.
• Langues Dravidiennes : Le Tamoul est systématiquement routé vers un expert distinct et spécialisé. Le Telugu, bien qu'également dravidien, présente un schéma de routage plus distribué, reflétant sa divergence scripturale et phonologique par rapport au Tamoul.

5. Signification et Revendications

L'article affirme que SMEAR-MoE répond au goulot d'étranglement critique de la stabilité du projecteur dans l'ASR multilingue basé sur les LLM. Ses principales contributions sont :

1. Atténuation de l'Effondrement des Experts : En assurant un flux de gradient dense via la fusion de paramètres, SMEAR-MoE prévient l'instabilité et la sous-utilisation des experts qui affectent les MoE conventionnels dans les contextes à faibles ou moyennes ressources.
2. Scalabilité et Robustesse : Il offre une solution évolutive qui équilibre la spécialisation des experts et le partage translingue, surpassant les approches monolithiques et les ensembles statiques.
3. Interprétabilité : Le modèle apprend des stratégies de routage qui s'alignent avec les familles linguistiques connues, suggérant que les projecteurs multi-experts stabilisés peuvent fournir des informations interprétables sur la manière dont les systèmes ASR traitent diverses langues.

Les auteurs concluent que les projecteurs multi-experts stables sont une direction clé pour le développement de systèmes ASR multilingues, efficaces, robustes et évolutifs, propulsés par les LLM.