Résumé Technique : RotMoLE – Amélioration du Mélange d'Experts de Rang Inférieur par un Gating Rotationnel

Énoncé du Problème

Bien que les Grands Modèles de Langage (LLM) utilisent des architectures de Mélange d'Experts (MoE) et des techniques de Fine-Tuning Économe en Paramètres (PEFT) comme LoRA pour gérer des tâches diverses, les cadres existants de Mélange d'Experts de Rang Inférieur (MoE-LoRA) rencontrent des limites dans des scénarios complexes, multi-tâches ou multilingues.

Le problème central identifié réside dans la limitation des mécanismes de gating conventionnels dans les MoE. Les routeurs standards appliquent uniquement un repondération scalaire (mise à l'échelle) aux experts sélectionnés. Bien que cela module l'ampleur de la contribution d'un expert, cela manque de la capacité d'effectuer des transformations spatiales complexes sur les sorties des experts. Par conséquent, l'espace de solutions formé par l'agrégation pondérée des experts est restreint à une combinaison linéaire le long de directions spatiales fixes. Cette limitation est particulièrement prononcée lorsque le nombre d'experts candidats est limité par rapport au nombre de tâches (par exemple, dans des scénarios à ressources contraintes où les experts doivent être partagés entre plusieurs domaines), car le routeur ne peut pas suffisamment distinguer ou spécialiser les experts partagés au-delà d'une simple mise à l'échelle de l'ampleur.

De plus, la mise en œuvre de transformations complexes (telles que des transformations linéaires complètes) via des modules de gating nécessite généralement un nombre prohibitif de paramètres entraînables (par exemple, des matrices $d \times d$ pour une dimension cachée $d$), ce qui annule l'efficacité paramétrique du PEFT.

Méthodologie : RotMoLE

Les auteurs proposent RotMoLE (Mélange d'Experts de Rang Inférieur Rotatif), un cadre spécialisé MoE-LoRA qui introduit un mécanisme de gating rotationnel parallèlement au gating de mise à l'échelle traditionnel.

Fondement Théorique

La méthode repose sur l'observation que toute transformation entre deux vecteurs non nuls peut être décomposée en une opération de mise à l'échelle pure et une rotation pure au sein du sous-plan bidimensionnel engendré par ces vecteurs. En exploitant la structure de rang inférieur de LoRA (où le rang $r \ll d$), RotMoLE applique ces transformations dans l'espace de dimension $r$ des adaptateurs d'experts plutôt que dans la dimension cachée complète.

Composants de l'Architecture

La mise à jour des poids du modèle est formulée comme suit :
$$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$$
Où :

• $W_0$ est la matrice de poids pré-entraînée.
• $A_i$ et $B_i$ sont les matrices de rang inférieur pour le $i$-ème expert.
• $g_i$ est la valeur du gating de mise à l'échelle (poids scalaire standard).
• $R_i$ est la matrice de rotation spécifique au $i$-ème expert.

Le cadre fonctionne selon deux modes basés sur le rang LoRA $r$ :

1. Rang $r = 2$ (Rotation 2D) :

   • La rotation est modélisée à l'aide d'un seul angle apprenable $\theta_i$.
   • La matrice de rotation $R_i$ est une matrice de rotation 2D standard :
     $$R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$$
   • L'angle $\theta_i$ est généré par un gating de rotation $\Theta(x)$, qui produit des valeurs dans $[-\pi, \pi]$ en utilisant une normalisation basée sur la fonction Sigmoid pour assurer la stabilité et la périodicité.

2. Rang $r > 2$ (Rotation de Haute Dimension) :

   • Puisqu'un angle unique ne peut pas définir une rotation dans des dimensions $>2$, la méthode construit un plan de rotation $P_i$ spécifique pour chaque expert.
   • Le plan est défini par deux vecteurs de base :
     1. L'embedding d'entrée normalisé vers l'expert ($e_1 = A_i x / |A_i x|$).
     2. Un vecteur de centre de cluster apprenable $q_i$ spécifique à l'expert, qui représente le centre agrégé des entrées routées vers cet expert. Le deuxième vecteur de base $e_2$ est dérivé de la composante de $q_i$ orthogonale à $e_1$.
   • La matrice de rotation $R_i$ est construite en projetant la rotation 2D (définie par $\theta_i$) sur ce plan de dimension $r$ engendré par $e_1$ et $e_2$.

Efficacité Paramétrique

RotMoLE maintient une haute efficacité paramétrique. Les paramètres supplémentaires introduits sont :

• Pour $r=2$ : $d \times n$ paramètres (pour les poids du gating de rotation).
• Pour $r>2$ : $(d + r) \times n$ paramètres (pour le gating de rotation et les vecteurs de centre de cluster $q$).
  Ceci est significativement plus faible que les $d^2 \times n$ paramètres requis pour des transformations linéaires complètes, maintenant la surcharge comparable aux modules d'experts eux-mêmes.

Contributions Clés

1. Identification des Limitations : L'article met en évidence que les routeurs MoE existants sont limités à la mise à l'échelle de la norme, manquant de la capacité d'effectuer des transformations spatiales complexes nécessaires pour des scénarios diversifiés avec un nombre limité d'experts.
2. Cadre RotMoLE : La proposition d'un cadre spécialisé MoE-LoRA qui intègre un gating de rotation, permettant des rotations 2D au sein de l'espace de rang inférieur des experts pour étendre l'espace de solutions des combinaisons d'experts pondérées.
3. Validation Empirique : Des expériences extensives à travers des scénarios d'apprentissage conjoint multi-tâches et multilingues démontrant que RotMoLE surpasse les bases MoE-LoRA conventionnelles et d'autres variantes récentes.

Résultats Expérimentaux

Les auteurs ont évalué RotMoLE sur Llama-3.2-3B, Qwen-2.5-3B et GLM-4-9B à travers plusieurs benchmarks :

• Apprentissage Conjoint Multi-Tâches (QA & GLUE) :
  • Sur un mélange de trois tâches de QA (CommonsenseQA, OpenBookQA, SocialIQA), RotMoLE a constamment surpassé la base MoE-LoRA, réalisant des améliorations de précision moyenne allant de 1 % à 10 % (moyenne ~5 %).
  • Les améliorations étaient les plus prononcées lorsque le nombre d'experts était limité (par exemple, $n=2$), validant l'hypothèse que la rotation aide à distinguer les experts partagés.
  • Des gains similaires ont été observés sur les tâches GLUE (SST-2, MRPC, QNLI).
• Apprentissage Conjoint Multilingue :
  • Sur la Génération de Texte Multilingue (MTG) et XNLI (Inférence en Langage Naturel), RotMoLE a obtenu des scores moyens et par langue plus élevés que les bases.
  • L'analyse de convergence a indiqué que RotMoLE présente de meilleures propriétés anti-surapprentissage, convergeant plus lentement au début mais atteignant de meilleures performances finales sans la saturation précoce observée dans les bases.
• Comparaison avec des Variantes :
  • RotMoLE a surpassé d'autres variantes MoE-LoRA se concentrant sur le routage avant (MoCLE, MoLA, AdaMoLE) en termes de précision globale et par tâche.
• Études d'Ablation :
  • Les expériences ont confirmé que les gains de performance sont dus à la structure rotationnelle plutôt qu'à une simple augmentation du nombre de paramètres. Une base équivalente en taille utilisant un gating MLP a performé moins bien, suggérant que le mécanisme de rotation est plus efficace pour utiliser les paramètres supplémentaires pour la diversité.

Signification et Revendications

L'article revendique que RotMoLE fournit une fonction de transformation plus puissante pour les experts de rang inférieur au-delà de la simple mise à l'échelle. En introduisant un gating de rotation, le cadre étend considérablement l'espace de solutions global du MoE, permettant une meilleure exploitation et spécialisation des experts, en particulier dans des scénarios où les experts sont partagés entre plusieurs tâches ou langues.

Les auteurs soulignent que cette approche comble une lacune spécifique dans la recherche actuelle PEFT-MoE : l'incapacité à modéliser des stratégies d'exploitation diversifiées pour les experts candidats lorsque le nombre d'experts est limité. Les résultats suggèrent que RotMoLE offre une méthode robuste et économe en paramètres pour améliorer la capacité de représentation des LLM dans des applications complexes et multi-domaines sans engendrer les coûts computationnels des transformations de rang complet.