📊 statistics

Expert Merging in Sparse Mixture of Experts with Nash Bargaining

Cet article introduit NAMEx, un nouveau cadre de fusion d'experts pour les mélanges d'experts parcimonieux (Sparse Mixture of Experts) qui exploite le jeu de la négociation de Nash et l'élan complexe pour parvenir à une collaboration équilibrée et une convergence accélérée, démontrant une performance supérieure à travers diverses tâches et modèles à grande échelle.

Auteurs originaux : Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez construit une équipe massive et ultra-intelligente de spécialistes (appelés « Experts ») pour résoudre des problèmes difficiles. Dans l'IA moderne, ces équipes sont souvent organisées en tant que Sparse Mixture of Experts (SMoE). Considérez cela comme un immense hôpital où, pour chaque patient, seuls quelques médecins spécialisés sont appelés pour aider, tandis que les autres se reposent. Cela permet d'économiser de l'énergie et de l'argent, mais cela crée un nouveau problème : Comment combiner le savoir de tous ces médecins en un seul super-médecin lorsque nous avons besoin de déployer le modèle ?

Actuellement, la plupart des équipes d'IA se contentent de faire une « moyenne simple » des conseils des experts. C'est comme demander à dix chefs d'écrire leurs recettes secrètes, de mélanger les ingrédients dans une grande marmite, et d'espérer que le résultat ait bon goût. Souvent, cela ne fonctionne pas. Certains chefs peuvent être excellents pour la soupe mais médiocres pour le dessert, et les moyenner finit par gâcher les deux.

Ce document présente une nouvelle façon de mélanger ces experts appelé NAMEx (Nash Merging of Experts). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : La « Moyenne » est un mauvais compromis

Les auteurs soutiennent que simplement moyenner les experts est comme une mauvaise négociation. Si un expert dit « Ajoute du sel » et qu'un autre dit « Ajoute du sucre », une moyenne simple pourrait vous donner « Ajoute un peu des deux », ce qui donne une soupe salée-sucrée. Personne ne gagne.

2. La Solution : Un jeu de « Négociation Équitable »

Au lieu de faire la moyenne, les auteurs traitent les experts comme des joueurs dans un jeu (plus précisément, un jeu de « Nash Bargaining » ou négociation de Nash).

Les Joueurs : Chaque expert est un joueur possédant sa propre « utilité » unique (ce en quoi il est bon).
Le But : Ils doivent se mettre d'accord sur un ensemble unique d'instructions (le modèle fusionné) qui rend tout le monde aussi satisfait que possible sans que personne n'ait le sentiment d'être forcé de faire quelque chose dans lequel il est très mauvais.
Le Résultat : Le système trouve un point « Pareto optimal ». Imaginez un groupe d'amis décidant où manger. Une moyenne simple pourrait choisir un endroit qui est « correct » pour tout le monde mais excellent pour personne. La solution de la négociation de Nash trouve un restaurant où tout le monde est véritablement heureux parce que ses besoins spécifiques ont été respectés.

Dans l'article, ils prouvent mathématiquement que cette « négociation équitable » mène à un meilleur modèle final que le simple fait de faire la moyenne.

3. Le Boost de Vitesse : « L'Élan Complexe » (Complex Momentum)

Il existait une méthode précédente (appelée EP-CAMEx) qui tentait de faire quelque chose de similaire, mais elle apprenait lentement, comme un étudiant qui continue de relire la même page sans comprendre.

Les auteurs ont ajouté un Élan Complexe (Complex Momentum) à NAMEx.

L'Analogie : Imaginez que vous poussez un chariot de courses lourd.
- Élan Standard : Vous poussez le chariot vers l'avant, et il continue de rouler un peu.
- Élan Complexe : Imaginez que le chariot est sur une piste qui lui permet de se déplacer non seulement vers l'avant/l'arrière, mais aussi « latéralement » de manière complexe et spiralée. Cela aide le chariot à naviguer plus rapidement et plus fluidement à travers les virages difficiles (les conflits entre experts) sans rester bloqué.
La Revendication : Ce truc mathématique aide les experts à « s'entendre » sur le modèle final beaucoup plus vite et de manière plus stable, surtout lorsque les experts ont des idées très différentes ou même conflictuelles.

4. Ce qu'ils ont Testé (Les Résultats)

L'équipe a testé cette nouvelle « Équipe de Négociation » sur plusieurs tâches du monde réel :

Langage : Pour permettre à l'IA de mieux écrire des textes (WikiText-103).
Compréhension : Répondre à des questions et comprendre des phrases (benchmarks GLUE).
Vision : Reconnaître des objets dans des images (ImageNet), même lorsque les images sont floues, artistiques ou étranges (données corrompues).
Grands Modèles : Ils l'ont testé sur des systèmes d'IA massifs et réels comme DeepSeek-MoE et Qwen1.5-MoE (des modèles avec des milliards de paramètres).

Le Résultat :
Dans presque tous les tests, l'« Équipe de Négociation » (NAMEx) a battu l'« Équipe de Moyenne Simple » et l'« Ancienne Équipe Lente ». Elle était meilleure pour écrire, comprendre et reconnaître des images. Même lorsque les images étaient désordonnées ou les questions difficiles, NAMEx a mieux résisté que les autres.

Résumé

Le document propose qu'au lieu de mélanger aveuglément les experts d'IA, nous devrions les laisser négocier en utilisant la théorie des jeux. En traitant le processus de fusion comme un jeu de négociation équitable et en ajoutant un « élan complexe » spécial pour accélérer les choses, ils ont créé une méthode qui construit des modèles d'IA plus forts, plus robustes et plus performants à travers le langage, la vision et les tâches à grande échelle.

Note : Le document se concentre entièrement sur la méthode mathématique de fusion de ces modèles d'IA et sur le test de leurs performances sur des benchmarks standards. Il ne prétend pas avoir d'applications médicales, d'utilisations cliniques ou de conséquences futures spécifiques au-delà de l'amélioration de la façon dont ces systèmes d'IA sont construits et fusionnés.

Résumé Technique : Fusion d'Experts par le biais de la Négociation de Nash

Énoncé du Problème

Les architectures de Mélange d'Experts Sparses (SMoE) sont devenues une pierre angulaire pour le passage à l'échelle efficace des réseaux de neurones en n'activant qu'un sous-ensemble de modules d'experts par entrée. Alors que des recherches significatives se sont concentrées sur l'amélioration des mécanismes de routage (par exemple, l'équilibrage de charge, la stabilité), le problème complémentaire de la fusion d'experts — combiner tous les paramètres des experts en un modèle unifié pour le déploiement ou l'inférence — reste sous-exploré.

Les stratégies de fusion existantes reposent généralement sur des schémas de pondération heuristiques, tels qu'une moyenne simple indépendante de l'entrée ou une agrégation top- $k$ . Ces méthodes ignorent souvent les dynamiques coopératives et compétitives complexes entre les experts. De plus, des approches récentes comme la Fusion d'Experts Sensible à la Courbure (CAMEx) et sa variante dynamique (EP-CAMEx), qui utilisent les gradients naturels pour aligner les experts, ont montré des limites. Spécifiquement, EP-CAMEx est souvent moins performant que son homologue statique, probablement en raison d'une coordination insuffisante des contributions des experts et d'une convergence lente dans la propagation. Le défi central est d'interpréter la fusion d'experts non pas simplement comme une moyenne linéaire, mais comme une interaction structurée qui équilibre les contributions uniques de divers experts.

Méthodologie : NAMEx

Les auteurs proposent NAMEx (Nash Merging of Experts), un cadre qui réinterprète la fusion d'experts à travers le prisme de la théorie des jeux, en utilisant spécifiquement la Solution de Négociation de Nash (NBS).

1. La Fusion d'Experts comme un Jeu de Négociation

Les auteurs cadrent le processus de fusion comme un jeu coopératif-compétitif entre les experts.

Joueurs : Chaque expert $i$ dans la couche SMoE.
Fonction d'Utilité : Définie comme $u_i(\Delta E) = \tau_i^\top \Delta E$ , où $\tau_i = E_i - E_m$ est le « vecteur de domaine » représentant la déviation du $i$ -ème expert par rapport à l'expert de base $E_m$ . Ce vecteur capture la contribution unique de l'expert.
Point de Désaccord : Fixé à 0, correspondant à l'absence de mise à jour de l'expert de base.
Objectif : Trouver une direction de mise à jour $\Delta E$ à l'intérieur d'une boule $B_\epsilon$ qui maximise le produit des gains individuels par rapport au point de désaccord :
$\Delta E^* = \arg\max_{\Delta E \in B_\epsilon} \prod_{i=1}^N (\Delta E^\top \tau_i)$
Sous l'hypothèse de vecteurs de domaine linéairement indépendants, la solution est dérivée comme une somme pondérée des vecteurs de domaine :
$\Delta E = \sum_{i=1}^N \alpha_i \tau_i$
où les poids $\alpha$ satisfont l'équation de négociation de Nash : $G^\top G \alpha = 1/\alpha$ , avec $G$ étant la matrice des vecteurs de domaine et $1/\alpha$ désignant les inverses élément par élément.

2. Intégration avec la Propagation d'Experts

NAMEx est intégré dans le cadre EP-CAMEx. Au lieu d'utiliser une étape de descente de gradient fixe pour la propagation de l'expert de base, NAMEx calcule la direction de mise à jour optimale $\Delta E^{(l)}$ à chaque couche $l$ en utilisant la solution de Nash. L'expert de base $E_m$ est mis à jour comme suit :
$E_m^{(l+1)} = E_m^{(l)} + \gamma \sum_{i=1}^N \alpha_i^{(l)} \tau_i^{(l)}$
où $\gamma$ est la taille du pas.

3. Momentum Complexe

Pour remédier à la lenteur de convergence observée dans EP-CAMEx, les auteurs intègrent le momentum complexe dans le cadre NAMEx (NAMEx-Momentum).

Un tampon de momentum complexe $\mu^{(j)} \in \mathbb{C}^d$ accumule les mises à jour directionnelles.
La règle de mise à jour implique un coefficient de momentum complexe $\beta \in \mathbb{C}$ :
$\mu^{(j+1)} = \beta \mu^{(j)} + \Delta E^{(j)}$
$E_m^{(j+1)} = E_m^{(j)} + \Re(\gamma \mu^{(j+1)})$
L'analyse théorique (Proposition 3.5 et Théorème C.3) fournit des garanties de convergence, montrant que sous des conditions modérées, le rayon spectral de la matrice du système peut être maintenu inférieur à 1, assurant une convergence linéaire.

Contributions Clés

Cadre NAMEx : Une nouvelle méthode de fusion d'experts qui intègre le cadre d'optimisation de la Négociation de Nash dans la propagation d'experts, traitant les vecteurs de domaine des experts comme des fonctions d'utilité pour dériver des coefficients de fusion efficaces et équitables.
Intégration du Momentum Complexe : L'incorporation du momentum complexe dans NAMEx pour accélérer la convergence et améliorer la stabilité, particulièrement dans des scénarios de dynamiques d'experts adverses ou conflictuelles. Les auteurs fournissent des preuves théoriques pour le taux de convergence de NAMEx-Momentum.
Scalabilité et Validation Empirique : Démonstration de l'efficacité de NAMEx à travers diverses tâches (modélisation du langage, classification de texte, classification d'images) et de sa scalabilité à des systèmes de grande échelle (Qwen1.5-MoE 14B, DeepSeek-MoE 16B).

Résultats Expérimentaux

Les auteurs ont évalué NAMEx par rapport aux bases de référence (SMoE, CAMEx, EP-CAMEx) sur plusieurs benchmarks :

Modélisation du Langage (WikiText-103) : NAMEx-Full-Mom a obtenu les perplexités de validation et de test les plus basses pour le pré-entraînement à petite et moyenne échelle, surpassant toutes les bases de référence.
Classification de Texte (GLUE) : Sur le benchmark GLUE utilisant T5-Base, NAMEx-Full-Mom a obtenu les meilleurs résultats sur toutes les tâches (SST-2, MRPC, CoLA, etc.), montrant des améliorations constantes par rapport à SMoE et aux méthodes sensibles à la courbure.
Classification d'Images (ImageNet-1k & Robustesse) : Sur Swin-MoE, NAMEx-Mom a surpassé toutes les bases de référence en précision Top-1. Crucialement, il a démontré une robustesse supérieure sur des jeux de données corrompus (ImageNet-A, ImageNet-O, ImageNet-R), les variantes avec momentum montrant les gains les plus forts.
Modèles à Grande Échelle : Appliqué à DeepSeek-MoE (16B) et Qwen1.5-MoE (14B), NAMEx-Full a systématiquement surpassé les bases de référence et EP-CAMEx dans les contextes zero-shot et fine-tunés (SmolTalk) sur les benchmarks MMLU, GSM8K et ARC.
Études d'Ablation :
- Momentum : Le momentum complexe a considérablement amélioré la vitesse de convergence et la performance par rapport au momentum à valeurs réelles.
- Itérations : La résolution du système de Nash avec 2 itérations par couche s'est avérée efficace et performante, avec des rendements décroissants à des nombres d'itérations plus élevés.
- Point de Désaccord : L'utilisation de 0 comme point de désaccord s'est avérée robuste et stable par rapport à l'utilisation de la moyenne.

Signification et Revendications

L'article affirme que NAMEx offre une alternative fondée sur des principes à la fusion d'experts heuristique. En modélisant les interactions entre experts comme un jeu de négociation, NAMEx assure un processus de fusion Pareto-efficace qui tient compte de la coopération et de la compétition entre les experts. L'intégration du momentum complexe traite les goulots d'étranglement de convergence dans les scénarios de fusion dynamique.

Les auteurs soulignent que NAMEx :

Améliore la Performance : Surpasse systématiquement les stratégies de fusion existantes dans les tâches de vision et de langage.
Renforce la Robustesse : Démontre une généralisation supérieure sous corruption de données et changements de distribution.
Passe à l'Échelle Efficacement : Prouve sa viabilité pour les architectures MoE à grande échelle (jusqu'à 16 milliards de paramètres) sans compromettre significativement l'efficacité computationnelle, car les coûts d'inférence restent inchangés et la surcharge d'entraînement est gérable.
Fondement Théorique : Fournit des garanties de convergence pour la variante améliorée par momentum, allant au-delà des simples heuristiques empiriques.

Ce travail suggère que l'examen de la fusion d'experts à travers la théorie des jeux ouvre de nouvelles voies pour l'optimisation des systèmes d'apprentissage profond modulaires, avec des applications potentielles dans l'apprentissage fédéré et l'apprentissage par transfert où la combinaison équitable des experts est critique.