Résumé Technique : Sélection Rapide de Modèles et Optimisation Stable pour les Modèles de Mélange d'Experts à Porte Softmax et Logistique Multinomiale (SGMLMoE)

1. Problématique

Les modèles de mélange d'experts (Mixture-of-Experts, MoE) sont des architectures puissantes qui combinent plusieurs prédicteurs spécialisés via une fonction de "porte" (gating) apprenable. Bien que très efficaces pour la régression et la classification, les modèles de type SGMLMoE (où la porte utilise une fonction softmax et les experts des modèles logistiques multinomiales) font face à deux défis majeurs :

• Instabilité de l'entraînement : L'objectif de maximum de vraisemblance est hautement non convexe. Les méthodes classiques comme l'algorithme EM (Expectation-Maximization) nécessitent souvent des étapes de maximisation (M-steps) approximatives ou des boucles internes, ce qui compromet les garanties de convergence monotone et de stabilité.
• Sélection du nombre d'experts ($K$) : Déterminer le nombre optimal d'experts est complexe. Les critères classiques (AIC, BIC, ICL) nécessitent d'ajuster plusieurs modèles de tailles différentes (approche par balayage ou sweep), ce qui est coûteux. De plus, la sur-spécification (choisir un $K$ trop grand) crée des problèmes d'identifiabilité et de singularités.

2. Méthodologie

Les auteurs proposent un cadre unifié combinant une optimisation robuste et une sélection de modèle sans balayage.

A. Optimisation via l'algorithme MM (Majorization-Minimization)

Au lieu d'utiliser l'EM classique, les auteurs développent un algorithme MM en régime de données complètes (batch).

• Principe : Ils construisent un substitut quadratique explicite (un majorant) de la fonction de log-vraisemblance négative.
• Avantage : Cet algorithme permet des mises à jour en forme fermée (coordinate-wise closed-form updates) pour les paramètres de la porte et des experts. Cela garantit mathématiquement une ascension monotone de la vraisemblance et une convergence globale vers un point stationnaire, évitant ainsi les oscillations des méthodes de gradient (SGD, Adam) ou les approximations de l'EM.

B. Sélection de modèle par Dendrogramme et Critère DSC

Pour éviter de tester tous les $K$ possibles, les auteurs introduisent une approche basée sur la géométrie des mesures de mélange :

• Perte de Voronoi : Ils définissent une métrique adaptée à la partition induite par la porte. En cas de sur-spécification, les experts redondants se regroupent dans des "cellules de Voronoi".
• Chemin d'agrégation (Dendrogramme) : Ils partent d'un modèle sur-spécifié et fusionnent itérativement les paires d'experts les plus proches (selon une mesure de dissimilarité) pour construire un dendrogramme.
• Critère DSC (Dendrogram Selection Criterion) : Ils proposent un critère qui combine la hauteur du dendrogramme (qui détecte la redondance structurelle) et la vraisemblance (qui mesure l'ajustement). Le nombre d'experts optimal est celui qui minimise ce critère.

3. Contributions Clés

1. Algorithme Batch-MM : Un algorithme d'optimisation stable avec des mises à jour analytiques pour les modèles SGMLMoE.
2. Théorie de la convergence : Preuves de la monotonie de l'algorithme et établissement de taux de convergence en échantillon fini pour l'estimation de la densité et la récupération des paramètres.
3. Sélection "Sweep-free" : Un nouveau mécanisme de sélection du nombre d'experts qui ne nécessite l'entraînement que d'un seul modèle (sur-spécifié) et l'application d'un processus de fusion.
4. Garanties statistiques : Preuve de la cohérence du critère DSC (il converge vers le vrai $K_0$ quand $N \to \infty$).

4. Résultats et Signification

Résultats Expérimentaux

• Simulations : L'algorithme Batch-MM converge de manière beaucoup plus fiable vers l'optimum global que les méthodes de gradient (SGD, Adam, RMSprop) ou l'EM classique, qui restent souvent piégées dans des optima locaux.
• Validation de la théorie : Les taux de décroissance de la perte de Voronoi observés expérimentalement correspondent aux taux théoriques prédits ($N^{-1/2}$ pour l'ajustement exact et $N^{-1/4}$ pour la sur-spécification).
• Application réelle (Interaction Protéine-Protéine) : Le modèle SGMLMoE surpasse les bases de référence (SVM, Random Forest, MLP) en termes de précision et de score F1. Le critère DSC sélectionne un nombre d'experts compact et efficace, offrant un meilleur compromis entre précision et complexité que l'AIC ou le BIC.

Signification

Ce travail apporte une rigueur mathématique essentielle aux modèles de mélange d'experts pour la classification. Il transforme un problème d'optimisation instable et de sélection de modèle coûteux en un pipeline robuste, rapide et théoriquement garanti. L'approche par dendrogramme offre également une couche d'interprétabilité en révélant la hiérarchie structurelle des experts au sein des données.