Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

Résumé Technique : Révision des algorithmes de Majoration-Minimisation Stochastique Incrémentale avec Applications aux Mélanges d'Experts

Énoncé du Problème
Le traitement de données massives et en flux continu a rendu les algorithmes traditionnels en mode batch impraticables en raison de leur nécessité d'effectuer des passages répétés sur l'intégralité des jeux de données. Bien que des méthodes d'estimation stochastique incrémentale, telles que l'algorithme Expectation-Maximization (EM) stochastique incrémental, aient été développées pour y remédier, elles reposent souvent sur des hypothèses restrictives, particulièrement la représentation explicite des variables latentes et l'hypothèse que le modèle cible appartient à la famille exponentielle. Ces contraintes limitent leur applicabilité à des modèles complexes comme le Mélange d'Experts (MoE) à porte Softmax, où la fonction objectif (la densité prédictive négative du logarithme) n'appartient généralement pas à une famille exponentielle et manque de propriétés de régularité globale telles que la continuité de Lipschitz, la $L$-lisséité ou la convexité. Par conséquent, les variantes existantes de l'EM et du MM stochastiques incrémentaux échouent souvent à fournir des surrogats valides ou des garanties de convergence pour les modèles MoE à porte softmax.

Méthodologie
Les auteurs revisitent et analysent une variante incrémentale stochastique de l'algorithme de Majoration-Minimisation (MM), formulée dans le cadre de l'Approximation Stochastique. La méthodologie centrale comprend :

1. Cadre MM Généralisé : L'approche relâche l'exigence selon laquelle le modèle cible appartienne à la famille exponentielle. Au lieu de cela, elle exige que le surrogat de la fonction majorisante appartienne à une famille exponentielle. L'algorithme construit une séquence de majorisants définis par $g(\theta, z; \tau) = -\psi(\theta) + \langle \bar{S}(\tau; z), \phi(\theta) \rangle$, où $\bar{S}$ est une statistique auxiliaire mise à jour via l'approximation stochastique.
2. Structure Algorithmique : L'Algorithme MM Stochastique Incrémental proposé (Algorithme 1) maintient une séquence de statistiques auxiliaires $\{s_n\}$ mise à jour par la récursion $s_{n+1} = s_n + \gamma_{n+1}(\bar{S}(\bar{\theta}(s_n); z_{n+1}) - s_n)$. L'itération du paramètre $\theta_{n+1}$ est ensuite obtenue de manière déterministe en minimisant la fonction de surrogation par rapport à la statistique mise à jour : $\theta_{n+1} = \bar{\theta}(s_{n+1})$.
3. Application au MoE à Porte Softmax : La méthode est spécifiquement appliquée à deux variantes de modèles MoE à porte softmax :
   • Sortie Continue (SGMoE) : Utilisant des experts gaussiens avec une régression polynomiale pour la porte et les fonctions de moyenne.
   • Sortie Discrète : Utilisant des experts de régression logistique multinomiale avec un partitionnement (gating) polynomial.
     Pour ces modèles, les auteurs dérivent des surrogats de majoration spécifiques de la famille exponentielle qui contournent la nécessité pour l'objectif original d'appartenir à la famille exponentielle. Ils construisent des majorants valides en utilisant des bornes quadratiques et des inégalités matricielles spécifiques (impliquant la matrice $B_{n,K}$) pour gérer la non-convexité et le manque de lisséité inhérents à la porte softmax et aux termes de vraisemblance gaussienne.
4. Garanties Théoriques : Sous un ensemble d'hypothèses de régularité (P1–P5) et de conditions de stabilité (Hypothèses 1–8), l'article établit que l'algorithme génère une séquence qui converge presque sûrement vers un point stationnaire de la fonction objectif (où le gradient s'annule). Ce résultat de cohérence repose sur l'existence d'une fonction de Lyapunov et sur les propriétés de l'approximation stochastique.

Principales Contributions

• Généralisation du MM Stochastique Incrémental : Ce travail généralise l'algorithme EM stochastique incrémental, permettant une applicabilité plus large aux modèles où les représentations explicites de variables latentes sont difficiles ou lorsque le modèle ne correspond pas à la structure de la famille exponentielle.
• Cohérence Théorique : Les auteurs fournissent des garanties théoriques rigoureuses prouvant que les itérations convergent vers des points stationnaires caractérisés par un gradient nul, une propriété souvent absente des optimiseurs stochastiques largement utilisés comme SGD, RMSProp, Adam et Sophia lorsqu'ils sont appliqués à des modèles latents complexes.
• Nouvelle Application au MoE à Porte Softmax : L'article démontre que la méthode proposée est le premier algorithme stochastique incrémental capable de s'ajuster efficacement aux modèles MoE à porte softmax, un cadre où les variantes existantes de l'EM et du MM incrémentaux échouent en raison de conditions de régularité restrictives (par exemple, l'échec de la continuité de Lipschitz et de la convexité dans l'objectif SGMoE).
• Correction de Bornes : Les auteurs revisitent et corrigent une borne présentée dans le Lemme 2 d'un travail précédent [5], fournissant une formulation plus explicite et rigoureuse utilisée pour construire des majorants valides dans les contextes de régression logistique multinomiale.

Résultats Expérimentaux
La méthode a été évaluée sur des jeux de données synthétiques et réels, comparant ses performances aux optimiseurs stochastiques de pointe (SGD, RMSProp, Adam, AdamW, Sophia).

• Données Synthétiques : Sur des jeux de données synthétiques de faible et haute dimension, l'algorithme MM stochastique incrémental a systématiquement surpassé les méthodes de référence en termes d'erreur d'estimation (MSE, MAPE, NRMSE) et d'erreur de prédiction. Il a démontré des taux de convergence plus rapides et une plus grande stabilité, particulièrement lors de l'utilisation de la moyenne de Polyak.
• Données Réelles :
  • Génotypes de Maïs Denté : Dans une étude bioinformatique impliquant des données de stress hydrique et de protéomique, la méthode proposée a produit des gains stables de performance prédictive par rapport aux bases de référence.
  • Communautés et Criminalité : Sur des données socio-économiques liées à la criminalité, la méthode a de nouveau montré une performance supérieure ou comparable avec une variance plus faible entre les plis de validation croisée.
• Robustesse à l'Initialisation : L'algorithme a fonctionné de manière robuste sous une initialisation perturbée de la vérité terrain et une initialisation basée sur les données (via K-means), réussissant à récupérer les paramètres réels et à minimiser la log-vraisemblance.

Signification et Revendications
L'article affirme que le cadre MM stochastique incrémental proposé offre une alternative robuste et théoriquement fondée pour l'optimisation de modèles de variables latentes complexes dans des environnements de données en flux continu. En relâchant les hypothèses strictes requises par les méthodes basées sur l'EM (telles que la convexité et les représentations explicites de variables latentes), l'approche élargit le champ d'application de l'estimation stochastique incrémentale. Les auteurs soulignent le rôle central des architectures MoE à porte softmax dans l'apprentissage profond contemporain pour la modélisation de données hétérogènes et soutiennent que leur méthode comble une lacune critique en fournissant une stratégie d'optimisation viable là où les approches stochastiques incrémentales précédentes étaient inapplicables. Le travail suggère que ce cadre peut servir d'outil fondamental pour les développements futurs du lissage statistique, particulièrement pour les modèles nécessitant des composants d'experts flexibles, non gaussiens ou basés sur des réseaux de neurones profonds.