Gradient Alignment Dynamics in Mixture-of Experts: The Gaussian Attractor, Laminar Flow Regime, and Output-Space Isolation
Cet article établit un cadre théorique unifié pour les Mixture-of-Experts (MoE) qui identifie l'alignement des gradients entre experts comme la cause profonde de l'effondrement des experts, introduit l'Hypothèse du Chemin de Gradient et les diagnostics du nombre de Reynolds pour caractériser ces dynamiques, et démontre que l'isolation de l'espace de sortie architecturale via le routage dur Mosaic Tile élimine efficacement l'oubli catastrophique et l'effondrement des experts à travers les tâches de vision et de langage.