Gradient Alignment Dynamics in Mixture-of Experts: The Gaussian Attractor, Laminar Flow Regime, and Output-Space Isolation
本文为混合专家模型(MoE)建立了一个统一的理论框架,该框架将跨专家梯度对齐识别为专家崩溃的根本原因,引入了梯度路径假设和雷诺数诊断来表征这些动态过程,并证明了通过 Mosaic Tile 硬路由实现的架构输出空间隔离能有效消除视觉和语言任务中的灾难性遗忘与专家崩溃。