Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

技术摘要：重新审视增量随机极大值-极小化（Majorization-Minimization）算法及其在混合专家模型中的应用

问题陈述
高容量流式数据的处理使得传统的批处理算法变得不再实用，因为这些算法需要对完整数据集进行重复遍历。虽然已经开发了诸如增量随机期望最大化（EM）算法等增量随机估计方法来解决这一问题，但这些方法通常依赖于严格的假设，特别是对隐变量的显式表示以及目标模型属于指数族分布的假设。这些约束限制了它们在复杂模型（如 Softmax 门控混合专家模型，Mixture of Experts, MoE）中的适用性，因为在这些模型中，目标函数（负对数预测密度）通常不属于指数族，且缺乏全局正则性质，如 Lipschitz 连续性、$L$-光滑性或凸性。因此，现有的增量随机 EM 和 MM 变体在处理 Softmax 门控 MoE 模型时往往无法提供有效的代理函数（surrogates）或收敛保证。

方法论
作者重新审视并分析了一种在随机逼近（Stochastic Approximation）框架内构建的增量随机极大值-极小化（MM）算法变体。其核心方法论包括：

1. 广义 MM 框架： 该方法放宽了要求目标模型必须属于指数族分布的限制。相反，它要求极大值代理函数（majorizer surrogate function）属于指数族。该算法构建了一系列由 $\tau$ 定义的极大值函数 $g(\theta, z; \tau) = -\psi(\theta) + \langle \bar{S}(\tau; z), \phi(\theta) \rangle$，其中 $\bar{S}$ 是通过随机逼近更新的辅助统计量。
2. 算法结构： 提出的增量随机 MM 算法（算法 1）维护一个辅助统计量序列 $\{s_n\}$，该序列通过递归式 $s_{n+1} = s_n + \gamma_{n+1}(\bar{S}(\bar{\theta}(s_n); z_{n+1}) - s_n)$ 进行更新。随后，参数迭代值 $\theta_{n+1}$ 通过根据更新后的统计量最小化代理函数来确定地获得：$\theta_{n+1} = \bar{\theta}(s_{n+1})$。
3. 应用于 Softmax 门控 MoE： 该方法专门应用于两种变体的 Softmax 门控 MoE 模型：
   • 连续输出（SGMoE）： 利用具有多项式回归门控和均值函数的高斯专家模型。
   • 离散输出： 利用具有多项式门控的多项逻辑回归专家模型。
     对于这些模型，作者推导出了特定的指数族极大值代理函数，从而绕过了原始目标函数必须属于指数族的限制。他们利用二次界限和特定的矩阵不等式（例如涉及矩阵 $B_{n,K}$ 的不等式）构建了有效的极大值函数，以处理 Softmax 门控和高斯似然项中固有的非凸性和缺乏光滑性的问题。
4. 理论保证： 在满足一组正则性假设（P1–P5）和稳定性条件（假设 1–8）的情况下，本文证明了该算法生成的序列几乎处处收敛于目标函数的驻点（即梯度为零的点）。这一一致性结果依赖于李雅普诺夫函数（Lyapunov function）的存在性和随机逼近的性质。

核心贡献

• 推广了增量随机 MM 法： 本工作推广了增量随机 EM 算法，使其能够适用于那些难以进行显式隐变量表示或不符合指数族结构的更广泛模型。
• 理论一致性： 作者提供了严谨的理论保证，证明其迭代过程收敛至以梯度消失为特征的驻点；而在处理复杂的隐变量模型时，这种性质在广泛使用的随机优化器（如 SGD、RMSProp、Adam 和 Sophia）中往往是缺失的。
• 对 Softmax 门控 MoE 的创新应用： 本文证明，该方法是首个能够有效拟合 Softmax 门控 MoE 模型的增量随机算法。在这些场景下，由于存在严格的正则性条件限制（例如 SGMoE 目标函数中 Lipschitz 连续性和凸性的失效），现有的增量 EM 和 MM 变体无法奏效。
• 修正界限： 作者重新审视并修正了前人工作 [5] 中引理 2 所呈现的一个界限，为构建多项逻辑回归背景下的有效极大值函数提供了更显式且严谨的公式化表达。

实验结果
该方法在合成数据集和真实世界数据集上进行了评估，并与最先进的随机优化器（SGD、RMSProp、Adam、AdamW、Sophia）进行了对比。

• 合成数据： 在低维和高维合成数据集上，增量随机 MM 算法在估计误差（MSE、MAPE、NRMSE）和预测误差方面始终优于基准方法。它展示了更快的收敛速度和更高的稳定性，尤其是在使用 Polyak 平均时。
• 真实世界数据：
  • 玉米基因型（Dent Maize Genotypes）： 在一项涉及干旱胁迫和蛋白质组学的生物信息学研究中，所提方法与基准方法相比，在预测性能方面取得了稳定的提升。
  • 社区与犯罪（Communities and Crime）： 在社会经济犯罪数据上，该方法同样表现出优越或相当的性能，且在交叉验证折叠间的方差较低。
• 初始化鲁棒性： 算法在受扰动的真实参数初始化和基于数据驱动的初始化（通过 K-means）下均表现稳健，能够成功恢复真实参数并最小化对数似然。

意义与主张
论文声称，所提出的增量随机 MM 框架为在流式数据环境中优化复杂的隐变量模型提供了一个稳健且具有理论依据的替代方案。通过放宽 EM 类方法所需的严苛假设（如凸性和显式隐变量表示），该方法扩大了增量随机估计的应用范围。作者强调了 Softmax 门控 MoE 架构在当代深度学习中处理异构数据建模的核心作用，并指出其方法填补了一个关键空白，即在以往增量随机方法无法适用的情况下，提供了一种可行的优化策略。这项工作表明，该框架可以作为未来统计学习发展的基石工具，特别是对于那些需要灵活的、非高斯的或基于深度神经网络的专家组件的模型。