Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

技術要約：Mixture of Expertsへの適用を伴う、インクリメンタル・ストキャスティック・メジャー・マイマイゼーション（Majorization-Minimization）アルゴリズムの再考

問題提起
大量のストリーミングデータの処理により、全データセットへの繰り返しのパスを必要とする従来のバッチモード・アルゴリズムは非現実的なものとなっている。これを解決するために、インクリメンタルなストキャスティック期待値最大化（EM）アルゴリズムのようなインクリメンタルなストキャスティック推定手法が開発されてきたが、これらはしばしば制約の強い仮定、特に潜在変数の明示的な表現や、対象モデルが指数型分布族に属するという仮定に依存している。これらの制約は、Softmax-Gated Mixture of Experts (MoE) のような複雑なモデルへの適用性を制限している。なぜなら、この種のモデルにおける目的関数（負の対数予測密度）は、一般に指数型分布族には属さず、リプシッツ連続性、$L$-平滑性、あるいは凸性といった大域的な正則特性も備えていないためである。その結果、既存のインクリメンタルなストキャスティックEMおよびMMのバリエーションは、softmax-gated MoEモデルに対して有効なサロゲート（代理関数）を提供できなかったり、収束保証を与えられなかったりすることが多い。

手法
著者らは、確率近似（Stochastic Approximation）の枠組み内で定式化された、インクリメンタルなストキャスティック・メジャー・マイマイゼーション（MM）アルゴリズムのインクリメンタルなストキャスティック・バリアントを再検討し、分析を行っている。コアとなる手法は以下の通りである：

1. 一般化されたMMフレームワーク： 本アプローチは、対象モデルが指数型分布族であるという要件を緩和する。代わりに、*メジャーライザー・サロゲート（majorizer surrogate）*関数が指数型分布族に属することを要求する。アルゴリズムは、補助統計量 $\bar{S}$ を用いて更新される、次のように定義されるメジャーライザーの列 $g(\theta, z; \tau) = -\psi(\theta) + \langle \bar{S}(\tau; z), \phi(\theta) \rangle$ を構築する。
2. アルゴリズム構造： 提案されているインクリメンタル・ストキャスティックMMアルゴリズム（Algorithm 1）は、再帰式 $s_{n+1} = s_n + \gamma_{n+1}(\bar{S}(\bar{\theta}(s_n); z_{n+1}) - s_n)$ によって更新される補助統計量列 $\{s_n\}$ を保持する。その後、パラメータのイテレート $\theta_{n+1}$ は、更新された統計量に関して決定論的に得られる：$\theta_{n+1} = \bar{\theta}(s_{n+1})$。
3. Softmax-Gated MoEへの適用： 本手法は、以下の2つのバリアントのsoftmax-gated MoEモデルに特化して適用される：
   • 連続出力（SGMoE）： ガティングおよび平均関数として多項式回帰を用いたガウス専門家（Gaussian experts）を利用。
   • 離散出力： 多項ロジスティック回帰の専門家と多項式ガティングを利用。
     これらのモデルに対し、著者らは、元の目的関数が指数型分布族でなくても機能する、特定の指数型分布族メジャーライザー・サロゲートを導出している。また、softmaxガティングおよびガウス尤度に内在する非凸性と平滑性の欠如を処理するために、二次境界および特定の行列不等式（例：行列 $B_{n,K}$ を含むもの）を用いて、有効なメジャーライザーを構築している。
4. 理論的保証： 一連の正則性仮定（P1–P5）および安定性条件（Assumptions 1–8）の下で、本論文は、アルゴリズムが目的関数の停留点（勾配が消失する点）へとほとんど確実に収束する列を生成することを確立している。この一貫性の結果は、リアプノフ関数の存在と確率近似の特性に基づいている。

主な貢献

• インクリメンタル・ストキャスティックMMの一般化： 本研究は、インクリメンタルなストキャスティックEMアルゴリズムを一般化し、明示的な潜在変数表現が困難なモデルや、モデルが指数型分布族の構造に適合しないモデルへの幅広い適用を可能にした。
• 理論的一貫性： 著者らは、複雑な潜在モデルに適用された際にSGD、RMSProp、Adam、Sophiaといった広く用いられているストキャスティック最適化手法では欠落しがちな、勾配が消失する停留点への収束を証明する厳密な理論的保証を提供している。
• Softmax-Gated MoEへの新規適用： 本論文は、提案手法が、既存のインクリメンタルEMおよびMMのバリアントが（リプシッツ連続性の欠如や凸性の欠如などの）制約の強い正則条件により失敗する設定において、softmax-gated MoEモデルを効果的に適合させることができる最初のインクリメンタル・ストキャスティック・アルゴリズムであることを示している。
• 境界の修正： 著者らは、先行研究 [5] の補題2に示された境界を再検討し、修正を行い、多項ロジスティック回帰の文脈において有効なメジャーライザーを構築するために使用される、より明示的かつ厳密な定式化を提供した。

実験結果
本手法は、合成データおよび実世界のデータセットを用いて、最先端のストキャスティック最適化手法（SGD, RMSProp, Adam, AdamW, Sophia）との比較評価を行った。

• 合成データ： 低次元および高次元の合成データセットの両方において、インクリメンタル・ストキャスティックMMアルゴリズムは、推定誤差（MSE, MAPE, NRMSE）および予測誤差の観点で一貫してベースライン手法を上回った。特にポリアック平均（Polyak averaging）を使用した場合、より速い収束率と高い安定性を示した。
• 実世界データ：
  • トウモコシシラス（Dent Maize）の遺伝子型： 乾燥ストレスとプロテオミクス・データを含むバイオインフォマティクスの研究において、提案手法はベースラインと比較して、予測性能の安定した向上をもたらした。
  • コミュニティと犯罪（Communities and Crime）： 社会経済的な犯罪データにおいて、本手法は再び、クロスバリデーションのフォールド間で低い分散を伴いつつ、優れた、あるいは同等の性能を示した。
• 初期化への堅牢性： アルゴリズムは、摂動を加えた真の値を基にした初期化およびデータ駆動型の初期化（K-meansによる）の両方において堅牢に動作し、真のパラメータを回収し、対数尤度を最小化した。

意義と主張
本論文は、提案されたインクリメンタル・ストキャスティックMMフレームワークが、ストリーミングデータ環境における複雑な潜在変数モデルを最適化するための、堅牢で理論的根拠のある代替案を提供すると主張している。EMベースの手法に求められる厳格な仮定（凸性や明示的な潜在変数表現など）を緩和することで、本アプローチはインクリメンタルなストキャスティック推定の範囲を広げている。著者らは、ヘテロジニアスなデータモデリングにおける現代のディープラーニングにおける中心的な役割を果たすsoftmax-gated MoEアーキテクチャに注目し、既存のインクリメンタルなストキャスティックアプローチが適用不可能であった領域において、実行可能な最適化戦略を提供することで、本手法が重要なギャップを埋めるものであると強調している。本研究は、このフレームワークが、柔軟な、あるいは非ガウス的、またはディープニューラルネットワークベースの専門家コンポーネントを必要とするモデルに特に関心を持つ、将来の統計的学習の発展のための基礎的なツールとなり得ることを示唆している。