技術概要：MobileMoE エッジデバイス向け混合専門家（Mixture of Experts）の拡張

問題提起

混合専門家（MoE）アーキテクチャは、クラウドサーバー上で数十億パラメータ規模の大規模言語モデル（LLM）を拡張する標準となっていますが、サブビリオン（10 億未満）規模でのエッジデバイス展開における可能性は、まだ十分に探求されていません。既存のエッジデバイス用 LLM（MobileLLM、MobileLLM-Pro など）は圧倒的に密（dense）であり、品質向上にはアクティブパラメータ数の増加と推論計算量の増大が必要です。これは、メモリ（DRAM）と計算リソース（バッテリー寿命、遅延）に厳格な制約があるエッジ AI においてボトルネックとなっています。最近のスマートフォン DRAM 容量の増加（例：12〜16 GB）にもかかわらず、これらの特定のモバイル制約下で、モデル全体のサイズ、アクティブパラメータ、推論コストをバランスさせながら MoE アーキテクチャを拡張するための体系的な手法は確立されていません。

手法

1. エッジデバイス向け MoE スケーリング則

著者らは、メモリと計算の制約下でアーキテクチャを共同最適化するための汎用的なエッジデバイス向け MoE スケーリング則を定式化しました。損失関数 $L$ は、アクティブパラメータ（$N_{act}$）、トレーニングデータサイズ（$D$）、専門家数の単調変換（$\hat{E}$）、およびアーキテクチャ選択（$x$、専門家粒度 $g$ と共有専門家 $s$ を含む）の関数としてモデル化されます。

最適化目的は、以下の制約条件下で損失を最小化することです：

• 計算制約: トレーニング FLOPs（$F_{train} = 6N_{act}D$）およびトークンあたりの推論 FLOPs（$F_{inf} = 2N_{act}$）。
• メモリ制約: 量子化された重み（$b_w$-bit）とコンテキスト長 $T$ における KV キャッシュ（$b_{kv}$-bit）を含む総メモリフットプリント $M(N_{total}, T)$。

2. 分割統治法によるアーキテクチャ設計

スケーリング則を用いて、著者らは 3 つの制御されたアブレーション研究を通じて、エッジデバイス向け MoE の最適な「スイートスポット」を特定しました：

• 専門家の数（$E$）: 中程度のスパース性が最適です。$E$ を増加させると損失は減少しますが、$E=8$ を超えると限界効用が逓減します。メモリ制約のあるデバイスにとって、$E=8$ が実用的なスイートスポットとして選択されました。
• 専門家の粒度（$g$）: 微細な粒度の専門家（各専門家を $g$ つのサブ専門家に分割）は、より多様なルーティング経路を可能にします。この研究により、粗粒度の専門家と比較して過剰なオーバーヘッドを招くことなく有意な損失削減を実現する計算最適の粒度として $g=8$ が特定されました。
• 共有専門家（$s$）: 常時オンとなる共有専門家（密な経路）を導入することは、ルーティングされた専門家を補完します。固定された計算量の下では、共有専門家を含む構成（$s=\checkmark$）が、ルーティングのみの構成よりも低い損失を達成しました。

結果として得られたアーキテクチャ: 導出されたMobileMoEファミリーは、アクティブパラメータがそれぞれ 0.3B、0.5B、0.9B、総パラメータがそれぞれ 1.3B、2.8B、5.3B の 3 つのスケール（S、M、L）で構成されます。設計では、$E=8$、$g=8$（64 の微細粒度ルーティング専門家）、およびトップ 4 ルーティングを備えた共有専門家を使用しています。

3. 4 段階トレーニングレシピ

アーキテクチャ上の利点を実現するために、オープンソースデータセット上で包括的なトレーニングパイプラインが採用されました：

1. プレトレーニング: 広範な言語カバレッジと専門家の専門化を確保するため、ウェブ中心のミックスを用いた約 6T トークン。技術的には、補助損失不要のバランス調整、ルーター z-loss、および効率化のためのグループ化 MLP（GMM）カーネルが含まれます。
2. ミッドトレーニング: 高品質なドメイン固有データ（数学、コード、知識）に焦点を当てた約 500B トークンにより、コンテキストを 8k に拡張し、専門家の専門化を鋭くします。
3. 指示微調整（SFT）: 構造化された指示信号を維持するためのドロップレス・トークン・ディスパッチを用いた、多様なドメインにわたる約 80M サンプル。
4. 量子化対応トレーニング（QAT）: INT4 重み量子化（グループサイズ 32）と INT8 動的アクティベーション。重要なのは、ルーティングの安定性を維持するためにルーター重みを FP32 に保持することであり、これによりメモリオーバーヘッドは無視できるレベルに抑えられています。

4. 効率的なエッジデバイス推論

展開へのギャップを埋めるため、著者らは ExecuTorch にカスタム融合 MoE カーネルを実装しました。このカーネルは以下の機能を持ちます：

• トークンの再順序化により、スパースな専門家ディスパッチを密なグループ化 GEMM に変換します。
• すべてのサブ操作（ルーティング、ディスパッチ、射影、アクティベーション、スキャッター）を単一のオペレーターに融合し、カーネル起動および量子化のオーバーヘッドを償却します。
• 市販のスマートフォン CPU（Snapdragon 8 Elite、Apple A18 Pro）および GPU 上での効率的な推論を可能にします。

主要な結果

ベンチマーク性能

14 の基盤ベンチマーク（常識、知識、科学、読解、推論）において、MobileMoE は新しいパレートフロンティアを確立しました：

• 密モデルとの効率性比較: MobileMoE-S/M は、比較可能なメモリフットプリントにおいて、2〜4 倍少ない推論 FLOPsを使用して、主要な密なエッジデバイス LLM（MobileLLM-Pro、Llama 3.2 1B など）と同等かそれ以上の性能を発揮します。
• MoE モデルとの効率性比較: MobileMoE-M は、アクティブパラメータおよび総パラメータを約 60% 削減しながら、最先端の OLMoE-1B-7B と同等の精度を達成します。MobileMoE-L は、アクティブパラメータを 30% 削減し、メモリフットプリントを 23% 縮小しながら OLMoE-1B-7B を凌駕します。
• トークン効率: MobileMoE-L は、わずか約 6T のプレトレーニングトークンで優れた性能を達成し、1.5〜2 倍多くのトークンでトレーニングされた密なベースライン（例：9T の Llama 3.2 1B）を上回ります。

エッジデバイス実行時プロファイリング

INT4 重みで Samsung Galaxy S25 および iPhone 16 Pro に展開した場合：

• 遅延: 比較可能な INT4 重みメモリにおいて、MobileMoE-S は密な MobileLLM-Pro ベースラインと比較して、プリフィルが 1.8〜3.8 倍高速、デコードが 2.2〜3.4 倍高速です。
• メモリ: 8k コンテキストにおいて、MobileMoE-S は密なベースラインよりも最大22% 少ないピーク RAMを消費します。MobileMoE-L は 8k コンテキストで 5 GB 以内の DRAM に収まり、現代のスマートフォンでの実現可能性を確認しました。
• 精度: MobileMoE-L は、中程度の実行コストのみで、はるかに高い精度（平均 57.8 対 MobileLLM-Pro の 45.5）を提供し、このコストはコンテキスト長が増加するにつれて減少します。

意義と主張

本論文は、エッジ展開に特化して最適化された最初のサブビリオンアクティブ MoE ファミリーを、新規のエッジデバイス向けスケーリング則から導出したとして提示しています。その意義は、以下の 3 つの主要な貢献にあります：

1. 理論的基盤: メモリと計算の制約下での MoE 設計のための体系的な枠組みを提供し、中程度のスパース性（$E=8$）、微細粒度の専門家（$g=8$）、および共有専門家をモバイルデバイス向けの最適な構成として特定しました。
2. トレーニング効率: 密な対照モデルと比較して、はるかに少ないトレーニングトークン（約 6T）で最先端のエッジデバイス性能を達成できることを実証し、サブビリオン規模における MoE の学習効率を検証しました。
3. 実用的展開: 市販のスマートフォン上での最初の効率的な MoE 推論を提供することで、モバイル展開への「最後の 1 マイル」を橋渡ししました。結果は、MoE がクラウド規模のアーキテクチャであるだけでなく、スマートフォンやウェアラブルデバイスにおける低遅延、プライバシー保護、コスト効果の高いアプリケーションを実現するための実用的かつ効率的な道であることを確認しました。

著者らは、既存のエッジデバイスモデルが依然として主に密である一方で、MobileMoE は MoE がエッジにとって優れた代替手段であることを示し、精度、メモリ、遅延をバランスさせる新しいパレートフロンティアを確立したと結論付けています。