💬 NLP

Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

本論文は、モデルサイズにわたって一貫した最適な活性化率を特定することにより、総パラメータ数、計算量、データ量という厳密に等しいリソース制約の下で、専門家混合（MoE）言語モデルが密なモデルを上回ることを実証し、この知見は約 250 個のモデルの学習と 50 兆トークンの処理を通じて行われた広範な実験によって検証されたものである。

原著者： Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

知識の巨大な図書館を構築している状況を想像してください。厳格な予算があります：購入できる本（パラメータ）の数は限定され、それらを読むのに費やせる時間（計算リソース）も限定され、読める固有の物語（データ）の数も限定されています。

長らく、この図書館を構築する標準的な方法は、1 人の巨大で超賢い司書を採用し、質問が来るたびに図書館にある「すべての本」をその司書に読ませるというものでした。これが論文で**密モデル（Dense Model）**と呼ばれているものです。これは信頼性が高いものの、すべての重労働をその 1 人の司書が担う必要があるため、遅く、かつ高価です。

最近、**エキスパート混合（Mixture-of-Experts: MoE）**と呼ばれる新しい考え方が人気を集めています。1 人の巨大な司書の代わりに、100 人の専門的なエキスパートのチームを採用します。質問が入ると、「マネージャー（ゲート）」が即座にその質問に答えるのに最適な数人のエキスパートを選び出し、残りの者はコーヒーブレイクを取ります。これは高速であり、読み取り速度を落とすことなく、はるかに大きな図書館（より多くの総本数）を持つことを可能にします。

大きな問い
この論文は、非常に具体的かつ厄介な問いを投げかけています：「もし『1 人の巨大な司書』と『エキスパートのチーム』に、本、時間、そして固有の物語という点で完全に同じ予算を与えた場合、実際にエキスパートのチームが勝つことができるでしょうか？」

過去の研究では、エキスパートのチームに本をより多く与えたり、時間をより多く与えたりすることで、あたかも勝たせているような手抜きがしばしば行われていました。この論文は、ルールが厳密に等しい状況下で、チームが勝てるかどうかを明らかにしようとしたのです。

実験：絶妙なバランス点の発見
研究者たちは単にお金を投げて問題を解決したわけではありません。彼らは熟練した建築家のように振る舞いました。完璧な設計を見つけるために、これらの図書館のほぼ 200 種類の異なるバージョンを構築しました。

アーキテクチャ：彼らはエキスパートを配置する最良の方法を突き止めました。その結果、最初の層に 1 つの「一般化された層」（標準的な密層のようなもの）を置き、その後にエキスパート層を配置するのが最善であることが判明しました。
活性化率（「コーヒーブレイク」の比率）：これが最も重要な発見です。MoE チームにおいて、「活性化率」とは、実際に問題に取り組むために目を覚ますエキスパートの割合を指します。
- 目を覚ますエキスパートが少なすぎると（比率が低すぎると）、チームの知的能力が不足します。
- 目を覚ますエキスパートが多すぎると（比率が高すぎると）、チームは混乱し、その特異な焦点を失います。
- 黄金律：研究者たちは、まさに**20%**のエキスパートが目覚めるという「絶妙なバランス点」を発見しました。図書館が小規模（20 億冊）であれ、中規模（70 億冊）であれ、この 20% というルールが常に最良の結果を生み出しました。

データの問題：物語の再利用
ここには落とし穴がありました。エキスパートのチームは非常に効率的であるため、巨大な司書と同じレベルで学習するには、より多くの物語を読む必要があったのです。もし巨大な司書と同じ「固有の物語」しか与えられなければ、チームは遅れをとることになります。

これを解決するため、研究者たちはデータ再利用と呼ばれる戦略を試みました。巨大な司書が物語を 1 回読むのに対し、エキスパートのチームは同じ物語を 2 回、あるいは 3 回読む（データを再利用する）という方法です。

結果：エキスパートのチームが、（読み直すことで）巨大な司書と同じ固有の物語を強制的に読むことになっても、その 20% という活性化率を維持さえすれば、巨大な司書を上回るパフォーマンスを達成することができました。

結論
この論文は結論として、はい、エキスパートのチームは巨大な司書に勝つことができますと述べています。それは、本、時間、そして固有の物語という総資源が完全に同じであっても同様です。

ただし、これは以下の条件を満たす場合にのみ機能します：

チームのレイアウトを完璧に設計すること。
エキスパートの「目覚め」の比率を、その魔法の**20%**に保つこと。
効率性のギャップを埋めるために、チームに同じ物語を数回読み直すことを許可すること。

要約すれば、この論文は、適切な設計とわずかな「読み直し」があれば、単一の巨大な労働者よりも、専門化されたエキスパートのチームの方が、予算が同一であっても、知的システムを構築するより強力な方法であることを証明しています。

技術サマリー：厳密に等しいリソース条件下でも、Mixture-of-Experts は Dense LLM を凌駕し得る

問題定義
Mixture-of-Experts（MoE）言語モデルは、トークンあたりの計算量を増加させずにモデル容量を拡張できることで広く認識されていますが、重要な問いが未解決のまま残されています：厳密に総パラメータ数（ $N$ ）、総トレーニング計算量（ $C$ ）、総データ予算（ $D$ ）が同一に制約された場合、MoE アーキテクチャは Dense アーキテクチャを上回る性能を発揮できるのでしょうか？過去の比較では、これらの制約を緩和する（例えば、MoE がより多くのデータを使用することを許容する、またはパラメータ数が大きく異なるモデルを比較する）ことで、MoE に有利な結果が導かれることが多かったです。本論文は、厳密なリソースの同等性のもとで、アーキテクチャ上の利点のみが優れた性能をもたらすかどうかという理解のギャップに取り組んでいます。

手法
著者は、固定された $N$ 、 $C$ 、および $D$ の下で公平な比較を確保するための、新規の視点と厳密な 3 段階の実験手法を提案します：

最適化されたアーキテクチャ探索：活性化率を比較する前に、著者は MoE のバックボーンを体系的に最適化します。レイヤー配置（完全な MoE、インターリーブ、または 1 つの Dense + MoE）、ゲートスコアの正規化、パラメータ割り当て（Top- $K$ 設定）、および構造ハイパーパラメータ（モデルのアスペクト比 $\zeta$ と FFN 拡張率）を調査します。その結果、特定の構造比率（ $\zeta \approx 88$ 、 $\mu \approx 22$ ）を持つ「1dense + Shared Expert」構成が最適なバックボーンであると特定しました。
固定 $N$ および $C$ 下での活性化率（AR）分析：最適化されたバックボーンを用いて、著者は Dense ベースラインの総トレーニング計算量と一致させながら、異なる活性化率（ $r_a$ 、活性化パラメータと総パラメータの比率）を持つ MoE モデルをトレーニングします。等しい $C$ を維持するため、トークンあたりの計算量が低い MoE モデルは、当初、比例してより多くのトークンでトレーニングされます。
データ再利用戦略：固有のデータ予算（ $D$ ）を厳密に同等にするため、著者はデータ再利用戦略を導入します。固定された小さな固有データセット $\hat{D}$ に対して、複数のエポックにわたりモデルをトレーニングします。「厳密な」再利用（ $N, C, D$ を完全に一致させる）と「緩い」再利用（エポック数を 2 に固定）を、固有データでトレーニングされた Dense ベースラインと比較します。

主要な結果
本研究では、2B スケールで約 200 個、7B スケールで 50 個以上のモデルをトレーニングし、累積で 50 兆トークンを処理しました。

最適活性化率の存在：実験により、MoE モデルが一貫して Dense 対応モデルを上回る安定した「最適活性化率」領域（ $R^*_a$ ）が存在することが明らかになりました。この最適率は約 20%（ $r_a \approx 0.2$ ）です。
性能の優位性：固定された $N$ と $C$ の下では、 $r_a \approx 20\%$ の MoE モデルは、Dense モデルよりも低い損失（より良い性能）を達成します。具体的には、最適 AR を持つ 2B MoE モデルは、同じ計算量でトレーニングされた Dense モデルを上回り、2 倍の計算量でトレーニングされた Dense モデルの性能に近づきます。
スケール全体での一貫性：最適活性化率である約 20% は、異なるモデルサイズ（2B、3B、7B）間で一貫しており、この発見はテスト範囲内ではスケールに依存しないことを示唆しています。これは、モデルサイズに応じて最適スパースティが変化するという以前の研究とは対照的です。
データ再利用の有効性：データ再利用戦略は、MoE モデルの追加的なデータ要求を相殺することに成功しました。固有データでトレーニングする場合と比較してデータの再利用はわずかな性能低下を引き起こしますが、最適 AR を持つ MoE モデルは、厳密なデータ制約下でも Dense ベースラインを上回ります。
下流タスクへの汎化： $r_a \approx 20\%$ の MoE モデルの優位性は、推論、知識、数学、コードのベンチマークにわたる下流タスク（SFT）へも汎化します。特に、データの再利用は推論タスクにはほとんど悪影響を与えませんが、知識性能を低下させます。しかし、最適 AR においては、再利用データで SFT された MoE は、固有データでトレーニングされた Dense モデルを上回ります。

意義と主張
本論文は、アーキテクチャが最適化され、活性化率が特定された最適領域内にあれば、厳密に等しいリソース制約（ $N, C, D$ ）のもとでも MoE アーキテクチャが Dense LLM を凌駕し得るという、最初の決定的な証拠を提供すると主張しています。

アーキテクチャ上の利点：性能向上は、パラメータ数や計算予算の格差ではなく、アーキテクチャ上の利点にのみ起因するものです。
リソース効率：この発見は、リソースが固定された場合 Dense モデルが優れているという従来の通説に挑戦し、次世代の NLP システムにおいてよりリソース効率の高いアーキテクチャへの道を開きます。
実践的戦略：データ再利用戦略の導入は、MoE モデルの追加的なデータ需要を緩和できることを示しており、Dense モデルよりもはるかに大きな固有データ予算を必要とせずに、優れた性能を達成可能にします。

著者は、計算コストの制約により 7B 以上のモデルをトレーニングしなかったことや、他のコンポーネントを固定したまま特定の MoE コンポーネントに焦点を当てたことなどの限界を認めています。また、将来の研究として、最適活性化率がアップサイクリングや MoEfication などの他のトレーニングパラダイムにおいて能力をどのように強化するかを探索することを提案しています。

関連論文