💬 NLP

EMO: Pretraining Mixture of Experts for Emergent Modularity

EMO は、事前学習中に文書境界を活用して出現する意味的に特化した専門家のモジュール性を可能にする新たなミクスチャー・オブ・エキスパートアーキテクチャを導入し、標準的な単一モデルや従来の MoE モデルと比較して最小限の性能低下で選択的な専門家の展開を可能にする。

原著者： Ryan Wang, Akshita Bhagia, Sewon Min

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ryan Wang, Akshita Bhagia, Sewon Min

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「EMO: Pretraining Mixture of Experts for Emergent Modularity」の解説を、平易な言葉と創造的な比喩を用いて行ったものです。

問題点：「すべてか無か」の巨人

あらゆる書籍（量子物理学の高度な内容から料理のレシピ、コーディングマニュアルまで）を収蔵する、巨大で全知の図書館（大規模言語モデル）があると想像してください。

現在、ケーキの焼き方についての単純な質問をこの図書館に投げかけようとする場合、必要なのは焼き物の知識を持つ司書ただ一人なのに、建物全体を開け、すべての明かりをつけ、すべての司書を待機させなければなりません。これは信じられないほど高価で、遅いものです。

一部の人々は、この問題をエキスパートの混合（MoE）モデルで解決しようと試みました。これは、数百人の専門司書がいる図書館のようなものです。質問が投げかけられると、システムはあなたを助けるために数人の司書だけを選び出します。

難点: 従来の MoE モデルでは、システムが混沌としています。焼き物についての質問をしても、システムは誤って文法を知る司書、歴史を知る司書、そしてコーディングを知る司書を起こしてしまう可能性があります。「間違った」司書がまだ活動しているため、コスト削減のためにコーディング司書を解雇することはできません。システムが壊れてしまうからです。そのため、全チームを給与支払いの対象として維持し続けなければなりません。

解決策：EMO（整理された図書館）

著者たちは、これらのモデルが自然に整理された独立したチームへと組織化されるよう訓練する新しい方法、EMOを導入しました。

秘密の武器：「ドキュメント」ルール
鍵となるアイデアは単純です。あるドキュメント内のすべては、通常、同じトピックに属します。

コーディングに関するドキュメントを読んでいる場合、そのドキュメント内のすべての文はコーディングについてです。
医学に関するドキュメントを読んでいる場合、すべての文は医学についてです。

EMO は、この事実を訓練中のルールとして利用します。システムにこう指示します。「この特定のドキュメントに対して、小さなエキスパートのグループ（『プール』）を選び、そのドキュメント内のすべての単語が、そのグループからのエキスパートのみを使用するように強制する」。

まるで学生たちに、「この特定の論文では、科学セクションの資料のみを使用しなければならない。歴史セクションに行ってはならない」と指示しているようなものです。

モデルがこのルールを数百万のドキュメントにわたって守ることで、エキスパートを自然にグループ化することを学びます。「コーディング」エキスパートは互いに固まり、「数学」エキスパートは固まり、「医療」エキスパートも固まります。無関係なトピックとの混ざり合いは止まります。

結果：システムを壊さずにチームを削減する

著者たちは、巨大なモデル（合計 140 億パラメータだが、一度に活性化するものは 10 億のみ）を構築し、テストを行いました。

フルチームのパフォーマンス: エキスパートのチーム全体を使用する場合、EMO は従来のモデルと同じように機能します。賢く、正確です。
「カット」テスト: ここで EMO が輝きます。彼らは、エキスパートの 25% だけ（例えば数学エキスパートのみ）を使用してモデルを実行しようと試みました。
- 従来のモデル: 従来のモデルの 25% だけを使用しようとすると、システムはクラッシュします。残りのエキスパートが無秩序で混乱した混合であるため、性能は 10〜15% 低下します。
- EMO: EMO の 25% だけを使用しても、性能の低下はわずか**1%**です。その 25% が完全に整理され、専門化されたチームであるため、モデルは賢さを保ちます。

比喩:

従来の MoE: 工具箱の中の無作為な道具の集まりのようです。道具の半分を取り出すと、ハンマーとドライバーを失い、残るのはレンチとノコギリだけになるかもしれません。家など建てられません。
EMO: 道具がラベル付きの引き出しに整理された工具箱のようです。漏水修理をする必要がある場合、「配管」の引き出しを開ければよいのです。その仕事に必要な道具はすべて揃っており、「ガーデニング」や「電気」の引き出しを持ち歩く必要はありません。

エキスパートが実際に学んだこと

研究者たちは、モデル内部を覗き込み、エキスパートが何をしているかを確認しました。

古いモデル: エキスパートは、「『the』という単語を処理する」や「コンマを処理する」といった低レベルのトリックを学んでいました。これは、背表紙の色で本を並べる方法しか知らない司書のようです。
EMO: エキスパートは高レベルのトピックを学びました。あるグループは「数学チーム」に、別のグループは「コーディングチーム」に、さらに別のグループは「医療チーム」になりました。これは、実際にその分野の専門知識を持つ司書を持っているようなものです。

なぜこれが重要なのか

この論文は、モジュール化された巨大で強力な AI モデルを構築できることを示しています。どこへ行くにも巨大で重いバックパック（フルモデル）を運ぶ代わりに、今行っている特定のタスクに特化した小さなキットを運ぶことができます。

メモリ効率: 数学だけを行う必要がある場合、モデル全体をメモリに読み込む必要はありません。
柔軟性: これらのエキスパートグループを自由に組み合わせて使用できます。
人間のラベル不要: モデルはこれすべてを自力で見つけ出しました。研究者たちは「あなたは数学のエキスパートだ」と指示する必要はありませんでした。モデルは「ドキュメントルール」に従うだけで、自ら数学のエキスパートを発見しました。

要約すれば、EMO は、単一で高価な巨人を、必要なものに応じて組み立てたり分解したりできるレゴブロックのセットへと変えます。城を建てる能力を失うことなく、です。

技術概要：EMO - 出現的モジュール性のための事前学習混合専門家モデル

問題定義

大規模言語モデル（LLM）は通常、単一のモナリクスシステムとして展開され、アプリケーションが能力の狭いサブセット（例：コード生成や数学的推論）のみを必要とする場合でも、モデル全体をロードする必要があります。このパラダイムは、不要な計算コストとメモリ使用量を招きます。混合専門家モデル（MoE）アーキテクチャは、入力ごとに専門家のサブセットのみを活性化することで潜在的な解決策を提供しますが、標準的な MoE はモジュール化された展開をサポートしていません。既存の MoE では、単一入力内のトークンが、高レベルのセマンティックドメインではなく、低レベルの語彙パターン（例：前置詞、句読点）によって駆動されることが多く、多様な専門家を活性化します。その結果、特定のドメインに対して専門家の特定のサブセットに推論を制限すると、性能が著しく低下し、モデルの一部分のみをロードできるメモリ制約のある環境において MoE を実用的でなくしてしまいます。

手法：EMO

著者は、事前学習中にモジュール性をファーストクラスの目的として誘発するように設計された MoE アーキテクチャであるEMOを導入します。核心的な目標は、人間が定義したドメインラベルに依存することなく、特定のドメインに対して専門家サブセットを独立して使用し、強力な汎用モデルとして組み合わせることができるモデルを訓練することです。

主要メカニズム：ドキュメントレベルの共有プール

中心的な直観は、同じドキュメント内のトークンは通常、セマンティックドメインを共有するという点です。EMO は、この構造を強制するための弱い教師信号としてドキュメント境界を利用します：

共有専門家プール：各ドキュメントに対して、ルーターはルーティングされた専門家全体の集合から、共有された専門家プール（ $D$ ）を選択します。
制限されたルーティング：そのドキュメント内のすべてのトークンは、この共有プールからのみアクティブな専門家を選択するように制限されます。
動的粒度：異なるメモリ予算全体で柔軟性を確保するために、専門家プールのサイズ（ $d$ ）は、トークンあたりのアクティブ専門家の数 $k$ とルーティングされた専門家の総数 $n_r$ において、事前学習中に一様分布 $U\{k, n_r\}$ からサンプリングされるランダム変数として扱われます。

訓練目的と技術的考慮事項

目的：モデルは、標準的な自己回帰言語モデルの損失（ $L_{CE}$ ）と補助損失を組み合わせて訓練されます。
負荷分散：重要な技術的貢献は、グローバルな負荷分散の採用です。標準的なマイクロバッチ負荷分散は、ドキュメントレベルのルーティング制約（マイクロバッチ内のトークンを専門家全体に分散させること）と矛盾します。EMO は、ドキュメント内での整合性を維持しつつ、データ並列グループ全体にわたってルーティング統計を集約して負荷分散損失を計算し、データセット全体で専門家の均一な利用を確保します。
アーキテクチャ：著者は、1 兆トークンで 128 人の専門家（127 人のルーティング専門家と 1 人の共有専門家）を備えた、10 億アクティブパラメータ、140 億総パラメータのモデルを訓練しました。このアーキテクチャは、プレノーム、QK ノームの削除、共有専門家の導入など、以前のベースラインに対する改善を取り入れています。

主要な貢献

出現的モジュール性：EMO は、事前定義されたドメインラベルや人間の事前知識を必要とせず、ドキュメント境界を唯一の信号として使用して、モジュール構造がデータから直接出現することを示しています。
選択的専門家利用：このモデルは、ドメイン固有のタスクにおいてほぼフルモデルの性能を維持する小さな専門家サブセット（例：専門家の 12.5% から 25%）の展開を可能にし、これは標準的な MoE が欠いている能力です。
セマンティック特化：低レベルの構文パターンに特化する標準的な MoE と異なり、EMO の専門家は、数学、コード、バイオメディカル、政治などの高レベルのセマンティックドメインに特化した一貫したグループとして組織化されます。
パレートフロンティアの改善：EMO の専門家サブセットは、ゼロから訓練されたメモリ一致モデル（密度モデルと標準 MoE の両方）を上回り、メモリと精度のトレードオフにおける新しいパレートフロンティアを確立します。

結果

フルモデル性能：完全なモデルとして、EMO は同じデータ（1 兆トークン）で訓練された標準的な MoE と同等の性能を発揮し、MMLU、MMLU-Pro、GSM8K などのベンチマークで競争力のある結果を達成します。
サブセット性能：
- 専門家の**25%を保持する場合、EMO は MMLU 精度で1%**の絶対的な低下しか生じませんが、標準的な MoE は 10% 以上低下します。
- 専門家の**12.5%を保持する場合、EMO は3%**の低下しか生じませんが、標準的な MoE は 15% 低下します。
- EMO サブセットは、同じパラメータ数でゼロから訓練された密度モデルや標準的な MoE を一貫して上回ります。
堅牢性：EMO の性能は、異なる専門家選択方法（ルーターベース対 Easy-EP プルーニング）全体で堅牢であり、専門家選択のための極めて小さな検証セットでも効果的です。
分析：クラスタリング分析により、EMO では同じドキュメントからのトークンが同じセマンティッククラスタ（例：「健康、医療、ウェルネス」）にグループ化されるのに対し、標準的な MoE のトークンは表面レベルの特徴に基づいてクラスタ間に分散することが明らかになりました。

意義と主張

この論文は、EMO が大規模でスパースなモデルのモジュール化された、メモリ効率的な展開への道を提供すると主張しています。専門家サブセットの独立した使用と組み合わせを可能にすることで、EMO は MoE のスケーリングに伴うメモリボトルネックに対処します。著者は、いくつかの含意を強調しています：

アクセス可能な展開：ユーザーは特定のタスクやドメインに関連する専門家のみを提供でき、メモリ要件を大幅に削減できます。
微細な制御：モジュール性により、推論時に機能の選択的な有効化または無効化（例：スパムやアダルトコンテンツに関連する専門家を除外する）が可能になります。
モジュール開発：この構造は、タスク固有の専門家サブセットを独立して訓練し、後に再統合できるモジュール型事前学習の潜在的なパラダイムを示唆しています。
監視可能性：明確なルーティングパターンは、モデルの動作を監査およびデバッグするための構造化された信号を提供します。

著者は、モジュール性を事前学習そのものに組み込むことで、展開、適応、検査が容易な構成可能なアーキテクチャへと、単一モナリクスシステムから移行できると結論付けています。