💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

本論文は、トークンごとに大規模なフィードフォワードネットワークのパラメータの連続的な部分を選択することによって、Mixture of Expertsを無限の空間へと一般化する新しいアーキテクチャである $\infty$ -MoEを提案しており、それにより、膨大な数のエキスパートを用いた効果的な学習を可能にすると同時に、より大規模な高密度モデルに匹敵する性能を実現し、柔軟な精度と速度のトレードオフを提供している。

原著者： Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

公開日 2026-01-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、あらゆる本が知識の断片を表す、巨大でハイテクな図書館を運営していると想像してください。従来の図書館（標準的なAIモデル）では、少数の非常に大規模で汎用的な司書たちがいます。あなたが質問をすると、すべての 司書が答えようとし、彼らの回答が混ぜ合わされます。これは正確ですが、すべての質問に対して全員に働いてもらう必要があるため、遅くてコストがかかります。

これを解決するために、研究者たちはMixture of Experts (MoE) を発明しました。全員に働いてもらう代わりに、「ヘッド司書（ルーター）」があなたの質問を見て、それに答えるための特定の司書を2人だけ選び出します。これにより、はるかに高速で安価になります。しかし、落とし穴があります。従来のセットアップでは、雇う司書の数（例えば16人や100人）を正確に決めなければなりません。もし増やしすぎると、ヘッド司書が誰を選ぶべきか混乱してしまい、システム全体の学習が困難になります。それは、一度に二人としか話せないのに、1,000人のチームを管理しようとするようなものです。同期を保つのが非常に難しくなります。

新しいアイデア：∞-MoE (Infinite Mixture of Experts)

東京大学の研究者たちは、大胆な問いを投げかけました。「もし、固定された数の司書を持たないとしたらどうだろうか？もし、無限の数の司書がいるとしたら？」

彼らはこの新しいシステムを ∞-MoE と呼んでいます。以下に、シンプルな比喩を用いてその仕組みを説明します。

1. 連続的な「エキスパート空間」

司書が1列に並んで座っている（司書#1、司書#2、司書#3）のではなく、司書たちが無限に続く連続的なマップの上に広がっていると考えてください。

従来のシステムでは、マップ上の特定の点（例：「座標5にいる司書」）を選ばなければなりませんでした。
新しいシステムでは、ヘッド司書は質問を受けるたびに、マップ上に**「雲」**を描きます。この雲は、役に立つ可能性のあるエキスパートの範囲を表しています。

2. 選ぶのではなく、サンプリングする

質問を投げると、ヘッド司書は単に特定の2人をピックアップするわけではありません。代わりに、その雲から「スナップショット（サンプル）」を撮ります。

座標5.2の点を選ぶこともあれば、
座標5.3の点を選ぶこともあります。
マップが連続的であるため、スナップショットを撮るたびに、これまで存在したことのないユニークなエキスパートが得られるのです。

3. 「マスク」（ニューロンのオン・オフ）

無限のエキスパートを抱えながら、どうやって無限のコンピュータを作らずに済ませるのでしょうか？秘密は**「マスク」**にあります。
AIの脳を、巨大な電球（ニューロン）のグリッドだと考えてください。

標準的なAIでは、すべての電球がついています。
旧来のMoEでは、ルーターがエキスパート#1用の特定のブロックの電球をつけ、別のブロックをエキスパート#2のために使います。
∞-MoE では、「サンプル」（マップ上の座標）が**ステンシル（型紙）**として機能します。システムは巨大な電球のグリッドを取り出し、そのステンシルを使って、その質問に対して最も明るい上位25%の電球だけを点灯させます。
ステンシルは連続的な数値に基づいているため、質問ごとに異なるパターンの電球が点灯します。それは、手元にあるパーツだけを使って、質問ごとにカスタマイズされた独自のツールを即座に作り上げているようなものです。

なぜこれが大きなニュースなのか？

著者らは、このモデルを2つのモデル（GPT-2 SmallおよびMedium）でテストし、印象的な結果を得ました。

少ない「活動的」な脳で、より高いパフォーマンスを：
1億2,900万個の有効パラメータ（実際に動いている部分）を持つ∞-MoEモデルは、3億5,000万個のパラメータを持つ標準的な高密度モデルと同等の性能を発揮しました。これは、巨大な脳の知能を得ながら、小さな脳のエネルギーだけで動いているようなものです。
柔軟性：
旧来のMoEでは、速度を上げたい場合、モデル全体を再学習させる必要がありました。しかし、∞-MoEでは、質問をする瞬間に「サンプル（スナップショット）」の数を変えるだけで済みます。
- スピードが必要な場合：サンプルの数を減らす（エキスパートを少なくする）。
- 最大限の精度が必要な場合：サンプルの数を増やす。
  論文によれば、モデル自体を変更することなく、この設定を調整するだけで、標準的なMoEに対して2.5%の精度向上が得られることが示されています。
安定性：
旧来のシステムにエキスパートを追加する際の大きな問題の一つは、不安定になり学習が難しくなることです。∞-MoEは、エキスパートをバラバラのリストではなく、滑らかで連続的な空間として扱うため、エキスパートの数が「無限」に向かって増えても、学習の安定性が保たれます。

落とし穴（限界）

著者らは、まだ解決できていない点についても正直に述べています。

スケーリング： 彼らは中規模のモデルでテストを行いました。現在の企業が使用しているような大規模なモデル（GPT-4規模）でも同様に機能するかどうかは、まだ完全には分かっていませんが、機能すると予想しています。
ハードウェアの速度： 数学的には高速であるはずですが、実際のコンピュータコードは複雑です。単語ごとに点灯する「電球」が変わるため、標準的なコンピュータチップでそれらを一度に効率よく処理するのが困難です。彼らは高速に動作させるために特別なコードを書きましたが、まだ改善の余地があります。

まとめ

∞-MoE は、固定された専門家チームから、形を変え続ける無限のチームへのアップグレードのようなものです。100人の特定の人物を雇う代わりに、魔法の機械が、手持ちの計算資源のごく一部だけを使って、あらゆる質問に対して即座に、唯一無二の完璧なスペシャリストを作り出します。これにより、膨大なコストをかけて巨大で静的な脳を持たなくても、AIをより賢く、より柔軟にすることができるのです。

技術要約: ∞-MoE: Mixture of Experts の無限の専門家への一般化

1. 問題提起

大規模言語モデル（LLM）は、パラメータ、データ、および計算量のスケーリングを通じて、顕著な性能向上を達成してきた。しかし、単にモデルサイズを大きくすることは、膨大な計算量とメモリのオーバーヘッドを招く。Mixture of Experts（MoE）アーキテクチャは、各トークンを専門化されたサブセットの専門家（エキスパート）にルーティングすることで、トークンあたりの計算コストを線形に増加させることなく、パラメータ容量を拡張する。

これらの利点にもかかわらず、従来のMoEは、専門家の数をスケールアップする際に以下の限界に直面する：

離散的な制約: 専門家は、離散空間における完全に独立した実体として扱われる。
学習の不安定性: 専門家の数が増えるにつれ、各専門家を効果的に学習させることが困難になる。
ルーターのオーバーヘッド: 専門家のプールを積極的に増やしすぎる（例：数百万個）と、ルーターのオーバーヘッドが増大したり、精度が低下するほど過度に圧縮された専門家が生じたりする可能性がある。

中心となる問いは、計算効率を維持しながら、有限の専門家セットを超えて、実質的に無限の数の専門家へと移行することで、性能をさらに向上させることができるか、という点である。

2. 手法: ∞-MoE

著者らは、MoEを離散的な専門家の集合から、連続的で、潜在的に非可算無限の専門家空間へと一般化するフレームワークである ∞-MoE を提案している。

2.1 連続的な専門家空間

標準的なMoEでは、ルーターは集合 $Z = \{1, \dots, n\}$ から離散的なインデックス $i$ を選択するが、∞-MoEは専門家空間を連続的なドメイン $Z \subseteq \mathbb{R}^{d_z}$ として定義する。

ルーター: ルーターは、連続空間上の確率密度 $p(z|x)$ を出力し、これはガウス分布 $\mathcal{N}(z | \mu(x), \Sigma(x))$ としてモデル化される。
サンプリング: 学習および推論中、モデルは連続的な専門家インデックス $z^{(k)} \sim p(z|x)$ を $K$ 個サンプリングする。
積分: 出力は、モンテカルロ・サンプリングによって近似される： $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ 。

2.2 動的マスキングによる専門家設計

固定されたパラメータ予算内で無限の数の専門家を実現するために、著者らはサンプリングされた連続インデックス $z$ を用いて、単一のフィードフォワードネットワーク（FFN）を変調する。

メカニズム: サンプリングされた $z$ は、FFNの中間層におけるニューロンのサブセットを動的に選択するマスクを生成するために使用される。
実装:
1. 中間値 $\hat{m} = W_z z$ を計算する。
2. 上位 $N\%$ のノードを保持し、残りをゼロに設定する Top- $N\%$ オペレータを適用する。
3. 最終的な専門家の出力は $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ となる。
効果: 各異なるサンプリングされた $z$ は、FFNのパラメータのユニークなサブセットを活性化させる。これにより、従来のMoEのスパース性の特性を維持しながら、連続的な連続体から明確な「専門家」を実質的に作り出す。

3. 主な貢献

理論的一般化: 本論文は、MoEを離散的な専門家プールから連続的なドメインへと拡張する定式化を導入し、理論的に無制限の数の専門家を可能にする。
効率的な実装: 連続的なサンプリングと動的なニューロン・マスキングを組み合わせることで、本手法は、疎なルーティング（トークンあたりごく一部のパラメータのみが活性化される）の計算効率を維持しながら、無限の専門家の容量を実現する。
柔軟な推論: このアプローチは、推論時にサンプリング数 $K$ を調整することで、精度と速度の柔軟なトレードオフを可能にする。
カスタムカーネルの最適化: 著者らは、マスキングとリダクション操作を効率的に処理するための融合CUDAカーネルを開発し、標準的なPyTorch実装に対して1.25倍の高速化を実現した。

4. 実験結果

著者らは、様々なゼロショットNLPベンチマーク（BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE）において、GPT-2 SmallおよびGPT-2 Mediumアーキテクチャを用いて∞-MoEを評価した。

デンスモデルとの比較: GPT-2 Smallベースの∞-MoE（活性パラメータ129M、総パラメータ186M）は、平均スコア 39.8 を達成し、同等のスコア（39.8）を出したデンスなGPT-2 Medium（350Mパラメータ）と同等であった（平均は同等だが、∞-MoEの方が少ない活性パラメータを使用している）。具体的には、∞-MoEはデンスなGPT-2 Small（38.5）および標準的なMoEバリアントを上回った。
標準的なMoEとの比較: ∞-MoEは、すべてのベンチマークにおいて、Switch Transformer (Top-1) および標準的なMoE (Top-2) を一貫して上回った。GPT-2 Smallについては、平均スコアを標準的なMoEの38.8から39.8へと向上させた。
$K$ によるスケーリング: 推論時のサンプル数 $K$ を増やすことで、さらなる精度の向上が得られた。最小限のサンプリング（ $K=1$ ）であっても、モデルは標準的なMoEに対して 2.5%の精度向上 を維持した。
安定性: ルーティング・エントロピーの測定により、モデルは学習中に迅速に安定し、高い正規化ルーティング・エントロピー（ $\approx 0.9$ ）を示した。これは、専門家空間が一様に利用されていることを示唆している。
アブレーション研究:
- データサイズ: HellaSwagにおける性能は、訓練データサイズが1000億トークンに達するまで正の相関を持ってスケールした。
- インデックス次元: 連続インデックス $z$ の次元を増やすと、 $d_z=128$ まで性能が向上したが、それ以上の次元ではさらなる利得は見られなかった。

5. 重要性と主張

本論文は、∞-MoEがデンスモデルの高い容量と、疎なMoEの効率性の間のギャップをうまく埋めるものであると主張している。専門家を連続的な空間として扱うことで、この手法は、大規模な離散的専門家プールに伴う学習の不安定性を回避しながら、「無限」の特化を可能にする。

著者らは、このフレームワークが 柔軟な速度-精度トレードオフ を提供することを強調している。ユーザーは、再学習を行うことなく、特定のレイテンシやハードウェアの制約に合わせて、推論時のサンプリングされた専門家の数（ $K$ ）を調整できる。

6. 限界と今後の課題

著者らは、いくつかの限界と未解決の課題を明示している：

より大きなモデルへのスケーリング: GPT-2 Mediumよりも大きなモデル（例：GPT-3規模）における∞-MoEの挙動、特に総パラメータ数と活性パラメータ数の間のトレードオフについては、まだ完全には理解されていない。
ルーターの分布: 現在の実装は単峰性のガウス型ルーターを使用している。より複雑な分布（例：混合ガウスモデル）は、より良いカバレッジを提供できる可能性があるが、学習の分散とサンプリングの複雑さを導入する。
ドメインの汎用性: 非NLPドメイン（例：Vision Transformerやマルチモーダルモデル）への適用可能性は、まだ探索されていない。
ハードウェア効率: 理論的なFLOPsは低いが、活性化されるニューロン集合の動的な性質により、実用的なスループットが阻害される可能性がある。これはバッチ処理や固定形状のGEMMの使用を困難にする。著者らは、現在の実装がマスクされた密な行列乗算を通じてスループットを優先していると述べているが、理論的な計算節約と実用的な速度の差を埋めるには、さらなるシステムレベルの最適化が必要である。