📊 statistics

Expert Merging in Sparse Mixture of Experts with Nash Bargaining

本論文は、ナッシュ交渉解（Nash Bargaining）と複素モーメンタムを活用することで均衡のとれた協調と収束の加速を実現し、様々なタスクや大規模モデルにおいて優れた性能を実証する、Sparse Mixture of Expertsのための新しいエキスパート・マージング・フレームワークであるNAMExを提案する。

原著者： Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、困難な問題を解決するために、専門家（エキスパート）で構成された巨大で非常にスマートなチームを構築したと想像してください。現代のAIにおいて、これらのチームはしばしば「疎な混合エキスパート（Sparse Mixture of Experts: SMoE）」として組織されています。これは、巨大な病院において、患者ごとに特定の医師数名だけが呼ばれ、残りの医師は休憩しているようなものだと考えてください。これにより、エネルギーとコストが節約されますが、新たな問題が生じます。それは、「これらすべての医師の知識を、どのようにして一つの単一の『スーパー医師』へと統合するか？」という問題です。

現在、ほとんどのAIチームは、すべての医師のアドバイスを「単純に平均化」しています。それは、10人のシェフにそれぞれの秘伝のレシピを書き出してもらい、その材料を巨大な鍋の中で混ぜ合わせ、その結果として美味しい料理ができることを期待するようなものです。多くの場合、うまくいきません。あるシェフはスープには長けていてもデザートには全くダメかもしれません。それらを平均してしまうと、両方の良さが台無しになってしまうのです。

本論文では、これらエキスパートを混合するための新しい方法である「NAMEx（Nash Merging of Experts）」を紹介します。その仕組みを、簡単な比喩を用いて説明します。

1. 問題点：「平均」は悪い妥協である

著者らは、エキスパートを単純に平均することは、質の低い交渉のようなものであると主張しています。もし一人のエキスパートが「塩を加えろ」と言い、もう一人が「砂糖を加えろ」と言った場合、単純な平均をとると「両方を少しずつ加える」という結果になり、その結果、塩辛くて甘いスープが出来上がってしまいます。これでは誰も救われません。

2. 解決策：「公平な交渉」のゲーム

単に平均する代わりに、著者らはエキスパートを（具体的には「ナッシュ交渉」の）「ゲーム」におけるプレイヤーとして扱います。

プレイヤー： 各エキスパートは、独自の「効用（自分が得意なこと）」を持つプレイヤーです。
目標： 彼らは、全員が納得でき、かつ誰も自分が不得意なことを強制されていると感じることのない、単一の一連の指示（マージされたモデル）に合意する必要があります。
結果： システムは「パレート最適」な点を見つけ出します。友人グループがどこで食事をするか決める場面を想像してください。単純な平均をとると、全員にとって「まあまあ」だが、誰にとっても最高ではない場所を選んでしまうかもしれません。ナッシュ交渉解は、それぞれの特定のニーズが尊重されるため、全員が心から満足できるレストランを見つけ出します。

論文の中で、彼らはこの「公平な交渉」が、単なる平均よりも優れた最終的なモデルをもたらすことを数学的に証明しています。

3. スピードアップ：「複素モーメンタム（Complex Momentum）」

以前、EP-CAMExと呼ばれる、似たようなことを試みた手法がありましたが、それは理解が進まずに同じページを何度も読み返している学生のように、学習が遅いものでした。

著者らは、NAMExに「複素モーメンタム」を追加しました。

比喩： 重いショッピングカートを押している場面を想像してください。
- 標準的なモーメンタム： 前に押すと、そのまま少し転がり続けます。
- 複素モーメンタム： カートが、単に前後だけでなく、複雑に螺旋を描くように「横方向」にも動けるトラックの上にあることを想像してください。これにより、カートは（エキスパート間の衝突といった）トリッキーな角を、より速く、よりスムーズに通り抜けることができます。
主張： この数学的なトリックにより、エキスパートたちが最終的なモデルに対して、より速く、より安定して「合意」できるようになります。特に、エキスパートたちの考えが大きく異なっていたり、あるいは対立していたりする場合に効果的です。

4. テスト内容（結果）

チームはこの新しい「交渉チーム」を、いくつかの現実世界のタスクでテストしました。

言語： AIに優れたテキストを書かせる（WikiText-103）。
理解： 質問に答えたり、文章を理解したりする（GLUEベンチマーク）。
視覚： 画像から物体を認識する（ImageNet）。たとえ画像がぼやけていたり、芸術的であったり、あるいは奇妙な状態（破損したデータ）であっても同様です。
大規模モデル： DeepSeek-MoEやQwen1.5-MoE（数十億のパラメータを持つモデル）のような、大規模で現実世界のAIシステムでもテストを行いました。

結果：
ほぼすべてのテストにおいて、「交渉チーム（NAMEx）」は「単純平均チーム」および「古い低速なチーム」を上回りました。文章作成、理解、および画像認識のすべてにおいて優れていました。画像が乱れていたり、質問が難しかったりした場合でも、NAMExは他の手法よりも高い耐性を維持していました。

まとめ

本論文は、AIのエキスパートを盲目的に混ぜ合わせるのではなく、ゲーム理論を用いて彼らに「交渉」させるべきであることを提案しています。マージのプロセスを公平な交渉ゲームとして扱い、さらにスピードアップのために特別な「複素モーメンタム」を加えることで、言語、視覚、および大規模なタスクにおいて、より強力で堅牢なAIモデルを構築する方法を作り上げました。

注記： 本論文は、これらのAIモデルをマージするための数学的手法と、標準的なベンチマークにおけるその性能テストに完全に焦点を当てています。医学的な応用、臨床的な使用、あるいはこれらAIシステムの構築やマージの向上に関する具体的な将来の示唆について述べているものではありません。

技術要約：疎な混合エキスパート（Sparse Mixture of Experts）におけるナッシュ交渉によるエキスパート・マージング

問題定義

疎な混合エキスパート（SMoE）アーキテクチャは、入力ごとに一部のエキスパート・モジュールのみを活性化させることで、ニューラルネットワークを効率的にスケールアップするための礎石となっています。多くの研究がルーティング・メカニズム（例：ロードバランシング、安定性）の改善に焦点を当ててきましたが、その補完的な問題であるエキスパート・マージング（エキスパートの統合）——すなわち、デプロイや推論のためにすべてのエキスパートのパラメータを単一のモデルへと結合すること——については、未だ十分に探索されていません。

既存のマージ戦略は、単純な入力非依存の平均化やトップ- $k$ 集計といったヒューリスティックな重み付けスキームに依存することが一般的です。これらの手法は、エキスパート間の複雑な協調および競争のダイナミクスを無視しています。さらに、自然勾配を用いてエキスパートを整列させるCurvature-aware Merging of Experts (CAMEx) や、その動的バリアントである EP-CAMEx といった最近のアプローチも限界を示しています。具体的には、EP-CAMEx は、エキスパート間の調整不足や伝播における収束の遅さにより、静的な対応手法である CAMEx よりも性能が低下することが頻繁にあります。核心となる課題は、エキスパートのマージを単なる線形平均としてではなく、多様なエキスパートの独自の貢献をバランスさせる構造化された相互作用として解釈することにあります。

手法：NAMEx

著者らは、NAMEx (Nash Merging of Experts) を提案します。これは、ゲーム理論、特にナッシュ交渉解 (Nash Bargaining Solution, NBS) を用いて、エキスパート・マージングを再解釈するフレームワークです。

1. 交渉ゲームとしてのエキスパート・マージング

著者らは、エキスパートのマージプロセスを、エキスパート間の協調的・競争的なゲームとして定式化しています。

プレイヤー: SMoEレイヤー内の各エキスパート $i$ 。
効用関数: $\tau_i = E_i - E_m$ （ベースとなるエキスパート $E_m$ からの偏差を表す「ドメイン・ベクトル」）を用いた $u_i(\Delta E) = \tau_i^\top \Delta E$ と定義されます。このベクトルは、各エキスパートの独自の貢献を捉えます。
不一致点 (Disagreement Point): ベースとなるエキスパートへの更新を行わない状態、すなわち 0 に設定されます。
目的: ボール $B_\epsilon$ 内の更新方向 $\Delta E$ を求め、不一致点に対する個々の利得の積を最大化します：
$\Delta E^* = \arg\max_{\Delta E \in B_\epsilon} \prod_{i=1}^N (\Delta E^\top \tau_i)$
ドメイン・ベクトルが線形独立であるという仮定の下で、解はドメイン・ベクトルの加重和として導出されます：
$\Delta E = \sum_{i=1}^N \alpha_i \tau_i$
ここで、重み $\alpha$ はナッシュ交渉方程式 $G^\top G \alpha = 1/\alpha$ を満たします（ $G$ はドメイン・ベクトルの行列、 $1/\alpha$ は要素ごとの逆数）。

2. エキスパート伝播への統合

NAMEx は EP-CAMEx フレームワークに統合されています。ベース・エキスパートの伝播に対して固定の勾配降下ステップを使用する代わりに、NAMEx はナッシュ解を用いて各レイヤー $l$ における最適な更新方向 $\Delta E^{(l)}$ を計算します。ベース・エキスパート $E_m$ は次のように更新されます：
$E_m^{(l+1)} = E_m^{(l)} + \gamma \sum_{i=1}^N \alpha_i^{(l)} \tau_i^{(l)}$
ここで $\gamma$ はステップサイズです。

3. 複素モーメンタム (Complex Momentum)

EP-CAMEx で観察された収束の遅さを解決するため、著者らは NAMEx フレームワークに複素モーメンタムを統合しました（NAMEx-Momentum）。

複素モーメンタム・バッファ $\mu^{(j)} \in \mathbb{C}^d$ が方向的な更新を蓄積します。
更新ルールには、複素モーメンタム係数 $\beta \in \mathbb{C}$ が含まれます：
$\mu^{(j+1)} = \beta \mu^{(j)} + \Delta E^{(j)}$
$E_m^{(j+1)} = E_m^{(j)} + \Re(\gamma \mu^{(j+1)})$
理論的分析（命題 3.5 および定理 C.3）により、緩やかな条件下でシステム行列のスペクトル半径を 1 未満に維持できることが示され、収束性が保証されています。

主な貢献

NAMEx フレームワーク: エキスパートのドメイン・ベクトルを効用関数として扱い、公平かつ効率的なマージ係数を導出するために、ナッシュ交渉最適化フレームワークをエキスパート伝播に統合した、新しいエキスパート・マージ手法。
複素モーメンタムの統合: 対立的または競合的なエキスパートのダイナミクスが存在するシナリオにおいて、収束速度を向上させ安定性を高めるために、複素モーメンタムを NAMEx に組み込みました。著者らは、NAMEx-Momentum の収束率に関する理論的証明を提供しています。
スケーラビリティと実証的検証: 多様なタスク（言語モデリング、テキスト分類、画像分類）における NAMEx の有効性と、大規模なシステム（Qwen1.5-MoE 14B, DeepSeek-MoE 16B）へのスケーラビリティのデモンストレーション。

実験結果

著者らは、複数のベンチマークにおいて NAMEx をベースライン（SMoE, CAMEx, EP-CAMEx）と比較評価しました。

言語モデリング (WikiText-103): NAMEx-Full-Mom は、小規模および中規模の事前学習の両方において、最も低い検証およびテスト・パープレキシティを達成し、すべてのベースラインを上回りました。
テキスト分類 (GLUE): T5-Base を用いた GLUE ベンチマークにおいて、NAMEx-Full-Mom はすべてのタスク（SST-2, MRPC, CoLA など）で最良の結果を達成し、SMoE や曲率を考慮した手法に対して一貫した改善を示しました。
画像分類 (ImageNet-1k & Robustness): Swin-MoE において、NAMEx-Mom は Top-1 精度ですべてのベースラインを上回りました。極めて重要な点として、破損したデータセット（ImageNet-A, ImageNet-O, ImageNet-R）に対して優れた堅牢性を示し、モーメンタム・バリアントが最も強い利得を示しました。
大規模モデル: DeepSeek-MoE (16B) および Qwen1.5-MoE (14B) に適用した場合、NAMEx-Full は MMLU, GSM8K, ARC のゼロショットおよびファインチューニング（SmolTalk）設定の両方において、ベースラインおよび EP-CAMEx を一貫して上回りました。
アブレーション研究:
- モーメンタム: 複素モーメンタムは、実数値のモーメンタムと比較して、収束速度と性能を大幅に向上させました。
- 反復回数: 各レイヤーにつき 2 回のイテレーションでナッシュ・システムを解くことが、効率的かつ効果的であることが判明しました（それ以上の反復では収益逓減が見られました）。
- 不一致点: 不一致点として 0 を使用することは、平均を使用する場合と比較して、堅牢かつ安定していることが分かりました。

意義と主張

本論文は、NAMEx がヒューリスティックなエキスパート・マージに対する原理的な代替案を提供すると主張しています。エキスパート間の相互作用を交渉ゲームとしてモデル化することで、NAMEx はエキスパート間の協力と競争の両方を考慮した、パレート効率的なマージプロセスを保証します。複素モーメンタムの統合は、動的なマージ・シナリオにおける収束のボトルネックを解消します。

著者らは、NAMEx が以下の特性を持つことを強調しています：

性能の向上: 視覚および言語タスクにおいて、既存のマージ戦略を一貫して上回る。
堅牢性の強化: データ破損や分布シフトの下での優れた汎化性能を示す。
効果的なスケーリング: 推論コストが変わらず、トレーニングのオーバーヘッドも管理可能な範囲内であるため、大規模な MoE アーキテクチャ（16B パラメータまで）に対して実行可能であることを証明している。
理論的根拠: 純粋な経験的ヒューリスティックを超え、モーメンタム強化版の収束率に関する理論的証明を提供している。

本研究は、エキスパート・マージをゲーム理論の観点から捉えることが、モジュール型ディープラーニング・システムの最適化に向けた新たな道を切り開き、公平なエキスパートの組み合わせが重要となるフェデレーテッド・ラーニングや転移学習への応用可能性を示唆していることを示しています。