💬 NLP

UMoE:Unlocking Every Expert in Domain-Specific Training

UMoEは、低サリエンシーなエキスパートを剪定し、ファインチューニング前に摂動によってプールを再成長させることで、Mixture-of-Expertsモデルのドメイン特化型学習を強化する予算維持型のパイプラインであり、推論コストを増大させることなく、様々なアーキテクチャやドメインにおいて標準的な教師ありファインチューニングを一貫して上回る性能を発揮します。

原著者： Xuefeng Li, Pengfei Liu

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuefeng Li, Pengfei Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で非常にスマートなロボットの脳、「Mixture-of-Experts（混合エキスパート、以下MoE）」を想像してみてください。この脳は、単一の巨大な筋肉ではなく、それぞれが異なる分野の専門家である128または256の小さなスペシャリストのチームのようなものです。ロボットに質問が投げかけられると、賢い「ルーター」が、問題を解決するために協力すべき数少ないスペシャリスト（例えば8人）を選び出します。

ここで問題が発生します。このチームは、数学、コーディング、科学、料理など、「あらゆること」について学習してきました。しかし今、あなたはロボットを「数学の達人」に育てたいと考えています。論文によれば、もしチーム全員にただ数学を教え始めようとするなら（これは「Direct SFT」と呼ばれます）、それは時間の無駄になります。なぜでしょうか？ 256人のスペシャリストの中には、数学が極めて苦手な者がいるからです。彼らは詩や歴史には長けているかもしれませんが、数学の授業においては単なる「ノイズ」に過ぎません。それなのに、ルーターは誤って彼らを呼び出し続けてしまい、ロボットは彼らに無理やり数学を学ばせようとして、非効率的な状況に陥ってしまうのです。

大きなアイデア：UMoE（MoEの能力を解き放つ）
著者であるXuefeng Li氏とPengfei Liu氏は、UMoEと呼ばれる巧妙なトリックを提案しています。単にチーム全員に教えるのではなく、まず素早い「オーディション」を行います。

Prune（剪定／カット）： 数学の問題のサンプルを少量取り上げ、「誰が本当にこの分野に強いのか？」を問いかけます。そして、数学に対して最も役に立たない下位50%のスペシャリストを見つけ出し、彼らを部屋から追い出します。
Regrow（再生／クローン作成）： これではチームが小さくなりすぎます！ロボットの速度やコストを同じに保つためには、256人というフル予算を維持する必要があります。そこで、残った数学に強いエキスパートたちをクローン化します。しかし、ここでのひねりは、単にコピー＆ペーストするのではないということです。彼らはオリジナルとクローンに、小さなランダムな「揺さぶり（数学的な摂動）」を加えます。これにより、クローンはオリジナルとはわずかに異なるものとなり、互いの足を引っ張り合うことなく、共に学び、特化していくことができます。
SFT（学習）： こうして、数学に即した（あるいは数学に適応できる準備ができた）エキスパートたちが揃った部屋で、チーム全体に数学を教えます。

結果：うまくいくのか？
論文は、この「オーディションと再生」の手法が驚くほど上手くいったことを示しており、著者たちはシミュレーションだけでなく、実際のベンチマークを用いてテストを行っているため、その結果に自信を持っています。

数学： 難解な数学コンテストのセットにおいて、UMoEは一つのモデルで平均スコアを3.4ポイント向上させ、より新しい大規模なモデルでは1.67ポイント向上させました。標準的な手法が他の有名なモデルをすでに上回っていた超強力で高品質な数学データセットを使用した場合でも、UMoEはさらに1.36ポイントを絞り出しました。
コーディングと科学： これは数学だけではありません。コーディング、科学、さらには「エージェンティック（代理的）」なタスク（AIがツールを使用するタスク）においても、一貫して勝利しました。例えば、SWE-bench Verifiedと呼ばれる困難なコーディングベンチマークでは、スコアが（16.2%から22.2%へと）6.0ポイント跳ね上がりました。
データサイズ： 論文は、これが少量のデータでのみ機能するのかどうかを検証しました。0.5億から41億トークンの範囲のデータサイズでテストしましたが、あらゆるケースにおいて、UMoEの方が優れていました。

論文が「答えではない」としていること
著者たちは、何がうまくいかなかったのか、あるいは何が主要なポイントではないのかについても明確に述べています。

単にデータを増やすだけでは不十分： 膨大な量のデータを与えても、標準的な手法（Direct SFT）では、依然として「役に立たない」エキスパートが混ざってしまうことを彼らは示しました。
片側だけの「揺さぶり」は機能しない： 新しいクローンだけに「揺さぶり」を与え、元のエキスパートには手を触れないようにした場合、パフォーマンスは標準的な手法よりも悪化しました。論文は、バランスを保つためには、オリジナルとクローンの両方を揺さぶる必要があることを示唆しています。
単純なカウントは最善ではない： 誰を追い出すかを決めるための様々な方法をテストしました。エキスパートがどれくらいの頻度で使用されるかを数える（頻度）だけでも効果はありましたが、より複雑なスコアであるREAP（エキスパートの回答がいかに強力か、そしてそれがどれくらい頻繁に使われるかを見るもの）が最も優れた結果を出しました。

なぜ機能するのか（「アハ体験」の瞬間）
論文は、なぜこれが機能するのかを深く掘り下げました。標準的な手法では、ロボットがタスクに対して実際にはほとんど役に立たないエキスパートに対して、計算資源の約42%を浪費していることが分かりました。もし標準的な訓練済みモデルを使い、訓練後に手動で下位半分のエキスパートを切り抜いたとしても、スコアはほとんど低下しませんでした（わずか0.12ポイント）。これは、標準的な手法が「死荷重（デッドウェイト）」を抱えたままだったことを証明しています。

しかし、UMoEはどうでしょうか？もしUMoEの訓練されたチームから下位半分のエキスパートを切り抜いたとしたら、スコアは5.0ポイントも急落しました。これは、UMoEがその「死荷重」を、数学を解くための有用なパワーへと見事に転換したことを示唆しています。

小さな例
論文は、違いを示すために具体的な数学の問題（AIME 2026, Problem 25）を挙げています。

標準的なモデル： 分数を簡略化しようとして（200/225）、間違った結果（4/5と回答）を出し、最終的な答えも405と間違えました。
UMoE： 分数を正しく簡略化し（8/9へ）、正しい答えである850を導き出しました。

結論
この論文は、本格的なトレーニングが始まる前にチームを再編成すること――つまり、間違ったスペシャリストを追い出し、正しいスペシャリストをクローン化すること――によって、より多くの費用や時間をかけずにモデルを賢くできることを示唆しています。それは、サッカーチーム全員にチェスの教え方を教える必要はないと気づくようなものです。ただ、チェスのプレイヤーと入れ替えて、彼らに練習させるだけでいいのです。著者らはこれを12の異なるベンチマークで測定し、一貫して効果があることを発見しました。これは、AIのエキスパートを特定の仕事においてさらに優れたものにするための、確実な方法であることを示しています。

技術要約: UMoE (ドメイン特化型学習における全エキスパートの解放)

1. 問題提起

混合エキスパート（Mixture-of-Experts; MoE）モデルは、推論コストを比例的に増大させることなく容量をスケールさせる能力により、最先端の大規模言語モデル（LLM）の標準的なアーキテクチャとなっています。しかし、ドメイン特化型のポストトレーニング（例：教師ありファインチューニング、SFT）において、決定的な非効率性が生じます。

事前学習済みのMoEモデルは、混合ドメインの事前学習によって形成されたエキスパート・プールを継承しています。特定のターゲットドメインにおいては、このプールは不均質になります。すなわち、かなりの部分のサブセットが低い「ドメイン整合的サリエンス（domain-aligned saliency）」を示しており、これは、それらのエキスパートが無視できない程度のルーティングを受け取っているにもかかわらず、ターゲットタスクへの貢献がほとんどないことを意味します。標準的なSFTは、これら継承されたエキスパートをそのままの状態で更新しますが、エキスパートのスロットを再割り当てすることはありません。その結果、固定されたモデル容量の一部がターゲットドメインに対して適切にアライメントされないまま残り、ファインチューニングの有効性を制限してしまいます。

解決すべき核心的な問いは、「SFTを行う前に、エキスパート・プールをよりドメインに整合した初期化へと再編成できるか？これにより、モデルのアーキテクチャや推論予算を変更することなく、より多くのエキスパート・スロットをターゲットドメインの能力学習に有用なものにできるか？」ということです。

2. 手法: UMoE

著者らは、標準的なSFTの前にエキスパート・プールを再編成する、予算維持型のパイプラインである UMoE (Unlocking MoE Capacity) を提案しています。この手法は3つの明確なステップで動作し、元のエキスパート数 ( $E$ )、アクティブなエキスパート数 ( $K$ )、パラメータ数、および推論コストを維持します。

ステップ 1: ドメイン整合的エキスパート・プルーニング

まず、ターゲットドメインに対して関連性の低いエキスパートを特定し、削除します。

キャリブレーション: ターゲットドメインのデータサブセット ( $C \subset D$ ) を用いて、エキスパートのスコアリングを行います。
サリエンス指標: 著者らは、エキスパートの活性化強度とルーターのゲート重みを結合させた REAP (Lasby et al., 2026) サリエンスを利用します。エキスパート $e$ がレイヤー $l$ におけるサリエンス $S(l, e)$ は、そのエキスパートが選択されたトークンにおける、ゲート重み付き出力ノルムの条件付き平均です。
アクション: このサリエンス・スコアに基づき、下位50%のエキスパート（レイヤーごと）をプルーニングします。

ステップ 2: 予算維持型の拡張

元のモデルサイズを復元し、固定された推論予算を維持するために、プルーニングされたスロットを、残った「生存」エキスパートから再生します。

初期化: 解放された各スロットは、ラウンドロビン方式で、保持された「親」エキスパートの重み（MLPおよびルーターの行）をコピーすることによって初期化されます。
摂動（Perturbation）: 対称性を打破し、専門化を促進するために、親エキスパートと再生されたエキスパートの両方に独立した摂動を加えます。パラメータテンソル $W$ に対して、摂動後の重み $W'$ は以下のように計算されます：
$W' = W + \sigma s(W) \epsilon$
ここで $\epsilon \sim \mathcal{N}(0, I)$ 、 $s(W)$ はパラメータグループの経験的標準偏差、 $\sigma = 0.05$ です。
設計原則: 決定的な点として、摂動は親エキスパートと再生されたエキスパートの両方に対称的に適用されます。アブレーション研究によれば、片側のみの摂動（再生されたエキスパートのみへの適用）は、ルーティングの非対称性を引き起こし、性能低下を招くことが示されています。ルーターの行とMLPの重みの両方に摂動を加えることで、補完的なルーティングと機能的な非対称性を提供します。

ステップ 3: ドメイン SFT

再編成され、ドメインに整合したエキスパート・プールで初期化されたモデルに対し、ターゲットドメインのデータを用いて標準的なフルパラメータの教師ありファインチューニングを行います。ドメインごとのハイパーパラメータ調整は必要なく、同一のレシピがすべてのドメインに適用されます。

3. 主な貢献

エキスパート・プールの再編成: 事前学習済みMoEの構成を、ファインチューニング前に特定のターゲットドメインへと再アライメントする新しい手法であり、「冗長な」容量を「ドメイン」容量へと変換します。
予算の維持: 元のアーキテクチャ、パラメータ数、および推論コストを厳密に維持するため、標準的なSFTパイプラインのドロップイン・リプレースメント（置き換え可能な手法）となります。
対称的摂動戦略: 親エキスパートと再生されたエキスパートの両方に対称的な摂動を加えることが、バランスの取れたルーティングのダイナミクスを維持し、再生された側の有用性の崩壊を防ぐために極めて重要であるという知見。
実証的検証: 2つのMoEアーキテクチャ（Qwen3-30B-A3B および Qwen3.5-35B-A3B）、5つの多様なドメイン（数学、コード、科学、ツール使用、エージェンティック・コーディング）、および12のベンチマークを用いた包括的な評価。

4. 実験結果

UMoEは、評価されたすべての設定において、Direct SFT（再編成なしで事前学習済みモデルをファインチューニングしたもの）を一貫して上回りました。

数学ドメイン:
- Qwen3-30B-A3B (OpenMathReasoningデータ) において、UMoEは6つの競技ベンチマークにおける平均精度を +3.40ポイント 向上させ、AIME 2024では最大+6.56ポイントの改善を記録しました。
- 強力な社内数学コーパス（Direct SFTのベースラインが既にQwen3-30B-A3B-Thinkingモデルを上回っていた：82.81 vs 81.06）においても、UMoEは平均を 84.17 (+1.36ポイント) までさらに引き上げ、強力なベースラインに対しても堅牢であることを示しました。
- Qwen3.5-35B-A3B において、UMoEは平均で +1.67ポイント 向上しました。
クロスドメイン性能:
- コード: LiveCodeBench v5/v6 で +2.73 / +0.85 ポイント。
- 科学: GPQA-Diamond で +3.10 ポイント。
- ツール使用: $\tau$ -bench / $\tau^2$ -bench で +1.20 / +1.40 ポイント。
- エージェンティック・コーディング: SWE-bench Verified において、大幅な +6.0ポイント の向上（pass@1 が 16.2% から 22.2% へ上昇）。
データのスケーリング: SFTのデータサイズ（0.5Bから4.1Bトークンまで）を変化させた実験では、UMoEの性能向上がすべてのデータスケールにおいて持続し、正の値を維持していることが示されました。

5. メカニズム分析

本論文は、なぜUMoEが機能するのかについて、3つの主要な洞察を提供しています。

Direct SFTにおける冗長性: Direct SFTモデルの分析により、ルーティングされたエキスパートの計算資源のかなりの部分（約42%）が、低サリエンスのサブセットに割り当てられていることが明らかになりました。Direct SFTモデルにおいてこのサブセットを事後的にプルーニングしても、性能低下は無視できる程度（−0.12ポイント）であり、この容量が機能的に冗長であることを裏付けています。
UMoEにおける結果的な容量: 対照的に、学習済みUMoEモデルを64個のエキスパートにプルーニングすると、大幅な性能低下（−5.00ポイント）が発生します。これは、UMoEが以前は冗長であったエキスパート・プールの半分を、ダウンストリームの性能にとって「結果的（consequential）」な容量へと正常に変換したことを示しています。
最適化のダイナミクス: UMoEは、再編成の影響でDirect SFTよりもわずかに高い学習損失からスタートしますが、最終的な学習損失はより低く収束します（0.396 vs 0.404）。これは、より効率的な最適化の軌跡を示唆しています。
エラー修正: ケーススタディ（例：AIME 2026 Problem 25）では、Direct SFTが伝播させてしまう特定の推論エラー（例：角の二等分線の定理における分数の簡約ミス）を、UMoEが修正し、正しい最終回答を導き出す様子が示されています。

6. 意義と主張

本論文は、UMoEがMoEモデルのドメイン適応に対して、シンプルで、予算を維持でき、かつ普遍的に適用可能なアプローチを提供すると主張しています。その意義は以下の通りです。

効率性: 追加のパラメータや推論コストを必要とせずに、既存モデル内の潜在的な容量を解き放ちます。
汎用性: 単一の固定されたレシピを用いて、異なるモデルアーキテクチャや多様なドメイン（推論、コーディング、エージェントタスク）にわたって機能します。
堅牢性: ベースラインとなるSFTが既に強力である場合や、訓練データがスケールアップした場合でも、性能向上をもたらします。

著者らは、エキスパートの容量を再編成することで、モデルが固定された計算予算をターゲットドメインの特定の要求事項により良く適合させることができ、「死んだ」エキスパートをドメイン特化型の性能に対する能動的な貢献者へと変貌させることができると結論付けています。