🤖 machine learning

DECO: Sparse Mixture-of-Experts with Dense-Comparable Performance on End-Side Devices

本論文は、ReLU ベースのルーティング、学習可能なエキスパートごとのスケーリング、および新規の NormSiLU 活性化関数を活用することで、エンドサイドデバイスにおいて 20% のエキスパート活性化のみで密なモデルと同等の性能を達成し、かつ 3.00 倍の推論速度向上を実現するスパースなミクスチャー・オブ・エキスパートアーキテクチャである DECO を紹介する。

原著者： Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは巨大で高級なレストランを運営していると想像してください。できるだけ多くの顧客に最高の料理（高性能）を提供したいと考えていますが、2 つの厳格なルールがあります。

低コスト: 全顧客の全料理を全シェフが調理する余裕はありません（低計算量）。
小さなキッチン: 全シェフの全レシピ本と材料を保管するだけのスペースがありません（小容量）。

長らく業界標準だったのは、「密（Dense）」モデルと呼ばれる、全員があらゆる料理を試みる巨大なシェフチームを雇う方法でした。これは味が素晴らしいものの、非常に高価で巨大なキッチンが必要です。

その後、「専門家混合（Mixture of Experts: MoE）」アプローチが試されました。これは 100 人の専門シェフからなる巨大チームを持ちながら、各注文に対して 20 人だけを呼び出して調理させるようなものです。これにより調理時間のコストは節約されます。しかし、100 人全員のレシピと材料をキッチンに保管し続けなければなりません。キッチンが小さい場合（スマートフォンやノートパソコンなど）、スペースが不足し、必要なシェフの材料を取りに行くための往復時間がすべてを遅らせてしまいます。

DECO の登場です。

この論文の著者たちは、DECOと呼ばれる新しいレストラン設計を生み出しました。彼らの目標は、巨大な「密」キッチンと同じ味を提供しつつ、狭いスペースに収まり、高速に動作する「疎（sparse）」キッチンを実現することでした。

彼らがどのように行ったか、簡単な比喩を用いて説明します。

1. 賢いウェイター（ルーター）

通常の MoE レストランでは、ウェイター（ルーター）は少し硬直的です。「すべてのテーブルに対して、正確に 2 人のシェフが調理しなければならない」と言うかもしれません。

DECO の革新: 彼らはウェイターに、柔軟で微分可能なツール（ReLU ベースのルーティング）を与えました。これでウェイターは特定の注文を見て、「この料理には 3 人のシェフが必要だ」とか「あれは 1 人だけで十分だ」と判断できるようになりました。これは料理に基づいた流動的な判断であり、硬直したルールではありません。
スケーリングファクター: 時には、あるシェフが他のシェフよりも自然に声が大きかったり、力が強かったりします。DECO は各シェフに対して調整可能な音量ノブ（学習可能なスケーリング）をウェイターに与えます。シェフ A が自然と静かな場合、ウェイターは彼らの音量を上げ、より大きな声のシェフとの貢献バランスを取ります。

2. 専門のシェフ（エキスパート）

DECO のシェフは、より安定するように設計されています。

「NormSiLU」のエプロン: 著者たちは、シェフが標準的なエプロン（活性化関数）を使用すると、混乱したり、完全に作業を停止したり（信号の消失）することに気づきました。彼らはNormSiLUと呼ばれる新しいエプロンを発明しました。これは、調理を始める前にシェフのエネルギーを較正する特別な制服のようなものです。これにより出力を一定に保ち、燃え尽きたり、静かになりすぎたりするのを防ぎます。
ゲートキーパーの不在: ほとんどのレストランでは、メインシェフが調理を開始するかどうかを決定する「ゲートキーパー」シェフがいます。DECO は、柔軟なウェイターにとっては、ゲートキーパーを除去する方が実際には良いと発見しました。シェフたちは、追加の「許可」レイヤーなしに、ウェイターの信号に基づいて単に調理を開始できる方がよく機能します。

3. 結果：「理想的な三角形」

この論文は、DECO が以下の 3 つを同時に達成する「聖杯」を達成すると主張しています。

高性能: 巨大で高価なレストラン（密モデル）と同じ味です。
低コスト: 常にシェフの 20% しか使用しないため、莫大なエネルギーを節約します。
小容量: 設計が非常に効率的なため、総「キッチン面積」（総パラメータ数）は、材料を保管庫から出し入れする必要なく、スマートフォンなどのエッジデバイスに収まるほど小さいです。

4. 証明

味見テスト: DECO を他のモデルと比較してテストしたところ、巨額の「密」モデルのパフォーマンスに匹敵し、他の「疎」モデルを上回りました。これらはすべて、同じ量のトレーニングデータと総材料を使用しながら達成されました。
速度: 彼らはこのレストランを動かすためのカスタムエンジン（加速カーネル）を構築しました。実際のハードウェア（ハイエンドなグラフィックカードや Jetson デバイスなど）上では、DECO はこれらのモデルを実行する標準的な方法よりも3 倍高速でした。

注意点（限界）

著者たちは、まだテストしていない点について正直に述べています。彼らはこのレストラン設計を「微調整」（主要なトレーニング後にシェフに特定の新しいスキルを教えること）や「強化学習」（試行錯誤を通じて教えること）には適用していません。そこにはある種の不安定さがあるかもしれないと推測しており、現在、それらの特定のシナリオをテストするためにより大規模なバージョンを構築しています。

要約すると: DECO は AI モデルの動作方法の巧妙な再考です。素晴らしい料理を得るために、巨大で肥大化したキッチンが必要ではないことを証明しています。適切なウェイター、適切な制服、そして柔軟なアプローチがあれば、小さく、高速で、効率的なキッチンでも同じ高品質の結果を得ることができます。

技術サマリー：DECO – エンドサイドデバイスにおける密モデルと同等の性能を達成するスパース混合専門家モデル

問題定義
混合専門家（MoE）アーキテクチャは、計算量を比例的に増加させることなくモデル容量を拡張できる一方で、従来は膨大な総パラメータサイズに悩まされてきた。これは、高パフォーマンス、低計算コスト、最小限のストレージオーバーヘッドを必要とするエンドサイドデバイスにおける効率的な展開を妨げる、顕著なストレージおよびメモリアクセスのボトルネックを生み出している。既存の MoE 研究は、多くの場合、性能と低計算コストを優先し、「ストレージオーバーヘッド」という目的を軽視している。さらに、多くの MoE モデルは、同じ計算予算下で密なベースラインよりも実質的に多くのトークンで学習することで結果を達成しており、正確なトークン数を一致させているわけではない。本論文は以下の問いを提起する：同じ総パラメータ予算と同じトレーニングトークン数を与えられた場合、スパースな MoE モデルは密なモデルと同等の性能を達成できるか？

手法
著者は、同一の制約条件下で密なトランスフォーマーの性能に一致するように設計されたスパース MoE アーキテクチャ、DECO（DEnse-COmparable）を提案する。このアーキテクチャは、以下の 3 つの中核的な設計柱に基づいている：

ルーター設計:
- ReLU ベースのルーティング: 従来の微分不可能な TopK ルーティングとは異なり、DECO は ReLU ベースのルーティングを採用する。これにより、柔軟でトークン依存の活性化比率と、滑らかな学習可能性が可能となる。
- 学習可能な専門家ごとのルータースケーリング: 共有専門家とルーティングされた専門家の間の出力スケールの不均衡に対処し、専門家の異質性に対応するため、DECO は固定のスカラースケーリング因子を学習可能なベクトル化されたスケーリング因子（ $\alpha$ ）に置き換える。これにより、個々のルーティングされた専門家の寄与が較正される。
専門家設計:
- NormSiLU 活性化: 著者は、ReLU ベースのルーティングとバニラ SiLU 活性化の専門家を組み合わせると、活性化比率の急増と出力大きさの消失が生じることを特定した。これを解決するため、SiLU 演算子の前に 2 段階の正規化を適用するNormSiLUを導入する：
  - 専門家間平均正規化: 専門家のアッププロジェクション重みをゼロを中心に配置する。
  - 専門家内 RMS 正規化: 一貫した活性化大きさを維持する。
    これにより、活性化の傾向が安定し、過激なスパース正則化の必要性が軽減され、堅牢なパラメータ利用が保証される。
- ゲート付き MLP 専門家の不使用: ゲート付き MLP（SwiGLU）が標準的に好まれるのとは対照的に、DECO はゲート付きではない MLP 専門家を利用する。実証結果によれば、ゲート付きではない専門家は ReLU ベースのルーティングと組み合わせた際に、より安定した活性化比率の傾向を示すのに対し、ゲート付きのバリエーションは不安定で急増する活性化ダイナミクスに悩まされ、重い正則化を必要とする。
適応的スパース正則化:
- DECO は、ルーターエントロピーに基づく適応的スパース正則化を採用する。静的な係数とは異なり、正則化の強さ（ $\lambda$ ）は、現在のスパースレベルが目標に対してどのように位置するかに基づいて動的にスケーリングされ、正確に所望のレベルに中心化した安定した活性化比率を確保する。

主要な結果
実験は、4 つのパラメータスケール（0.11B から 1.18B）で実施され、固定のトレーニングトークン数（パラメータ数の約 40 倍）と 20% のルーティング専門家活性化比率が用いられた。

密モデルとの同等性: DECO は、20% の専門家しか活性化していないにもかかわらず、C4 検証セットにおけるパープレキシティ（PPL）および常識推論ベンチマークにおける平均精度において、密なトランスフォーマーベースライン（SwiGLU FFN を使用）と性能面で同等の成果を達成した。
MoE ベースラインに対する優位性: DECO は、同じスケールおよび活性化比率を持つ既存の MoE ベースライン（TopP、DeepSeek-V3、ReMoE、BlockFFN）を上回った。
アブレーション調査の知見:
- 学習可能な専門家ごとのスケーリングは、固定またはスカラースケーリングよりも性能を大幅に向上させ、観察された専門家の出力ノルムの異質性に対処した。
- NormSiLU は不可欠である。その正規化ステップを除去すると、活性化比率の急増と SiLU 出力の消失を招き、性能が低下する。
- 専門家ごとのゲート付き構造は、ReLU ベースのルーティングの文脈において、ゲート付き専門家よりも優れている。
ハードウェアアクセラレーション: CUTLASS とテンソルコアを活用した専用アクセラレーションカーネルが実装された。実ハードウェア（NVIDIA RTX 4090 および Jetson AGX）上において、DECO はスパース活性化を活用してメモリアクセスオーバーヘッドを削減することで、バニラ密推論に対して3.00 倍の高速化を達成した。

意義と主張
本論文は、DECO がエンドサイド MoE 展開の「理想的な三角形」、すなわち高パフォーマンス、低計算コスト、小規模なストレージオーバーヘッドを成功裏に実現したと主張する。その意義は、過剰なトレーニングトークンや膨大なパラメータサイズを必要とすることなく、スパース MoE モデルが密な性能と一致し得ることを実証している点にある。

著者は、この成功を、ルーティング機構（ReLU ベース）、専門家活性化（NormSiLU）、および専門家構造（ゲート付きではない）を整合させ、安定したトレーニングダイナミクスを創出するための MoE 設計の根本的な見直しに起因すると帰属している。彼らは、密モデルとの同等性は、活性化比率、専門家の粒度、データ異質性などの要因に依存する条件付きであることを指摘している。本論文は、高エントロピーで多ドメインのデータセットが、モデルが異なるタスクに対して専門的なパラメータサブセットを効果的に活性化できるため、このスパースアーキテクチャに特に適していることを示唆している。

限界
著者は、MoE アーキテクチャがルーター不安定化のような独自の課題に直面する可能性のある、教師あり微調整（SFT）または強化学習（RL）段階において、DECO をまだ評価していないことを認めている。さらに、より大規模なモデルサイズおよび多様なデータ分布における密モデルとの同等性に必要な活性化比率閾値のスケーリング則については、さらなる調査が必要である。