💬 NLP

Pruning and Distilling Mixture-of-Experts into Dense Language Models

本論文は、訓練済みのエキスパート混合（MoE）モデルを、エキスパートのスコアリング、選択、グループ化に引き続く知識蒸留によって標準的な密構造に変換する新たな枠組みを導入し、このアプローチが精度と訓練効率の両面で従来の密から密へのプルーニングを大幅に上回ることを実証する。

原著者： Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Pruning and Distilling Mixture-of-Experts into Dense Language Models（混合専門家モデルの剪定と蒸留による密言語モデル化）」を、平易な言葉と創造的な比喩を用いて解説したものです。

大きな問題：「全員出動」のボトルネック

極めて複雑な料理を作るために設計された、巨大で高級なレストランのキッチン（MoE モデル）を想像してください。このキッチンには、128 人の異なる専門家シェフ（エキスパート）が在籍しています。しかし、単一の注文に対して、ヘッドシェフ（ルーター）が呼び出すのはそのうちの 8 人だけです。残りの 120 人のシェフは、自分の番が来るまで待機して何もしません。

この仕組みは、調理の速度と多様性には優れていますが、大きな問題があります：キッチンを開くには、128 人全員を雇い、全員に給与を支払わなければならないのです。 一度に 8 人しか使っていなくても、128 人全員を雇用し続けるのに十分なスペース（メモリ）とお金（計算資源）が必要です。そのため、このレストランを小さな店舗（スマートフォンや単一のコンピュータなど）に支店として出店することは不可能です。スタッフ全員を収容するだけのスペースがないからです。

現在の解決策は、キッチンを小さくするために一部のシェフを解雇しようとするものですが、それでも残ったシェフを別々の専門的なステーションに配置し続けなければなりません。結局、全員を建物に読み込む必要があります。

解決策：「マスターシェフ」への変身

この論文の著者たちは、過激な新しいレシピを提案しています。シェフを解雇するだけでなく、チーム全体が持っていたことができることを、余分なスペースを必要とせずにすべてこなせる「スーパーシェフ」1 人に、最高の 8 人のシェフを統合しようというのです。

彼らは、訓練された 128 人の専門家チームを、小さな店舗に収まりながら、それでもマスターのように料理ができる標準的な密なキッチン（Dense モデル）へと変えます。

彼らがどのように行ったか：3 段階のプロセス

論文では、「MoE キッチン」を「密キッチン」へと変換するための 3 段階のプロセスが示されています。

1. 採点：「スター」シェフを見つける

まず、どのシェフを残すかを決める必要があります。単に最も頻繁に呼ばれたシェフを選ぶだけではいけません。なぜなら、彼らは「何でもそこそこできるが、何も得意ではない」一般主義者である可能性があるからです。

古い方法： 最も多く呼ばれたシェフを選ぶ。（最も人気のある従業員を選ぶようなもの）。
新しい方法（多様性を考慮した採点）： 著者たちはDO-ACPと呼ばれる新しい指標を発明しました。スポーツチームを選ぶと想像してください。単に最も多くの試合に出場した 8 人を選ぶのではなく、最も異なるスキルを持ち、かつその特定のスキルにおいて最も優れている8 人を選ぶのです。
- シェフ A が焼き菓子作りが得意で、シェフ B がグリル料理が得意なら、両方とも欲しいところです。
- シェフ C とシェフ D がどちらもグリル料理が得意なら、そのうちの 1 人だけで十分です。
- 新しい方法は数学的に、冗長性なしに選択されたシェフが「味」（知識）の最も広い範囲をカバーすることを保証します。

2. グループ化と統合：スーパーシェフの構築

トップ 8 人のシェフ（安全のために少し多く選ぶ場合もあります）を選んだら、それらを組み合わせる必要があります。

純粋な剪定（勝者）： ほとんどの場合、最良の結果は、トップ 8 人のシェフをそのまま新しいキッチンにコピーし、彼らのレシピを混ぜ合わせずに導入することから得られました。実は、8 人の異なる高品質な専門家が並んで働く方が、彼らのレシピを 1 つの平均的なレシピに混ぜ合わせようとするよりも優れていることがわかりました。
統合： もし 8 人より多くを選ぶ必要があれば、似たようなシェフのレシピを、その能力の度合いに応じて重み付けして混ぜ合わせます。

3. 知識蒸留：「味見テスト」による訓練

これで、8 人のシェフ（生徒）がいる新しいキッチンができあがりましたが、まだ完璧ではありません。正しいスタッフがいる新しいレストランですが、秘密の家族のレシピをまだ習得していないような状態です。

彼らは、新しいキッチンを、元の 128 人シェフのキッチン（教師） alongside に配置して働かせます。

教師が料理を作ります。
生徒は、全く同じ料理を作ろうとします。
教師が生徒を指導します。「いいえ、塩を入れすぎました」あるいは「繊細なスパイスを見逃しました」といった具合です。
生徒はこれらの指導から学びます。このプロセスを知識蒸留と呼びます。

結果：なぜこれが重要なのか

著者たちは、この手法を Qwen3、DeepSeek、GPT-OSS などの複数の巨大な AI モデルでテストしました。彼らが発見したことは以下の通りです。

正しいシェフを選ぶことがすべて： シェフをグループ化する方法よりも、シェフを採点する方法の方が重要でした。彼らの新しい「多様性を考慮した」採点は、すべての既存の方法を大幅に上回る明確な勝者でした。
混ぜるのではなく、選ぶだけ： 驚くべきことに、最良の戦略は、正確に 8 人のシェフを選び、全く混ぜ合わせないことでした。8 人の最高で最も多様な専門家たちを一緒に働かせるだけで、それらを平均化することよりも優れていたのです。
競合他社との比較： 彼らは、彼らの「MoE から Dense へ」の方法を、大きな密モデルを切り詰めて小さなモデルを作る従来の方法と比較しました。
- 結果： 彼らの新しい方法で作られた生徒モデルは、平均的なタスクにおいて6.3% 高い精度を示しました。
- 速度： 訓練プロセス中に元の「教師」キッチンがより効率的に実行されたため、訓練も1.6 倍速く行われました。

結論

この論文は、会社の知的財産を失うことなく、巨大な本社を小さく効率的なスタートアップのオフィスに縮小するための設計図と考えることができます。

家賃を節約するために単に人を解雇するのではなく、最も多様で才能のある 8 人の従業員を慎重に選び、彼らに新しいコンパクトなオフィスを与え、元の大きなチームから会社の秘密を学ばせました。その結果？大きなオフィスと同じパフォーマンスを発揮しながら、はるかに小さなスペースに収まる小さなオフィスができました。

重要な教訓： 結果を得るために巨大なチーム全体を維持する必要はありません。正しい 8 人を選び、彼らを個別に保ち、よく教えればよいのです。

技術概要：専門家混合（MoE）モデルを密言語モデルへ剪定・蒸留する

問題定義

専門家混合（Mixture-of-Experts: MoE）アーキテクチャは、トレーニングおよび推論効率を維持しつつ、パラメータ総数を拡張できる能力により、最先端の大規模言語モデル（LLM）の支配的なパラダイムとなっています。しかし、根本的な限界が存在します。トークンごとにパラメータの一部分のみをアクティブにするにもかかわらず、MoE モデルはすべての専門家パラメータをメモリにロードする必要があります。このメモリ使用量は、デバイス内推論や単一 GPU による推論など、メモリ制約のある展開シナリオには不適切です。

現在の解決策には、ゼロからトレーニングするか、あるいは大規模な密教師モデルのカスケード剪定を通じてトレーニングされた、個別の小型密モデルをリリースすることが含まれます。これらのアプローチは計算コストが高く、すでにトレーニング済みの MoE モデルに存在する豊富な能力を活用できていません。既存の MoE 圧縮手法（MC-SMoE、HC-SMoE など）は専門家の数を削減しますが、疎な MoE 構造を維持しており、メモリ効率の低さを解消していません。トレーニング済みの MoE モデルを標準的な完全密アーキテクチャに変換するための体系的なフレームワークが存在していません。

手法

著者は、トレーニング済みの MoE 言語モデルを完全密アーキテクチャに変換する最初の体系的なフレームワークを提示します。これは、専門家スコアリングと選択、グルーピングと連結、知識蒸留という 3 段階のパイプラインを通じて実現されます。

1. 専門家のスコアリングと選択

この手法の中核は、層内のすべての $E$ 個の専門家にスコアを付け、サイズ $K$ の部分集合を選択することです（ $K \ge k$ 。ここで $k$ はトークンあたりのアクティブな専門家の数）。本論文では 7 つのスコアリング手法を評価します。

頻度ベース: 選択頻度（SF）、事前選択確率（PP）、事後選択確率（PS）。これらは汎用性の高い専門家（generalist experts）を優遇します。
条件付き確率（CP）: ルーティングの信頼性に焦点を当て、専門性の高い専門家（specialists）を優遇します。
活性化重み付き CP（ACP）: ルーティングの信頼性と出力の大きさを組み合わせたものです。
D-最適選択（DO）: 専門家の重要度と相互の多様性を同時に最大化する新しい基準です。これは、重要度重み付きグラム行列の対数行列式を最大化する部分集合 $S$ を選択します。
$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$
ここで、 $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$ です。これは貪欲法で解かれます。著者は、ACP スコアに基づく D-最適選択である DO-ACP を最適な戦略として提案します。

2. グルーピングと連結

選択された専門家は $k$ 個のグループに割り当てられます。

純粋な剪定（ $K=k$ ）: 各グループには正確に 1 人の専門家が含まれます。重みの平均化は行われません。
マージ（ $K>k$ ）: グループ内の専門家は、パラメータのスコア重み付き平均によってマージされます。
生成された $k$ 個のグループは、中間次元 $d_{dense} = k \times d_{expert}$ を持つ単一の密なフィードフォワードネットワーク（FFN）に連結されます。降下射影行列は、元の MoE の平均的なルーティング動作を近似するために、係数 $\alpha_g$ （一様または比例）によってスケーリングされます。

3. 知識蒸留

初期化された密モデルは、MoE 教師からの知識蒸留によって洗練されます。目的関数は、教師と学生出力分布間の前方 KL 発散を最小化します。著者はまた、蒸留中に教師のルーティングを拡張（ $k' > k$ 個の専門家をアクティブにする）し、学生を非選択の専門家からの知識に曝すことも検討しています。

主要な貢献

初の MoE から密へのフレームワーク: 本論文は、トレーニング済みの MoE を完全密アーキテクチャに変換する初のエンドツーエンドシステムを導入し、より小型の疎な MoE モデルを生成するという限界を超えています。
多様性を考慮した専門家選択: 著者は、重要度重み付きグラム行列の対数行列式を最大化する D-最適選択基準（DO-ACP）を導入します。この手法は冗長性を明示的に罰し、重要かつ多様な専門家を選択します。
包括的な評価: 本研究は、Qwen3-30B-A3B において 350 種類の設定（7 つのスコアリング × 5 つのグルーピング × 2 つのスケーリング × $K$ の 5 つの値）を評価し、DeepSeek-V2-Lite および GPT-OSS-20B において知見を検証しました。

結果

Qwen3-30B-A3B における性能

スコアリング手法の支配性: スコアリング手法の選択が最も影響の大きい要因であり、最良と最悪の手法間で平均下游タスク精度に 5.7 パーセントポイント（pp）の差が生じます。グルーピング戦略の寄与は約 1 pp に過ぎません。
DO-ACP の優位性: DO-ACP 手法は、すべての他の設定を一貫して上回ります。 $K=8$ （純粋な剪定）において、下游ベンチマーク（Winogrande, HellaSwag, ARC-E/C, MMLU）で**43.41%**の平均精度を達成します。
純粋な剪定対マージ: 多様性を考慮したスコアリング（DO-ACP, ACP）の場合、純粋な剪定（ $K=k$ ）はマージ（ $K>k$ ）を上回ります。頻度ベースの手法（SF）はマージから恩恵を受けますが、DO-ACP の専門家は個別に十分に強力であり、単独で機能できます。
ベースラインとの比較:
- MoE 圧縮対比: 再利用された MoE 圧縮指標（MC-SMoE, HC-SMoE など）を 5.9–7.1 pp 上回ります。
- 密対密（D2D）剪定対比: パラメータ数が一致した密教師（Qwen3-32B $\to$ 3.4B スチューデント）との制御比較において、MoE から密への変換（DO-ACP）は、約 40 億トークンの蒸留後、D2D 剪定を**+6.3 pp**（58.10% 対 51.84%）上回ります。
- ランダム初期化対比: ランダムな FFN 初期化を +12.7 pp 上回り、専門家構造が強力な初期化を提供することを示しています。

拡張トレーニングとクロスモデル検証

スケーリング: DO-ACP の性能優位性は、拡張トレーニング（約 40 億トークン）に伴い持続し、拡大します。
一般化: 知見は DeepSeek-V2-Lite（64 専門家）および GPT-OSS-20B（32 専門家）にも一般化します。専門家プールのサイズが小さくなるにつれてスコアリング手法間の絶対的な差は狭まりますが、DO-ACP は依然としてトップのパフォーマンスを維持します。
効率性: MoE から密への蒸留は、蒸留フェーズ中に MoE 教師がトークンあたりより少ないパラメータをアクティブにするため、D2D 剪定よりもウォールクロック時間で1.6 倍高速です。

定性的分析

MMLU の連鎖思考タスクにおける誤り分析により、DO-ACP モデルは、D2D や頻度ベースの手法と比較して、壊滅的な失敗（不整合、反復ループ）および知識誤りの発生率が最も低いことが明らかになりました。多様性を考慮した選択は、特に人文科学および社会科学において、事実的および文化的知識をより効果的に保持するようです。

意義と主張

本論文は、メモリ制約のある環境で MoE の能力を展開するためのシンプルかつ効果的なレシピを提供すると主張しています。DO-ACP でスコアリングし、層ごとに上位 $k$ 個の専門家を正確に保持（純粋な剪定）し、前方 KL で蒸留するというアプローチです。

著者は、このアプローチが MoE の「メモリ非効率性」を、MoE の専門的な専門家構造から得られる性能向上を犠牲にすることなく、「密な効率性」に変換すると強調しています。彼らは、パラメータ数が一致した密教師よりも MoE モデルが蒸留のためのより強力な出発点を提供すると主張し、ゼロから密モデルをトレーニングするか、密教師を剪定する必要性に疑問を呈しています。この研究は、MoE モデルを密アーキテクチャに圧縮する際、頻度や大きさだけでなく、専門家の多様性が決定的な要因であることを確立しました。