技術サマリー：Zero-Expert Self-Distillation Adaptation (ZEDA)

1. 問題定義

Mixture-of-Experts (MoE) 構造は、トークンあたりの計算量を抑制しつつ容量を増大させることで、大規模言語モデル (LLM) のスケーリングの標準となっています。動的な MoE 変種は、入力難易度に基づいてアクティブ化するエキスパートの数を調整することでさらなる効率化を提供しますが、既存の手法は通常、ゼロからの事前学習またはタスク固有の適応を必要とします。その結果、広範な事前学習、教師あり微調整 (SFT)、および強化学習 (RL) を経た完全に事後学習済みの静的 MoE モデルを、効率的な動的な対応物へ実用的に変換する手法は未だ十分に探求されていません。これらの成熟したモデルに既存の動的ルーティング手法を直接適用することは、完全なトレーニングパイプライン中に慎重に較正されたルーティング分布や能力を乱すリスクがあります。核心的な課題は、確立されたパフォーマンスを犠牲にしたり、過大な適応コストを発生させたりすることなく、「容易な」トークンに対して不要なエキスパートをスキップする動的な MoE へ、事後学習済みの静的 MoE を移行させることです。

2. 手法：ZEDA

本論文は、事後学習済みの静的 MoE モデルを動的なモデルへ変換する低コストなフレームワークであるZero-Expert Self-Distillation Adaptation (ZEDA) を提案します。この手法は、主に 3 つのコンポーネントで構成されます。

2.1 Zero-Expert Injection

ZEDA は、既存のエキスパートプールにパラメータを持たないゼロエキスパート ($Z = \{Z_1, ..., Z_{N_Z}\}$) を注入することで、静的 MoE を構造的に動的な MoE へ変換します。

• メカニズム: これらのゼロエキスパートは、任意の入力隠れ状態 $h$ に対して一様にゼロ ($Z_j(h) = 0$) を出力します。
• ルーティング: ルーティング器は、拡張された $N + N_Z$ 個のエキスパートのプールからトップ-$K$ の部分集合を選択します。ゼロエキスパートが選択された場合、計算への寄与はゼロとなり、そのトークンに対してアクティブ化する通常のエキスパートの数が実質的に減少します。
• 初期化: 通常のエキスパートに対する元のルーティングパラメータは保持されます。ゼロエキスパートに対する新しいルーティングパラメータは、元のパラメータの平均と分散に一致するガウス分布から初期化され、ルーティングログオットのスケールを維持します。

2.2 2 段階自己蒸留

ゼロから再学習することなく拡張モデルを適応させるため、ZEDA は、元の事後学習済み MoE を凍結された教師として用いた 2 段階の自己蒸留プロセスを採用します。

1. 教師あり微調整 (SFT): 学生モデルは、教師からサンプリングされた回答を用いて学習されます。損失関数は、標準的な交差エントロピーとグループ補助損失 (Group Auxiliary Loss) を組み合わせたものです。
2. オンポリシー蒸留 (OPD): 学生モデルが自身の軌跡を生成し、教師がそれらを評価してトークンレベルのターゲットを提供します。目的関数は、学生のオンポリシー分布と教師の分布との間の反転 KL 発散を最小化します。

2.3 グループ補助損失 ($L_{GA}$)

すべてのエキスパートに均一性を強制する標準的な負荷分散損失は、通常のエキスパート間で学習された非均一なルーティングパターンを乱すため、事後学習済み MoE には不適切です。ZEDA は、個々のエキスパートレベルではなくグループレベルでアクティベーションを調整するグループ補助損失を導入します。

• グループ: 通常のエキスパートはグループ $\mathcal{E}$ を形成し、ゼロエキスパートはグループ $\mathcal{Z}$ を形成します。
• 目的: この損失は、重みパラメータ $w$ によって制御される 2 つのグループ間の相対的なアクティベーション頻度を調整します。これは、通常のエキスパートグループ内のルーティング分布を平坦化することなく、アクティブ化する通常のエキスパートとゼロエキスパートの比率が目標比率 ($N : N_Z \cdot w$) に収束することを促します。
• 結果: これにより、モデルは計算をスキップするタイミング（ゼロエキスパートの選択）を学習しつつ、元のモデルの内部ルーティングロジックを維持することが可能になります。

3. 主要な貢献

1. 事後学習適応フレームワーク: ZEDA は、ゼロエキスパート注入と自己蒸留を通じて、完全に事後学習済みの静的 MoE モデルを動的なモデルへ効果的に変換する最初の手法であり、高価な再事前学習を不要にします。
2. 安定した構造変換: グループ補助損失の導入は、ゼロエキスパートの利用を調整しつつ通常のエキスパートの学習済みルーティング構造を乱さないことで、変換を安定させます。
3. 効率とパフォーマンスのトレードオフ: この手法は、わずかな精度低下のみで計算量を大幅に削減（50% 以上のエキスパートをスキップ）し、既存の動的 MoE ベースラインや変種（例：Naive Expert Truncation）を上回る性能を達成します。
4. アクティベーション動力学への洞察: 本論文は、ゼロエキスパートのアクティベーションが、全体のタスク難易度ではなく、教師 - 学生分布のギャップ (logp-diff) およびモデルの不確実性と相関することを分析により示しています。構造化されたセグメント（コードや数式など）は、自然言語と比較して、より高いゼロエキスパートアクティベーション比率（より少ない計算）を示す傾向があります。

4. 実験結果

実験は、数学、コード、指示追従を網羅する 11 のベンチマークにおいて、Qwen3-30B-A3B およびGLM-4.7-Flashを用いて実施されました。

• パフォーマンス: ZEDA は、元の静的モデルと同等のパフォーマンスを維持しながら、エキスパート FLOPs の50% 以上を削減します（Qwen で $r_{ZE} \approx 51.2\%$、GLM で $53.0\%$）。
  • Qwen3-30B-A3B において、ZEDA は最強の動的ベースライン (AdaMoE) よりも平均して6.1 ポイント上回ります。
  • GLM-4.7-Flash において、ベースラインより4.0 ポイント上回ります。
  • 困難な推論やコードタスクで性能が崩壊するベースラインとは異なり、ZEDA はすべてのドメインで一貫して競争力のあるパフォーマンスを維持します。
• 効率性: 8 台の NVIDIA H200 GPU 上での適応により、プリフィルおよびデコードの両段階で約 20% の高速化を実現し、エンドツーエンドの推論速度が約1.20 倍向上しました。
• 適応コスト: 適応プロセス全体は、Qwen で31 時間未満、GLM で62 時間未満で完了し、事前学習または完全な事後学習のコストと比較すると無視できるレベルです。
• 汎化性: ZEDA は、MMLU-Redux および GPQA-Diamond において強い分布外 (OOD) 汎化性を示し、高いゼロエキスパート利用率を維持しながら精度を保持しました。

5. 意義と主張

本論文は、ZEDA が大規模 MoE システムの展開効率を向上させるための実用的かつ費用対効果の高い解決策を提供すると主張しています。事後学習済みモデルの既存の能力を活用し、自己蒸留を用いて動的ルーティングを学習することで、ZEDA はモデルの確立された知識や推論能力を損なうことなく、「容易な」トークンが不要なエキスパート計算をバイパスすることを可能にします。

著者は、このアプローチが、以前の動的 MoE 手法に伴う大規模な構造変更と再学習コストを回避することを強調しています。結果は、事後学習済み MoE モデルを効率的な動的アーキテクチャへ成功裏に移行させることが可能であり、推論コストが主要な制約となる実世界のサービスにおいて、高容量モデルの実用性を高めることを示唆しています。この研究は、動的な計算割り当てが単なる外部タスクの難易度ではなく、モデルの内部不確実性と学生・教師分布間の整合性と本質的に関連していることを浮き彫りにしています。