ExpertWeaver: GLU 活性化パターンを用いた Dense LLM における内在的 MoE の解明

本論文「ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns」は、事前学習済みの密（Dense）な大規模言語モデル（LLM）を、追加のトレーニングなし、あるいは最小限の継続学習で、高品質なスパースな Mixture-of-Experts（MoE）モデルに変換する新しいフレームワーク「ExpertWeaver」を提案しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定

MoE アーキテクチャは、スパースな専門家（Expert）の活性化を通じてモデル容量を拡大しつつ計算効率を維持する効果的な手法ですが、ゼロから高品質な MoE を学習させることは極めてコストがかかります。そのため、既存の Dense モデルを MoE に変換するアプローチ（アップサイクリングやダウンサイクリング）が注目されています。

しかし、既存の Dense-to-MoE 変換手法には以下の課題がありました：

• 内在的活性化パターンの破壊: 既存の手法は、Dense モデルが持つ微細なニューロンレベルの活性化パターンを無視または破壊しており、最適な専門家構成が得られない。
• レイヤーごとの違いの無視: 全てのレイヤーで均一な構成（One-size-fits-all）を採用しており、モデルの各レイヤーが持つ異なる機能特性（普遍性 vs 専門性）を反映できていない。
• 追加学習の必要性: 多くの手法がルーター（Router）の学習を必要とし、変換プロセス自体が複雑化している。

2. 手法：ExpertWeaver

ExpertWeaver は、Dense モデルに採用されているGated Linear Unit (GLU) の活性化パターンを分析し、その内在的な構造を「MoE 化の青図（ブループリント）」として利用する、トレーニングフリーのフレームワークです。

2.1 核心的な洞察 (GLU 活性化パターンの分析)

GLU メカニズム（特に SwiGLU）のゲート信号を多タスクの校正データセットで分析することで、以下の 4 つの重要な知見を得ました：

1. 構造化スパース性の自然な誘発: GLU のゲート信号は、トークンごとにニューロンの活性化を動的に制御しており、Dense モデル内にも構造化されたスパース性が内在している。
2. 普遍ニューロン（Universal Neurons）の存在: 異なるタスクにおいて一貫して高活性化を示すニューロン群が存在し、これらはタスクに依存しない知識を担っている（共有 Expert として最適）。
3. 専門ニューロン（Specialized Neurons）の存在: 特定のタスククラスターで共活性化するニューロン群が存在し、これらはタスク固有の知識を担っている（ルーティングされた Expert として最適）。
4. レイヤーごとの専門性の違い: 浅い層と深い層では普遍ニューロンが多く、中間層では専門ニューロンが多いなど、レイヤーによって普遍と専門の比率が異なる（レイヤー適応型構成が必要）。

2.2 ExpertWeaver の 3 つの主要ステップ

1. 多タスクゲート活性化パターンの取得:
   • 多タスクの校正データセット（Flan-v2 など）を用いて、各ニューロンの GLU ゲート活性化値を記録し、活性化プロファイルを取得する。
2. レイヤー適応型の専門家割り当て:
   • 各ニューロンの活性化の一貫性を表す「変動係数（Coefficient of Variation: CV）」を計算する。CV が低いニューロンは「普遍」、高いものは「専門」とみなす。
   • 各レイヤーの専門化度合い（CV の分布）に基づき、共有 Expert とルーティング Expert の比率を動的に決定する（レイヤーごとの構成を最適化）。
3. Expert とルーターの構築:
   • 共有 Expert: 最も一貫して活性化するニューロンを結合して作成。常に活性化される。
   • ルーティング Expert: 残りの専門ニューロンを、活性化パターンの類似性に基づいてバランスの取れた K-Means クラスタリングでグループ化し、各 Expert を作成。
   • ルーターの構築: トレーニングなしで、各 Expert クラスタに属するニューロンのゲート重みの平均（重心）を計算することで、ルーター重みを直接構築する。

このプロセスにより、Dense モデルのニューロンを「織り（Weave）」合わせて、構造化された MoE アーキテクチャを構築します。

3. 主要な貢献

1. GLU 活性化パターンの体系的分析: Dense LLM における微細な活性化パターンが、粗粒度の MoE 構造構築のための自然な青図を提供することを発見・実証した。
2. ExpertWeaver の提案: GLU 活性化パターンを活用し、トレーニングフリーで Dense モデルを MoE に変換する新規フレームワークを提案した。
3. 広範な実験による性能向上:
   • 構造化プルーニング: 学習なしの動的構造化プルーニング手法として、既存の手法を大幅に上回る性能を達成。
   • モデルのダウンサイクリング: 高スパースな MoE の初期化戦略として、限られた継続学習（CPT）のみで、ゼロから学習した MoE や同等パラメータの Dense モデルを上回る性能を達成。

4. 実験結果

• 構造化プルーニング（25% スパース性）:
  • LLaMA3-8B および Qwen2.5-7B において、FLAP、LLM-Pruner、CMoE などの既存のトレーニングフリー手法を凌駕しました。
  • 例：LLaMA3-8B で CMoE より 5.6%、Qwen2.5-7B で LLM-Pruner より 3.1% 高い平均スコアを記録。
• ダウンサイクリング（高スパース性 MoE 化）:
  • Qwen2.5-7B から変換した ExpertWeaver モデルは、200B トークンの継続学習のみで、500B トークン以上でゼロから学習した OLMoE-1B-7B* を上回る性能（平均スコア 63.5 vs 58.9）を達成しました。
  • 元の Dense モデルの性能の 87.6% を維持しつつ、MLP パラメータの 1/4 しか活性化しない効率化を実現しました。
• 推論効率:
  • vLLM によるベンチマークでは、Dense モデルと比較して、スループット（RPS, OTPS）の向上とレイテンシ（TTFT, TPOT）の低減を確認しました。

5. 意義と結論

ExpertWeaver は、Dense モデルが既に MoE としての構造（普遍性と専門性の分離）を内在していることを実証し、それを GLU のゲート信号を通じて効率的に抽出する方法論を提供しました。

• コスト削減: 高品質な MoE モデルをゼロから学習する膨大なコストを回避し、既存の Dense モデル資産を最大限活用できます。
• 効率化: 推論時の計算コストとエネルギー消費を削減しつつ、高い性能を維持します。
• 汎用性: 推論時の動的プルーニングとしても、モデルの初期化戦略としても機能し、多様なユースケースに対応可能です。

本研究は、LLM のアーキテクチャ設計において「構造の再発見」と「トレーニングフリー変換」の重要性を示唆し、より効率的で高性能な大規模モデルの実用化への道筋を開くものです。