🤖 machine learning

Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts

本論文は、既存の収束済み混合専門家（Mixture-of-Experts）チェックポイントを深さと幅を拡張することで再利用する「直交成長」戦略を導入し、このアプローチが「沈没コスト」を活用してより高い精度を達成することで、同一の計算予算のもとでゼロから学習する手法を大幅に凌駕することを示す。

原著者： Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts」の解説を、平易な言葉と創造的な比喩を用いて説明したものです。

大きな問題：「埋没費用」の罠

何年もの歳月と数百万ドルを費やして、巨大で高度に訓練された図書館（事前学習済み AI モデル）を建設したと想像してください。膨大なデータで訓練され、その仕事は非常に得意です。しかし、より複雑な質問に対応するために、より「大きな」図書館が必要だと気づきます。

これを行う従来の方法は、既存の図書館を解体し、ゼロから新しいより大きな図書館を建設することです。これは信じられないほど高額で浪費的です。なぜなら、すでに費やしたすべての作業を捨ててしまうからです。ビジネス用語で言えば、これは「埋没費用」つまり、回収不可能な既出の資金と努力を指します。

この論文は問いかけます：既存の図書館を捨て去るのではなく、リサイクルすることはできるでしょうか？ すでに訓練された既存のモデルを、ゼロからやり直すことなく、より大きく、より優れたものへと「成長」させることは可能でしょうか？

解決策：「直交成長」

著者たちは「直交成長」と呼ばれる手法を提案しています。「直交」とは「直角に」あるいは「独立して」を意味すると考えてください。彼らは、互いに干渉しないモデルを大きくする 2 つの明確な方法を見出しました。これらは、靴下を先に履いてから靴を履くか、あるいはその逆かのように、どの順序で行っても結果は同じです。

1. 深度成長：より多くの階層を追加する（「挿入」のトリック）

モデルが 20 階建てのビルだと想像してください。これを高くするために、単に最初のビルの上に別の 20 階建てのビルを積み重ねることもできます。

従来の方法（積み重ね）： 単に新しいビルを上に積み重ねると、エレベーター（データフロー）は古いビルの最上階から新しいビルの最下階へ直接ジャンプしなければなりません。これにより、急激な断絶が生じます。ビルの「雰囲気」が突然変わってしまいます。
新しい方法（挿入）： 積み重ねるのではなく、著者たちは既存の階層のコピーを元の階層の間に挿入することを提案しています。
- 比喩： 音階を想像してください。C, D, E, F, G... という音符があり、曲を長くしたい場合、曲の最後に全体を繰り返すわけではありません。代わりに、最初の C の直後に 2 番目の C を、最初の D の直後に 2 番目の D を、というように挿入します。これにより、メロディは滑らかで連続的に保たれます。
- なぜ機能するか： この論文では、よく訓練されたモデルは層の動作に特有の「リズム」を持っていることがわかりました。コピーを挿入することでこのリズムが維持されるのに対し、積み重ねるとそれが壊れてしまいます。この方法は、モデルがすでに完全に訓練（収束）されている場合に最も効果的です。

2. 幅成長：より多くの専門家を追加する（「スペシャリスト」のトリック）

次に、モデルが病院だと想像してください。各部屋（層）の中には、異なる分野を専門とする数人の医師（エキスパート）がいます。モデルには、特定の患者のためにどの医師を呼ぶかを決定する「ルーター」があります。

従来の方法： 医師をそのままコピーするだけだと、部屋には 2 人の同一の医師がいます。彼らは全く同じことをするため、冗長で混乱を招きます。
新しい方法： 著者たちは医師をコピーしますが、新しい医師にはわずかな「静的なノイズ」や「雑音」を加えることを提案しています。
- 比喩： 偉大なシェフがいると想像してください。そのシェフのクローンを採用しますが、クローンには少し異なるスパイス棚を与えたり、エプロンに小さな傷をつけたりします。この小さな違いが、クローンにマスターを完璧にコピーするのではなく、独自のスタイルを開発し、わずかに異なる料理に特化することを強制します。
- なぜ機能するか： このわずかなノイズにより、新しいエキスパートは元のエキスパートがすでに持っている知識を破壊することなく、異なる仕事（専門化）を学ぶことができます。

結果：より少ないコストでより大きな成果

研究者たちは、30 億から 700 億パラメータまでのモデルでこれをテストしました。その結果は以下の通りです。

リサイクルは機能する： 小さな完全に訓練されたモデルを取り、それを巨大なモデルへと成長させることができます。
ゼロから始めるより優れている： 同じ量の追加計算資源を使用して、モデルを成長させることと、ゼロから新しい大きなモデルを訓練することを比較したところ、「成長させた」モデルは10.6% 高い精度を示しました。
より多くの投資＝より良い結果： 成長させる前に元の小さなモデルに投入する「埋没費用」（訓練時間とデータ）が多いほど、最終的な巨大モデルのパフォーマンスは向上します。これは強固な基礎に投資することのようです。その上に高く建てるほど、建物はより良く立ちます。
順序は重要ではない： まず階層を追加してから専門家を追加するか、あるいはその逆でも構いません。最終結果は同じです。

結論

この論文は、「持続可能な」AI 開発のための青図を提供します。常にゼロから新しいモデルを構築するために資金を燃やす代わりに、既存のモデルを取り、これらの 2 つのトリック（層の挿入とノイズのある専門家の追加）を用いて慎重に拡張することで、より少ない費用で著しく賢く、大きなモデルを得ることができます。これにより、「埋没費用」という「無駄」が貴重な資産へと変換されます。

技術的サマリー：沈没コストを超えて：モジュールエキスパートの直交成長による大規模言語モデル前学習の効率化

問題定義

大規模言語モデル（LLM）の前学習における計算需要は急増しているが、既存の前学習済みチェックポイントは、アーキテクチャの制限により十分に活用されていない。現在のモデル成長戦略は、通常、学習の初期段階でのモデル拡張に焦点を当てており、十分に収束したチェックポイントの莫大な「沈没コスト」（過去の計算投資）を活用できていない。さらに、大規模 LLM においてますます支配的となっているモジュールエキスパート（MoE）アーキテクチャへのモデル成長の適用は、体系的に研究されていない。核心的な課題は、ベースモデルの学習済み知識と最適化されたパラメータを破棄することなく、収束した MoE モデルを効果的に「リサイクル」して、より大規模で能力の高いモデルを構築する方法を決定することである。

手法

著者は、収束した MoE モデルを深度（層の増加）と幅（エキスパート数の増加）という 2 つの独立した次元に沿って拡張するための「直交成長」フレームワークを提案する。

1. 深度成長：インターポジショナル法 vs スタッキング法

論文は、モデルの深度を拡張する 2 つの方法を対比する：

スタッキング法：元の層のシーケンスを $k$ 回連結する（ $l_1, \dots, l_n, l_1, \dots, l_n$ ）。
インターポジショナル成長法：各層をその位置で複製する（ $l_1, l_1, \dots, l_2, l_2, \dots$ ）。

重要な洞察：前学習済み LLM の分析により、特徴的な層ごとの重みノルム分布が明らかになった。ノルムは初期層では小さく、中間層で単調に増加し、終盤でわずかに減少する。このパターンは健全な収束の構造的なシグナルである。

スタッキング法は、後期層のノルムの後に初期層のノルムを配置することで、この単調な傾向を乱し、モデルが継続学習中に「修復」を必要とする鋭い不連続性を生み出す。
インターポジショナル成長法は、層をその位置で複製することで学習された重みノルムの軌跡を維持し、滑らかな構造的進行を保つ。
閾値：ベースモデルが Chinchilla スケーリング則で定義された計算最適 FLOPs（約 $1\times F_c$ ）を超えて学習されると、インターポジショナル成長法の優位性が決定的になる。

2. 幅成長：ノイズ付きエキスパート複製

モデルの幅を拡張するために、著者はエキスパートの総数（ $E \to 2E$ ）と活性化されるエキスパートの数（ $k \to 2k$ ）の両方を倍増させる。

初期化戦略：新しいエキスパートは、既存のエキスパートの重みをコピーし、少量のガウスノイズ（ $\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ 、ただし $\alpha \approx 0.01$ ）を加えることで初期化される。
根拠：完全な複製は完全な対称性を生み、機能的な分岐を防ぐ。わずかな摂動はこの対称性を、ルーターが継続学習中にエキスパートを区別できるようにする程度に破りつつ、学習された表現を保持する。これは、高密度モデルからの「アップサイクリング」とは対照的であり、後者はしばしば高いノイズレベル（ $\ge 50\%$ ）とランダムなルーター初期化を必要とする。

3. 直交性

論文は、深度成長と幅成長が直交することを示している。

構造的な非重複性：深度成長は新しい層を追加し、幅成長は既存の層内の新しいエキスパートを追加する。これらは重ならないパラメータセットに対して動作する。
最適化ダイナミクス：勾配分析により、深度成長モデルと幅成長モデルの最適化方向は、成長前の方向および互いに対してほぼ直交することが示された。
順序の独立性：最終性能は拡張の順序（深度→幅 vs 幅→深度）に影響されず、これらの戦略が柔軟に統合可能であることを確認した。

主要な結果

このフレームワークは、1 兆トークンのデータセットを用いた 30 億から 700 億パラメータのモデルによる広範な実験で検証された。

深度成長の有効性：30 億パラメータの MoE モデルを 60 億パラメータに成長させた際、インターポジショナル法は学習損失と下流タスクの精度の両方でスタッキング法を一貫して上回った。ベースモデルがより収束するにつれて、性能差は拡大した。
沈没コストとの相関：「沈没 FLOPs」（成長前の学習ステップ数）と成長モデルの最終精度の間には強い正の相関がある。より初期のチェックポイントから成長させたモデルよりも、より後期でより収束したチェックポイントから成長させたモデルの方が、追加の計算予算が同一であっても最終性能が高かった。
ゼロからの学習との比較：
- 固定された追加計算予算の下では、モデル成長はゼロから大規模モデルを学習させることを大幅に上回った（例：700 億パラメータの実験で 10.6% の精度向上）。
- 固定された総計算予算（沈没コスト＋追加）の下では、成長が十分な沈没コストを持つチェックポイントから開始された場合、モデル成長はゼロからの学習と同等か、わずかに優れた結果をもたらした。
スケーラビリティ：この手法は、約 6000 億トークンで学習された 170 億パラメータの MoE モデルを、合計 1 兆トークンで学習された 700 億パラメータのモデルに成功して拡張した。最終的な 700 億パラメータモデルは平均精度 64.17 を達成し、170 億パラメータのベースラインを 5.62 ポイント上回り、同じ追加 FLOPs 予算の下でのゼロからの 700 億パラメータベースラインを相対的に 10.6% 上回った。

意義と主張

この論文は、持続可能な大規模 LLM 開発のための費用対効果の高い青写真を提供すると主張する。その主な意義は以下の点にある：

沈没コストのリサイクル：しばしば使い捨て可能な中間資産と見なされる前学習済みチェックポイントを、体系的に活用してより大規模なモデルを構築できることを実証し、過去の計算投資の価値を保持する。
最適な成長戦略：十分に収束したモデルに対しては、インターポジショナルな層のコピーと最小ノイズのエキスパート複製が、従来のスタッキング法やランダム初期化よりも優れていることを確立する。
直交的スケーリング：深度と幅を、干渉なく独立して、任意の順序で拡張できることを証明し、リソース制約のあるスケーリングシナリオにおいて柔軟性を提供する。
効率性：成長が、同一の追加計算予算の下でゼロからの学習を上回る性能向上を達成できることを示し、フロンティア規模のモデル前学習への障壁を実質的に低下させる。

著者は、この研究が LLM に固有のものを超えた新たな社会的リスクを導入するものではないことを強調し、学習効率の向上によるモデル開発の環境フットプリントの削減を目指している。