💬 NLP

Efficient Construction of Model Family through Progressive Training Using Model Expansion

この論文は、より小さなモデルから順次拡張するプログレッシブなトレーニング手法を提案することで、独立して訓練する場合と比較して約 25% の計算コスト削減を実現しつつ、同等以上の性能とモデルサイズ間の一貫性を達成する方法を示しています。

原著者： Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

原著者： Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：AI モデルの「家族」を安く、賢く作る新しい方法

この論文は、最近話題の「大規模言語モデル（LLM）」を、**「1 つだけ大きく作る」のではなく、「小さいものから順に大きくして、家族全体を作る」**という新しい方法を紹介しています。

従来の方法では大変なコストがかかっていましたが、この新しい手法を使えば、約 25% のコスト削減が可能になり、しかも性能は落ちないどころか、むしろ良くなることさえあります。

以下に、専門用語を排して、わかりやすい例え話で解説します。

1. 従来の方法：「ゼロから一人ずつ育てる」の弱点

🏗️ 従来のやり方（Independent Training）

これまで、AI モデルの「家族」を作る時は、以下のようにしていました。

小さなモデル（10 億パラメータ）：ゼロから教育して完成させる。
中くらいのモデル（20 億パラメータ）：これもゼロから教育して完成させる。
大きなモデル（80 億パラメータ）：これもゼロから教育して完成させる。

【問題点】
これは、**「同じ教科書を使って、同じ子供を 3 回も 4 回もゼロから育てる」**ようなものです。

小さなモデルを育てるのに使った時間やエネルギー（計算コスト）が、大きなモデルを育てる際にも「ゼロから」また全部必要になります。
結果として、家族全体を作るには、莫大なコストと時間がかかってしまいます。

2. 新しい方法：「成長する木」のように育てる（Progressive Training）

この論文が提案するのは、**「Progressive Training（段階的トレーニング）」**という方法です。

🌱 アナロジー：木を育てる

ステップ 1：まず、小さな苗木（1B モデル）を育てます。
ステップ 2：その苗木が育った後、そのままの根っこ（知識）を土に植え替えて、大きく成長させます（2B モデルへ拡張）。
ステップ 3：さらにその木を大きくして、最終的な大木（8B モデル）にします。

【メリット】

知識の継承：小さいモデルで学んだ「基礎知識」や「経験」を、そのまま大きいモデルに引き継げるため、ゼロから始める必要がありません。
コストの削減：最終的に一番大きな木を育てるためのコストだけで済みます。小さいモデルをゼロから育てるための「無駄なコスト」が省けるのです。
結果：論文の実験では、全体の計算コストを約 25% 削減できました。

3. さらに賢い工夫：「学習のペース」を調整する

ただ単に「引き継ぐ」だけでは、大きいモデルがうまく育たない場合があります。そこで、著者たちはもう一つ工夫をしました。

🎓 アナロジー：学校の授業の進め方

小さいモデル（小学生）：やる気と吸収力が旺盛なので、**「少し速いペース（高い学習率）」**で教えても大丈夫です。
大きいモデル（大学生・研究者）：知識が深すぎて、急ぎすぎると混乱して崩壊してしまうため、**「ゆっくり丁寧なペース（低い学習率）」**に変えます。

このように、モデルのサイズに合わせて「学習のスピード」を自動調整したところ、従来の方法よりもさらに性能が向上しました。

4. 意外な副産物：「家族の性格」が揃う

この方法の最大の隠れたメリットは、**「家族全員が同じ考え方をしている」**ことです。

🗣️ アナロジー：兄弟の会話

従来の方法：兄弟それぞれが全く違う環境で育ったため、同じ質問をしても「答え方がバラバラ」で、会話が続かないことがあります。
新しい方法：兄弟は同じ家（同じ知識の土台）で育ったため、**「考え方や癖が非常に似ている」**状態になります。

【なぜこれが重要？】

** speculative decoding（推測的デコーディング）という技術で、「小さいモデルが先に答えを予想し、大きいモデルがそれをチェックする」**という高速化技術があります。
小さいモデルと大きいモデルの「考え方が似ている（性格が合う）」ほど、大きいモデルは「あ、その答えで合ってるな！」とすぐに受け入れてくれます。
その結果、AI の回答速度が劇的に速くなります（実験では約 15% 高速化）。

まとめ：この論文がすごい点

節約できる：AI 家族を作るコストを、約 25% 節約できる（＝GPU の電気代や時間が減る）。
賢くなる：コストを削っても、性能は落ちないどころか、学習率を調整すればさらに良くなる。
仲が良い：家族全員（小さいモデルから大きいモデルまで）の**「性格（出力の癖）」が揃うため、連携して使うと超高速**になる。

一言で言うと：

「AI モデルをゼロから何回も作るのはやめて、**『小さいモデルを大きく成長させる』**という自然な方法に変えたら、お金も時間も節約できて、AI 同士も仲良くなって速くなったよ！」

という発見です。これにより、スマホやエッジデバイス向けの小さい AI と、サーバー向けの大きい AI を、もっと効率的に開発できるようになります。

COLM 2025 で発表された論文「Efficient Construction of Model Family through Progressive Training Using Model Expansion」の技術的サマリーを以下に提示します。

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の実用化が進む中、計算リソースや用途に応じて異なるパラメータサイズを持つ「モデルファミリー」（例：Llama 3.1 の 8B/70B/405B、Gemma 3 の 1B/4B/12B/27B など）を提供することが標準となっています。
従来のアプローチでは、ファミリー内の各モデル（1B, 2B, 4B, 8B など）をゼロから独立して訓練していました。

課題: この独立訓練方式では、モデルファミリー全体の計算コストがモデル数に比例して加算的に増加します。大規模モデルの訓練には数千 GPU 日が必要となるため、ファミリー全体を構築するコストは極めて高く、非効率的です。
目的: 各モデルの性能を維持しつつ、モデルファミリー全体の構築にかかる総計算コストを削減する効率的な手法の確立。

2. 提案手法 (Methodology)

著者らは、**「Progressive Training（漸進的訓練）」**と呼ばれる手法を提案しました。これは、モデル拡張（Model Expansion）技術を反復的に適用するアプローチです。

基本的なフロー:
1. 最小サイズのモデル（例：1B）をゼロから訓練する。
2. 訓練済みの小規模モデルのパラメータを初期値として利用し、モデル拡張技術（本研究では bert2BERT）を用いて、より大きなモデル（例：2B）へ拡張する。
3. 拡張されたモデルをさらに訓練し、同様に次のサイズ（4B, 8B）へと順次拡大していく。
計算コストの制約:
- 独立訓練の場合： $\sum FLOPs(X_i, T_{scratch})$
- 提案手法の場合：最大サイズモデル（ $X_n$ ）をゼロから訓練するコストに相当する総コスト（ $\sum FLOPs(X_i, T_{prog}) = FLOPs(X_n, T_{scratch})$ ）となるようにトークン数を配分する。
- これにより、中間モデルの訓練コストを「最大モデルの訓練コスト」に含める形とし、重複計算を排除します。
学習率の調整:
- 小規模モデルでは高い学習率（例： $1.5 \times 10^{-3}$ ）を使用し、モデルが大きくなるにつれて学習率を低下させる（例：8B で $3.0 \times 10^{-4}$ ）戦略を採用しました。これにより、大規模モデルでの訓練の安定性を保ちつつ、小規模モデルでの収束を加速させます。

3. 実験設定 (Experimental Setup)

データセット: FineWeb-Edu（前訓練）、WikiText、LAMBADA、WinoGrande などのベンチマーク（評価）。
モデル構成: GPT-2 トークナイザー、Llama アーキテクチャを採用。
サイズ構成: 1B, 2B, 4B, 8B の 4 つのモデルファミリー。
比較対象:
1. Independent: 各サイズを独立してゼロから訓練（Chinchilla 法および 2x Chinchilla 法に基づくトークン数）。
2. Progressive: 提案手法による漸進的訓練。
3. Progressive+Fixed Data: 提案手法だが、ユニークなデータ量を独立訓練と同じ（320B トークン）に制限し、データ量の違いによる性能向上を排除した実験。

4. 主要な結果 (Key Results)

A. 計算コストの削減

提案手法（Progressive Training）により、モデルファミリー全体の構築コストを約 25% 削減しました。
具体的には、2x Chinchilla 法設定において、独立訓練で 20.4 ZFLOPs 必要なところを、提案手法では 15.4 ZFLOPs（最大モデル 8B の訓練コスト相当）で済ませています。

B. 性能の維持・向上

Chinchilla 法設定: 独立訓練と同等以上の性能を達成。
2x Chinchilla 法設定: 最大モデル（8B）において、Perplexity や下流タスク（LAMBADA, ARC-c など）の精度で独立訓練を上回る結果を示しました。
学習率調整の効果: 学習率をモデルサイズに応じて調整した場合、FLOPs 削減率は 26% から31% に向上し、より高い性能を達成しました。
データ量の影響排除: 「Progressive+Fixed Data」実験により、性能向上が単に「より多くのユニークなデータに触れたから」ではなく、手法自体の優位性によるものであることを確認しました。

C. モデルファミリー内の整合性（Consistency）

KL 発散の低減: 隣接するモデルサイズ間（1B→2B, 2B→4B など）の出力分布の KL 発散を測定したところ、独立訓練に比べて Progressive 訓練の方が有意に低い値を示しました。これは、異なるサイズ間でのモデルの振る舞いや内部メカニズムがより一貫していることを意味します。
Speculative Decoding への応用:
- 小規模モデル（4B）をドラフトモデル、大規模モデル（8B）をジェネレーターとして用いた推論実験を行いました。
- 両方とも Progressive 訓練で構築されたペア（Prog-Prog）は、独立訓練のドラフトモデルを用いた場合（Inde-Prog）と比較して、受け入れ率（Acceptance Rate）が 93.20%（vs 87.20%）に向上し、推論時間が約 14.8% 短縮されました。

5. 貢献と意義 (Contributions & Significance)

計算効率の劇的な向上:
大規模モデルファミリーの構築において、独立訓練に比べて約 25% の計算コスト削減を実現しました。これは、リソースが限られた環境や、複数のモデルサイズを迅速に提供したい企業・研究機関にとって極めて重要です。
性能の向上と学習率戦略の確立:
コスト削減だけでなく、モデルサイズに応じた学習率の調整を行うことで、独立訓練よりも高い性能を達成できることを実証しました。
モデルファミリーの整合性の確保:
漸進的訓練により、異なるサイズ間でのモデルの振る舞いが一貫していることを示しました。これは、以下のような実用的な利点をもたらします。
- デプロイの柔軟性: サイズ変更時のユーザー体験の急激な変化を防ぐ。
- 安全フィルタや RLHF の転用: 一つのモデルで学習した安全基準や好みを、他のサイズにも容易に適用できる。
- 推論の高速化: Speculative Decoding などの技術において、ドラフトモデルとジェネレーターモデルの整合性が高まることで推論速度が向上する。
既存技術の有効活用:
既存のモデル拡張手法（bert2BERT など）を「漸進的」に適用するだけで、モデルファミリー全体を効率的に構築できることを示し、新規の複雑なアルゴリズム開発なしに実用性を高められる可能性を提示しました。

結論

本論文は、モデルファミリーの構築における「コスト」と「性能」、「整合性」のトレードオフを解決する実用的な手法を提案しました。漸進的訓練と適切な学習率調整を組み合わせることで、計算リソースを大幅に節約しつつ、高品質で一貫性のあるモデルファミリーを構築できることを実証しました。