💬 NLP

Efficient Construction of Model Family through Progressive Training Using Model Expansion

该论文提出了一种通过渐进式训练将小模型逐步扩展为大模型来构建模型家族的高效方法，在保持性能相当的同时降低了约 25% 的总计算成本，并提升了不同规模模型间行为的一致性。

原作者： Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种**“聪明地训练大模型家族”**的新方法，旨在大幅节省训练成本，同时让不同大小的模型表现得更加协调。

我们可以把训练大语言模型（LLM）想象成**“培养一个家族”**，这个家族里有不同身高的成员：从“小不点”（10 亿参数）到“巨人”（80 亿参数）。

1. 传统做法：各自为战，浪费巨大

比喻：像开了一家“从零开始的幼儿园到大学”的连锁学校。

传统方法：如果你想培养一个 1 岁、2 岁、4 岁和 8 岁的孩子（模型），传统的做法是分别给他们找老师，从出生开始重新教一遍。
- 教 1 岁孩子：花 100 块钱。
- 教 2 岁孩子：花 200 块钱（重新教一遍）。
- 教 4 岁孩子：花 400 块钱。
- 教 8 岁孩子：花 800 块钱。
结果：你为了拥有这个完整的家族，总共花了 1500 块钱。而且，虽然他们都在学同样的东西，但因为老师不同、教材不同，大孩子和小孩子的思维方式可能完全不一样，甚至大孩子听不懂小孩子说的话。

2. 论文的新方法：循序渐进，顺势而为

比喻：像“拔苗助长”的升级版——“基因复制与成长”。

作者提出了一种叫**“渐进式训练”（Progressive Training）**的方法。

核心思路：不要重新教大孩子！直接让小孩子的知识“长大”。
具体操作：
1. 先专心教那个1 岁的孩子（1B 模型），花 100 块钱，让他学会基础。
2. 当他学好了，我们不是把他扔了，而是利用他的“大脑结构”和“知识”，通过一种特殊的**“基因复制技术”**（论文里叫 Model Expansion，类似 bert2BERT），直接把他“变大”成 2 岁、4 岁，最后变成 8 岁。
3. 在这个过程中，大孩子只需要在原有知识的基础上进行微调，而不是从头学起。
成本计算：
- 你只需要花教那个最大孩子（8B）从头到尾的钱（约 800 块钱）。
- 因为小孩子的知识被直接“继承”并放大了，你省去了重复教小孩子的巨额开销。
- 最终结果：总成本从 1500 块降到了 800 块，节省了约 25% 的钱（相当于省下了几千个 GPU 的算力时间）。

3. 为什么这样做更好？（不仅仅是省钱）

A. 性能更强：像“因材施教”的教练

比喻：教小孩子时，可以用大声、快速的方法（高学习率），因为他们反应快；教大孩子时，因为脑子更复杂，需要更沉稳、细致的方法（低学习率）。
论文发现：作者发现，如果根据模型的大小，动态调整“教学节奏”（学习率），效果比传统方法更好。
- 小模型用“快节奏”冲得很快。
- 大模型用“慢节奏”稳扎稳打。
- 结果：这种“渐进式 + 动态调整”的方法，做出来的模型在各项考试（如常识推理、问答）中，成绩甚至超过了那些“各自为战”独立训练出来的模型。

B. 家族更和谐：像“亲兄弟”

比喻：传统方法训练出来的大模型和小模型，就像两个毫无血缘关系的陌生人，虽然都叫“人类”，但说话风格、逻辑习惯完全不同。
论文发现：通过“渐进式训练”，大模型是从小模型“长”出来的，它们就像亲兄弟。
- 一致性高：小模型说的话，大模型能完美理解；大模型的风格，小模型也能自然模仿。
- 实际应用：这在做**“投机解码”（Speculative Decoding）**时特别有用。想象一下，小模型负责“打草稿”，大模型负责“审核”。如果他们是亲兄弟，小模型猜的大模型会非常准，审核通过率极高，打字速度（推理速度）直接提升了 15%。

总结

这篇论文就像是一个**“精明的家庭教师”**：

省钱：不再重复劳动，利用小模型的知识直接“孵化”大模型，省了 25% 的学费。
提质：根据孩子年龄调整教学方法，让全家人的成绩都更好。
团结：让家族成员之间默契十足，配合起来效率更高。

对于现在的 AI 开发者来说，这意味着可以用更少的钱、更短的时间，训练出一整套既聪明又默契的模型家族，特别适合那些资源有限但需要多种尺寸模型的场景（比如手机 App 用小的，服务器用大的）。

论文技术总结：通过模型扩展的渐进式训练高效构建模型家族

1. 研究背景与问题定义 (Problem)

随着大语言模型（LLM）的广泛应用，提供具有一致架构但参数规模不同的模型家族（Model Family，如 1B, 4B, 8B, 70B 等）已成为行业标准，以适应不同的计算约束和应用场景。

传统痛点：目前构建模型家族的标准做法是独立从头训练（Independent Training）每一个尺寸的模型。这种方法导致计算成本随模型数量线性累加。例如，训练 1B、2B、4B、8B 四个模型，总成本是四个模型单独训练成本之和，造成了巨大的资源浪费（数千 GPU 天）。
核心目标：如何在保持甚至提升各尺寸模型性能的前提下，显著降低构建完整模型家族的总计算成本（FLOPs）。

2. 方法论：渐进式训练 (Methodology)

作者提出了一种名为**渐进式训练（Progressive Training）的新方法，利用模型扩展（Model Expansion）**技术来构建模型家族。

核心流程：
1. 初始训练：首先从头训练最小的模型（例如 1B）。
2. 模型扩展与初始化：利用预训练好的较小模型参数，通过模型扩展方法（本文采用 bert2BERT）将其扩展为下一个更大尺寸的模型（例如从 1B 扩展到 2B）。扩展过程包括：
  - 宽度扩展：复制线性层权重以增加隐藏层维度。
  - 深度扩展：复制预训练层以增加网络层数。
3. 增量训练：使用扩展后的参数作为初始化，继续训练下一个更大尺寸的模型。
4. 资源分配策略：
  - 设定总计算预算等于仅训练最大模型（例如 8B）从头训练所需的成本。
  - 将总预算分配给家族中的每个模型。由于小模型利用了大模型的初始化优势，它们所需的训练 Token 数（ $T^{prog}_i$ ）少于从头训练所需的 Token 数（ $T^{scratch}_i$ ）。
  - 公式约束： $\sum FLOPs(X_i, T^{prog}_i) = FLOPs(X_n, T^{scratch}_n)$ 。
关键优化：动态学习率调整
- 研究发现，不同规模的模型对最大学习率（Max Learning Rate）的敏感度不同。大模型通常需要更小的学习率以维持稳定性。
- 作者提出根据模型规模线性调整最大学习率：小模型（1B）使用较高的学习率（如 $1.5 \times 10^{-3}$ ）以加速收敛，大模型（8B）使用较低的学习率（如 $3.0 \times 10^{-4}$ ）以确保稳定性。

3. 实验设置 (Experimental Setup)

模型家族：构建了一个从 1B 到 8B 参数的模型家族（1B, 2B, 4B, 8B），基于 Llama 架构，使用 FineWeb-Edu 数据集。
对比基线：
- Independent：每个模型从头随机初始化训练。
- Progressive：使用上述渐进式训练方法。
训练策略：遵循 Chinchilla 定律（20 tokens/parameter）和 2x Chinchilla 定律（数据量更大）进行实验。
评估指标：困惑度（Perplexity）、零样本下游任务准确率（LAMBADA, WinoGrande, ARC 等）、KL 散度（衡量行为一致性）、推测解码（Speculative Decoding）效率。

4. 关键结果 (Key Results)

计算效率提升：
- 渐进式训练将构建完整模型家族的总计算成本降低了约 25%（在 2x Chinchilla 设置下，相比独立训练节省了约 3.2K GPU 小时）。
- 在相同的计算预算下，渐进式训练的模型性能优于独立训练的模型。
性能表现：
- 基准测试：在 Chinchilla 和 2x Chinchilla 设置下，渐进式训练的模型在大多数下游任务（如常识推理、问答）上的表现持平或优于独立训练的模型。
- 学习率调整的效果：引入动态学习率调整后，性能提升更加显著。在 2x Chinchilla 设置下，最大学习率调整策略使 FLOPs 减少量从 26% 提升至 31%，且在所有任务上均显著超越独立训练基线。
数据利用的公平性验证：
- 为了排除“渐进式训练只是接触了更多独特数据”的质疑，作者设置了"Progressive+Fixed Data"实验（限制总独特 Token 数与独立训练最大模型相同，多余数据复用）。
- 结果证明，即使限制独特数据量，渐进式训练依然能保持高性能，说明其优势源于参数初始化的有效性而非单纯的数据量增加。
模型家族的一致性（Consistency）：
- KL 散度：渐进式训练生成的相邻模型（如 1B→2B, 4B→8B）之间的输出分布 KL 散度显著低于独立训练的模型。这表明渐进式训练产生的模型家族具有更高的行为一致性。
- 推测解码（Speculative Decoding）：利用一致性优势，使用渐进式训练的 4B 模型作为草稿模型（Draft Model），8B 模型作为生成器（Generator），其接受率（Acceptance Rate）达到 93.20%（独立训练基线为 87.20%），推理速度提升了约 14.8%。

5. 主要贡献 (Key Contributions)

提出渐进式训练框架：首次系统性地展示了如何通过反复应用模型扩展技术，以仅训练最大模型的成本来构建整个高性能模型家族，实现了约 25% 的算力节省。
性能超越基线：证明了该方法不仅能节省成本，配合动态学习率调整后，还能在多个基准任务上超越独立从头训练的模型。
揭示行为一致性：发现并量化了渐进式训练带来的模型行为一致性（低 KL 散度），并验证了这种一致性在推测解码等实际推理加速场景中的巨大价值。
资源受限场景的实用价值：为在资源受限环境下（如边缘设备部署、多规模模型快速迭代）构建高效、一致的模型家族提供了可落地的解决方案。

6. 意义与影响 (Significance)

降低门槛：显著降低了构建多尺寸模型家族的算力门槛，使得中小规模研究机构也能拥有完整的模型家族。
生态协同：解决了模型家族中不同尺寸模型“行为割裂”的问题，使得基于小模型的数据标注、奖励模型训练、安全过滤器等可以无缝迁移到大模型，反之亦然。
推理加速：通过提升模型间的一致性，直接优化了推测解码等推理加速技术的效率，提升了实际部署的用户体验。
未来方向：该方法具有通用性，可结合未来更先进的模型扩展技术（如深度/宽度扩展的新算法）进一步提升效率。

总结：该论文通过“小模型扩展初始化大模型”的渐进式策略，成功打破了传统独立训练模型家族的高成本瓶颈，不仅实现了显著的算力节约，还意外地提升了模型家族内部的行为一致性，为 LLM 的高效开发与部署提供了新的范式。