🤖 machine learning

Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts

本文提出了一种“正交增长”策略，通过扩展现有已收敛的混合专家模型检查点的深度和宽度来复用它们，证明该方法利用先前的“沉没成本”实现了更高的准确率，在相同的计算预算下显著优于从头训练。

原作者： Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《超越沉没成本：通过混合专家的正交增长提升大语言模型预训练效率》的通俗解读，辅以生动的类比。

核心难题：“沉没成本”陷阱

想象一下，你花费数年时间、数百万美元建立了一座庞大且技艺精湛的图书馆（即预训练好的 AI 模型）。你利用海量数据对其进行了训练，它非常擅长处理各类任务。但随后你意识到，为了应对更复杂的问题，你需要一座更大的图书馆。

旧的做法是：拆掉现有的图书馆，从零开始建造一座更大的新馆。这种做法极其昂贵且浪费，因为你抛弃了所有已完成的工作。用商业术语来说，这就是“沉没成本”——那些已经投入且无法收回的资金和精力。

这篇论文提出了一个疑问：我们能否回收利用这座旧图书馆，而不是将其丢弃？ 我们能否在现有训练良好的模型基础上进行“生长”，使其变得更大、更好，而无需从头开始？

解决方案：“正交增长”

作者提出了一种名为正交增长的方法。这里的“正交”意指“成直角”或“相互独立”。他们发现了两种截然不同的扩展模型的方法，且这两种方法互不干扰。它们的执行顺序可以任意调整，就像先穿袜子再穿鞋，或者先穿鞋再穿袜子，最终结果都是一样的。

1. 深度增长：增加楼层（“插入”技巧）

想象你的模型是一座拥有 20 层的摩天大楼。要让它变高，你可以直接在第一座建筑上面再叠放一座 20 层的新楼。

旧方法（堆叠）： 如果你只是简单地将新楼叠在旧楼之上，电梯（数据流）就必须从旧楼的顶层直接跳跃到新楼的底层。这会造成剧烈的断层，大楼的“氛围”会突然改变。
新方法（插入）： 作者建议插入现有楼层的副本，置于原始楼层之间。
- 类比： 想象一个音阶。如果你拥有 C、D、E、F、G...等音符，想要让歌曲变长，你并不是在结尾重复整首歌，而是在第一个 C 之后插入第二个 C，在第一个 D 之后插入第二个 D，依此类推。这样能保持旋律的平滑与连贯。
- 为何有效： 论文发现，训练良好的模型在其层级运作中具有特定的“节奏”。插入副本能保留这种节奏，而堆叠则会破坏它。这种方法在模型已经充分训练（收敛）时效果最佳。

2. 宽度增长：增加专家（“专家”技巧）

现在，想象模型是一家医院。在每个房间（层）里，都有几位医生（专家），他们各自擅长不同的领域。模型拥有一个“路由器”，负责决定为特定病人呼叫哪位医生。

旧方法： 如果你只是完全复制医生，房间里就会出现两位完全相同的医生。他们会做完全一样的事情，这既冗余又令人困惑。
新方法： 作者建议复制医生，但给新复制的医生添加一点点“静电”或“噪声”。
- 类比： 想象你有一位主厨。你雇佣了一位该主厨的克隆体，但给克隆体配备了一个略有不同的香料架，或者在他们的围裙上留下一个微小的划痕。这种微小的差异迫使克隆体发展出自己独特的风格，专注于略有不同的菜肴，而不是完美地复制主厨。
- 为何有效： 这微小的噪声有助于新专家学习承担不同的工作（实现专业化），同时不会破坏原有专家已掌握的知识。

成果：更高的投入产出比

研究人员在参数规模从 30 亿到 700 亿的模型上测试了该方法。他们的发现如下：

回收利用有效： 你可以将一个较小的、已充分训练的模型“生长”成巨大的模型。
优于从头开始： 当他们比较“生长”模型与利用相同额外计算资源从头训练一个新的大模型时，“生长”出来的模型准确率提高了 10.6%。
投入越多，效果越好： 在“生长”之前，你在原始小模型上投入的“沉没成本”（训练时间和数据）越多，最终的大模型表现就越好。这就像投资于坚实的基础；你在此基础上建得越高，大楼就越稳固。
顺序无关紧要： 你可以先加楼层再加专家，或者先加专家再加楼层。最终结果是一样的。

核心结论

这篇论文为“可持续”的 AI 发展提供了一份蓝图。与其不断烧钱从头构建新模型，我们不如利用现有的模型，通过这两种技巧（插入层和添加带噪声的专家）进行精心扩展，从而以更低的成本获得更智能、更庞大的模型。它将“沉没成本”的浪费转化为了一项宝贵的资产。

技术摘要：超越沉没成本：通过混合专家（MoE）的正交增长提升大语言模型预训练效率

问题陈述

预训练大语言模型（LLM）的计算需求正在激增，然而由于架构限制，现有的预训练检查点往往未被充分利用。当前的模型扩展策略通常侧重于在训练早期阶段扩展模型，未能充分利用已收敛检查点所蕴含的巨大“沉没成本”（即先前的计算投入）。此外，将模型扩展应用于混合专家（MoE）架构（该架构在大规模 LLM 中日益占据主导地位）尚未得到系统研究。核心挑战在于如何有效地“回收”已收敛的 MoE 模型，以创建更大、更强大的模型，同时不丢弃基础模型中已习得的知识和优化参数。

方法论

作者提出了一种“正交增长”框架，旨在沿两个独立维度扩展已收敛的 MoE 模型：深度（增加层数）和宽度（增加专家数量）。

1. 深度增长：插位式与堆叠式

本文对比了两种扩展模型深度的方法：

堆叠（Stacking）： 将原始层序列连接 $k$ 次（ $l_1, \dots, l_n, l_1, \dots, l_n$ ）。
插位式增长（Interpositional Growth）： 原地复制每一层（ $l_1, l_1, \dots, l_2, l_2, \dots$ ）。

关键洞察： 对预训练 LLM 的分析揭示了一种特征性的逐层权重范数分布：初始层的范数较小，在中间层单调增加，并在末端略有下降。这种模式是健康收敛的结构特征。

堆叠通过将早期层的范数置于晚期层范数之后，破坏了这种单调趋势，造成了急剧的不连续性，迫使模型在继续训练期间进行“修复”。
插位式增长通过原地复制层，保留了已学习的权重范数轨迹，维持了平滑的结构演进。
阈值： 一旦基础模型的训练量超过了 Chinchilla 缩放定律定义的计算最优 FLOPs（约 $1\times F_c$ ），插位式增长的优越性变得至关重要。

2. 宽度增长：噪声专家复制

为了扩展模型宽度，作者将专家总数（ $E \to 2E$ ）和激活专家数量（ $k \to 2k$ ）均翻倍。

初始化策略： 新专家通过复制现有专家的权重并添加少量高斯噪声进行初始化（ $\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ ，其中 $\alpha \approx 0.01$ ）。
原理： 精确复制会产生完美的对称性，阻碍功能分化。微小的扰动足以打破这种对称性，使路由器在继续训练期间能够区分专家，同时保留已习得的表示。这与从稠密模型进行的“升级（upcycling）”形成对比，后者通常需要高噪声水平（ $\ge 50\%$ ）和随机的路由器初始化。

3. 正交性

本文证明了深度增长和宽度增长是正交的。

结构不相交： 深度增长添加新层；宽度增长在现有层内添加新专家。它们作用于互不重叠的参数集。
优化动态： 梯度分析表明，深度增长模型和宽度增长模型的优化方向与增长前的方向彼此之间几乎正交，且彼此之间也几乎正交。
顺序无关性： 最终性能对扩展顺序（先深度后宽度 vs. 先宽度后深度）保持不变，证实了这些策略可以灵活集成。

关键结果

该框架通过在 1 万亿 token 数据集上对 3B 至 70B 参数范围的模型进行了广泛实验验证。

深度增长的有效性： 在将 3B MoE 模型扩展至 6B 时，插位式方法在训练损失和下游准确率方面始终优于堆叠式方法。随着基础模型收敛程度的提高，性能差距进一步扩大。
沉没成本相关性： “沉没 FLOPs"（增长前的训练步数）与扩展后模型的最终准确率之间存在强烈的正相关。从更靠后、更收敛的检查点扩展的模型，即使拥有相同的额外计算预算，其最终性能也优于从较早检查点扩展的模型。
与从头训练的对比：
- 在固定的额外计算预算下，模型扩展显著优于从头训练大型模型（例如，在 70B 实验中准确率提高了 10.6%）。
- 在固定的总计算预算（沉没 + 额外）下，只要扩展是从具有足够沉没成本的检查点启动的，模型扩展产生的结果可与从头训练相当或略优。
可扩展性： 该方法成功将 17B MoE 模型（在约 600B token 上训练）扩展至 70B 参数（在总计 1T token 上训练）。最终的 70B 模型实现了 64.17 的平均准确率，比 17B 基线高出 5.62 分，并在相同的额外 FLOPs 预算下，比从头训练的 70B 基线相对提升了 10.6%。

意义与主张

本文声称提供了一份可持续大规模 LLM 开发的成本效益蓝图。其主要意义在于：

回收沉没成本： 证明通常被视为可丢弃的中间资产的预训练检查点，可以被系统地利用来创建更大的模型，从而保留先前计算投资的价值。
最优增长策略： 确立对于已收敛良好的模型，插位式层复制和最小噪声专家复制优于传统的堆叠和随机初始化。
正交扩展： 证明深度和宽度可以独立且按任意顺序扩展而不产生干扰，为资源受限的扩展场景提供了灵活性。
效率： 表明在相同的额外计算预算下，扩展所能获得的性能增益可超越从头训练，有效降低了前沿规模模型预训练的门槛。

作者强调，这项工作并未引入超出 LLM 固有风险之外的新社会风险，而是旨在通过提高训练效率来减少模型开发的环境足迹。