🤖 machine learning

$μ$ pscaling small models: Principled warm starts and hyperparameter transfer

本文介绍了一种基于宽度且具有原则性的上采样方法，该方法将权重扰动与具有理论依据的缩放法则相结合，以确保功能等效性并实现从小模型到大模型的高效超参数迁移，从而降低针对不同推理预算的调优成本。

原作者： Yuxin Ma, Nan Chen, Mateo Díaz, Soufiane Hayou, Dmitriy Kunisky, Soledad Villar

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuxin Ma, Nan Chen, Mateo Díaz, Soufiane Hayou, Dmitriy Kunisky, Soledad Villar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的小学徒厨师，他花了数月时间掌握了一道特定的食谱。现在，你想开一家规模宏大的餐厅，拥有一个巨大的厨房和一支由 100 名厨师组成的团队，为成千上万的人烹饪同样的菜肴。

过去的做法是雇佣 100 名全新的厨师，并从零开始教他们食谱。这既费时又极其昂贵。

一种更新、更聪明的方法（称为“扩容/上采样”）是将你的这位天才学徒克隆 100 份，并将他们全部放入这个大厨房中。由于他们都完美地掌握了食谱，大厨房在起步阶段就能拥有与小厨房完全相同的品质。然而，这里有一个陷阱：如果你只是完全克隆他们，他们会同时做完全相同的事情。他们不会学会如何利用更大的空间和新的工具；他们仅仅是同一个人的 100 个副本，这效率极低。

这篇论文介绍了一种经过数学证明的新方法，让这种“克隆与扩张”的过程完美运作。以下是他们的做法，通过简单的解释说明：

1. 完美的克隆（动态等价性）

首先，作者们找到了将小厨师克隆成大团队的精确数学规则，使得在初始阶段，大团队的行为与小厨师完全一致。

类比： 这就像是将一名音乐家演奏的一首乐曲复制成 100 份乐谱。如果每个人都演奏完全相同的音符且速度完全一致，那么听起来就与独奏时的效果完全相同。
创新点： 以前的方法虽然可以在开始时做到这一点，但不知道如何在团队开始学习和变化时保持同步。本文证明了，如果你能正确调整大团队的“音量”（学习率）和“节奏”，他们就能在整个训练过程中与原始的小厨师保持完美的同步。

2. “推力”（打破对称性）

一旦大团队实现了完美同步，他们就会陷入停滞。因为他们都在做同样的事情，所以无法探索更宽敞的新厨房，从而变得更优秀。

类比： 想象 100 个克隆体站在一个圆圈里。如果他们同时向前迈出一步，他们就像一个整体一样移动。为了让他们发挥作用，你需要给他们一个微小的、随机的“推力”，让他们向略微不同的方向迈步。
创新点： 论文引入了一种精确添加这种“噪声”或“推力”的方法。这不是随机的猜测，而是一种经过计算的混沌。这种推力打破了完美的对称性，使大团队能够开始利用其额外的容量去学习新事物，同时仍保留原始厨师的核心知识。

3. “魔法地图”（超参数迁移）

训练一个大团队最难的部分在于确定该给多少“推力”以及学习速度应该有多快（学习率）。通常情况下，你必须在大规模、昂贵的大厨房里进行测试，这是一种浪费。

类比： 想象你想知道要在巨大的汤锅里放多少盐。与其买一个大锅来测试，不如使用一个小平底锅。你在小锅里确定了完美的放盐量，然后你使用一张“魔法地图”，无需测试那个巨大的锅，就能准确知道在巨型锅里该放多少盐。
创新点： 作者证明了这张“魔法地图”确实存在。你可以训练一个规模缩小的版本（即一小组克隆体），在那里找到完美的设置，然后直接将这些设置转移到大规模的模型中。这节省了大量的时间和计算能力。

为什么这很重要

速度： 它允许我们将一个小的、已经训练好的模型转化为一个巨大的、强大的模型，且速度比从头开始训练要快得多。
成本： 它节省了资金，因为我们不需要在庞大的模型上进行昂贵的实验来寻找正确的设置；我们先在便宜的小模型上完成。
可靠性： 论文提供了数学保证，证明这一过程是有效的，而不是仅凭试错法进行猜测。

他们测试了什么

作者在三种不同类型的“厨师”（神经网络）上测试了这种方法：

MLPs： 用于表格数据（如预测森林类型）的简单网络。
ResNets： 用于图像识别（如识别猫和狗）的网络。
GPT-2： 用于生成文本的大型语言模型。

在所有案例中，“克隆并给予推力”的模型学习得更快，并达到了比从头开始训练更好的最终结果，同时利用“魔法地图”跳过了昂贵的调优阶段。

简而言之： 这篇论文为我们提供了一本规则手册，指导我们如何安全、高效地将一个聪明的小型 AI 培养成一个庞大且聪明的 AI，而不会浪费时间或金钱，并确保庞大的版本不会仅仅变成一群混乱的克隆体。

技术摘要：µpscaling 小模型：原则性的热启动与超参数迁移

问题陈述

现代深度学习工作流通常涉及在多个规模下训练模型家族。小模型用于快速原型设计和缩放法则（scaling law）分析，而大模型则从头开始训练，以满足多样化的硬件和延迟约束。这种工作流在计算上是浪费的，因为它丢弃了在训练小模型过程中获得的知识。

虽然“模型上采样”（将训练好的小模型初始化为更大的模型）已被提议以减轻这种浪费，但现有方法（如 Net2Net）面临两个关键限制：

超参数敏感性：上采样后的模型通常需要与基础模型或从头训练的模型显著不同的超参数（特别是学习率和噪声水平）。在目标大规模尺度上进行这些调优的成本极高。
缺乏理论基础：以往的方法依赖于经验启发式方法。目前尚不清楚在小模型上调整超参数并通过缩放法则进行外推是否有效，因为上采样模型的训练动力学与基础模型以及从头训练的大模型都不同。

方法论

作者提出了一个具有理论依据的 µpscaling 框架，该框架结合了保持函数的权重变换与 最大更新参数化 (Maximal Update Parametrization, µP)，以实现高效的超参数迁移。

1. 动态等价性 (Dynamic Equivalence)

其核心理论贡献是将“静态等价性”（即加宽的模型在初始化时产生与基础模型相同的输出）扩展到了动态等价性。

机制：通过复制权重并应用特定的宽度相关缩放（基于与全 1 矩阵的 $\otimes$ 克罗内克积），可以构建出一个参数化完全相同于基础模型的更宽模型。
优化器协调：至关重要的是，作者证明了如果根据由更新函数的齐次性导出的特定规则对优化器超参数（学习 rate、权重衰减以及 $\epsilon$ 等辅助参数）进行缩放，较宽的模型将在函数空间中遵循与基础模型完全相同的训练轨迹。
通用性：这种动态等价性适用于通用架构（可由 Ne⊗or⊤ 程序框架表示，包括 MLP、ResNet 和 Transformer）以及通用逐元素优化器（SGD、Adam、AdamW）。

2. 上采样算法

为了利用加宽模型的额外容量，作者引入了一个“复制并扰动”（copy-and-perturb）的过程：

加宽 (Widening)：通过复制和缩放权重及优化器状态，构建一个动态等价的更宽模型。
对称性破缺 (Symmetry Breaking)：在参数中注入微小的噪声 ( $\Delta$ )。如果没有噪声，模型将受限于基础模型的低维子空间。噪声允许模型逃离该子空间并利用增加的容量。
µP 缩放 (µP Scaling)：上采样模型的噪声量和优化器超参数根据 µP 规则进行缩放。这确保了在无限宽度极限下的训练动力学是“最优”的，既保留了来自基础模型的信号，又确保注入的噪声能够发挥意义而不至于消失或爆炸。

3. 超参数迁移

该框架实现了零样本超参数迁移 (zero-shot hyperparameter transfer)。由于上采样训练过程的无限宽度极限已通过改进的张量程序（Tensor Programs）得到了严格表征，因此在小型“代理”上采样系统（ $n_0 \to kn_0$ ）上调优的最优超参数（学习率和噪声水平）可以直接迁移到目标大型系统（ $n \to kn$ ）。

核心贡献

动态等价性理论：论文确立了在特定的权重和超参数缩放下，上采样模型在整个训练过程中都与基础模型具有动态等价性，而不仅仅是在初始化阶段。这扩展了现有的理论基础，使其涵盖了完整的训练轨迹。
原则性的上采样算法：提出了一种统一的上采样程序，集成了权重复制、对称性破缺噪声注入和基于 µP 的超参数缩放。这为 Net2Net 等启发式方法提供了一个严谨的替代方案。
超参数迁移保证：作者提供了第一个在上采样设置中进行超参数迁移的严谨框架。通过扩展张量程序机制以适应中途上采样，他们证明了可以在小型、低成本的代理系统上调优最优超参数，并将其迁移到大规模目标系统，从而大幅降低调优成本。
无限宽度分析：引入了一个改进的张量程序框架来表征上采样的无限宽度极限，表明预激活值会收敛到具有非平凡协方差结构的 i.i.d. 分块，这与标准的非上采样训练不同。

实验结果

该方法在三种架构（MLP、ResNet、GPT-2）、三种数据集（Forest Cover Type、CIFAR-100、FineWeb）和两种优化器（SGD、AdamW）上进行了评估。

性能：在所有设置下，上采样模型比在相同宽度下从头训练的模型收敛更快，且达到了更低的最终训练损失。
超参数迁移：实验验证了在小规模系统（例如宽度 $n_0=100$ ）上调优的最优学习率和噪声水平能鲁棒地迁移到更大的系统（例如宽度 $n=500$ 或 $n=1024$ ）。
效率：通过在小规模而非目标规模进行超参数调优，该方法实现了调优成本的显著加速：
- 对于 MLP ( $n/n_0 = 5$ )，实现了 23.6倍 加速。
- 对于 ResNet ( $n/n_0 = 4$ )，实现了 16.0倍 加速。
- 对于 GPT-2 ( $n/n_0 = 10$ )，实现了 48.2倍 加速。
泛化性警告：尽管训练损失有所改善，但在 CIFAR-100 上的上采样 ResNet 显示出比从头训练模型更差的泛化能力（验证准确率）。作者指出这与其理论一致，因为其理论控制的是训练动力学而非泛化，且这是过参数化 CNN 在有限数据上的已知特性。

重要性与主张

论文声称提供了第一个用于模型上采样的超参数迁移严谨理论框架。其重要性在于：

弥合理论与实践：将上采样从经验启发式方法转向基于无限宽度极限理论和张量程序的原则性方法。
降低成本：使得在小型代理系统上为大规模架构进行调优成为可能，使大规模架构的探索在计算上更加可行。
通用性：该框架适用于标准架构和优化器，不像以往的方法往往具有特定架构的局限性。

作者对泛化性保持谦逊，承认其理论侧重于训练动力学，且上采样下的泛化仍是一个开放性问题。他们还指出，该方法目前仅适用于宽度方向的上采样，深度方向的上采样留作未来工作。