💬 NLP

SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning

本文介绍了 SPARKLING，这是一个用于渐进式学习中阶段性宽度扩展的新型框架，它通过平衡信号保留与对称性破缺来克服训练不稳定性，从而将计算成本降低高达 35%，同时其表现优于从头开始训练。

原作者： Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一座宏大且极其复杂的图书馆（一个大型语言模型），用以存储并理解人类知识。通常情况下，为了建造出最大、最聪明的图书馆，你必须从零开始，一砖一瓦地一次性建好整个建筑。这不仅极其昂贵，而且需要耗费大量的时间和精力。

**渐进式学习（Progressive Learning）**是一种更聪明的做法：你先从一个小巧温馨的阅览室开始，随着进程逐渐增加更多的房间。这样可以节省资金，因为你不需要在开始阅读之前就建成整座宫殿。

然而，这里有一个难点：研究人员已经发现如何轻松地增加“楼层”（深度），但在建设过程中途增加“同一层楼上的更多房间”（宽度）却是一场噩梦。如果你只是不加顾虑地在现有建筑上强行加盖新房间，整个结构就会开始摇晃甚至坍塌。

这项研究介绍了一种名为 SPARKLING 的新方法（其全称是 balancing Signal Preservation And symmetRy breaKing for width-progressive LearnING，即：为宽度渐进式学习平衡信号保存与对称性破缺）。你可以将 SPARKLING 视为一位大师级建筑师的工具箱，用于在建设过程中安全地扩张图书馆。

以下是它的工作原理，使用简单的类比来解释：

两个大问题

当你试图在建设中途将图书馆规模扩大一倍时，会出现两个问题：

“音量冲击”（信号保存/Signal Preservation）：
假设这座图书馆有一条严格的规定：每个走廊的噪音水平必须完全一致。如果你突然增加许多新的、空置的房间，声学特性就会发生变化。数据（声音）在这些新区域会变得太小声或太大声，从而让图书管理员（模型的神经元）感到困惑。
- SPARKLING 的解决方法： 他们使用了一种称为 RMS 尺度一致性（RMS-scale consistency） 的技术。这就像是在每个新房间里安装了一个“音量旋钮”。在这些新房间投入使用之前，它们会被进行调校，使噪音水平与旧房间完美匹配。这确保了数据的流动平稳顺畅，不会对系统造成冲击。
“克隆陷阱”（对称性破缺/Symmetry Breaking）：
增加一个新房间最简单的方法就是完全复制现有房间的蓝图。但问题在于，如果你有两个完全相同的房间，拥有完全相同的家具和完全相同的图书管理员，那么它们会做完全相同的事情。它们会接收到完全相同的指令，并以完全相同的方式行动。它们变成了“克隆体”，无法学习任何新东西；它们只是在重复原房间的行为。图书馆变大了，但并没有变得更聪明。
- SPARKLING 的解决方法： 他们通过两个技巧打破了“克隆陷阱”：
  - “全新开始”（优化器状态重置/Optimizer State Reset）： 尽管新房间看起来和旧房间一样，但他们为新的图书管理员抹去了过去的痕迹。他们不给予新管理员旧有的记忆或习惯，从而迫使新的图书管理员去独立摸索规律。
  - “特别助力”（非对称学习率/Asymmetric Learning Rate）： 他们给新的图书管理员配备了一个临时的、声音稍大的扩音器（更高的学习率），在短时间内鼓励他们尝试新事物并进行探索，而旧的图书管理员则保持正常的节奏工作。这确保了新房间能够发展出独特的个性，而不是仅仅模仿旧房间。

研究结果

研究人员在两种类型的图书馆上测试了该方法：

稠密模型（Dense Models）： 标准图书馆，每本书都放在每一排书架上。
混合专家模型（MoE - Mixture-of-Experts）： 高科技图书馆，拥有专门的“专家”房间，仅在需要时才会开启。

他们发现 SPARKLING 表现得如同魔法一般：

它节省了成本： 通过在建设过程中进行扩张，与从头开始建造大型图书馆相比，他们节省了高达 35% 的总建设成本（计算能力）。
它效果更好： 尽管消耗的能量更少，但最终建成的图书馆实际上比那些采用传统、昂贵方式建造的图书馆更“聪明”，在各项测试中的表现也更好。

核心结论

SPARKLING 提供了一种构建 AI 模型的新方式，它告诉我们：“不要只是复制粘贴新部件；要调整它们以适应现有的声场，然后给它们一点动力去变得独特。”这使得我们能够比以往更快、更便宜地构建出大规模、强大的 AI 系统，而不会导致系统在扩张过程中崩溃。

技术摘要：SPARKLING

问题陈述

渐进式学习（Progressive Learning, PL）旨在通过在训练过程中逐渐扩大模型规模，而非从头开始训练全量规模的模型，来降低训练大语言模型（LLM）的计算开销。虽然现有的 PL 研究已广泛探索了深度扩展（如层堆叠），但宽度扩展的研究仍显著不足。先前的宽度扩展方法大多局限于训练早期阶段（例如 <10–30% 的 token），与从头开始训练目标宽度的模型相比，其带来的计算优势微乎其微。

在预训练的中期阶段进行宽度扩展对于最大化计算节省至关重要，但这带来了严峻的挑战。本文识别出导致该阶段训练不稳定和性能下降的两个核心问题：

信号保持失败（Signal Preservation Failure）： 在扩展点进行的朴素初始化破坏了中间激活值的统计分布（特别是均方根或 RMS 量级）。这种不匹配改变了层级的信号强度，即使即时损失（loss）没有激增，也会导致优化过程不稳定。
对称锁定（Symmetry Locking）： 基于复制的初始化虽然保持了前向函数，却诱发了反向对称性。重复的通道接收到相同的梯度，且如果优化器状态也是对称的，它们会演化得完全一致。这阻碍了新容量向不同特征的多样化演进，使得扩展后的参数在功能上变得冗余。这一问题存在于包括元素级优化器（AdamW）和频谱类优化器（Muon）在内的不同优化器家族中。

方法论：SPARKLING

作者提出了 SPARKLING（意为平衡信号保持与对称性维持的宽度渐进学习），这是一个旨在平衡宽度渐进学习过程中信号保持与对称性破缺的框架。该框架由四个具体的机制组成：

1. 通过 RMS 量级一致性实现信号保持

作者认为，真正的信号保持需要维持隐藏表示的统计分布，特别是 RMS 量级，而不仅仅是函数保持（损失连续性）。

机制： 他们推导了扩展期间权重的重缩放因子，以确保输出的 RMS 量级保持不变。
- Fan-out 扩展（输出维度扩展）： 新的输出通道通过从现有权重相同的分布中进行复制或随机采样来初始化。
- Fan-in 扩展（输入维度扩展）： 新的输入通道需要特定的权重重缩放。如果新坐标是随机的或单侧复制的，权重按 $\sqrt{d_{in}/d'_{in}}$ 进行缩放。如果两侧都进行复制（即重复现有维度），权重则按 $1/\sqrt{1+3c}$ 进行缩放（其中 $c$ 是复制比例），以补偿协方差的二次项贡献。
- RMSNorm 扩展： 新的 RMSNorm 参数通过复制或随机采样进行初始化，无需额外的重缩放，因为其参数量相对于线性层而言可以忽略不计。

2. 通过非对称干预实现对称性破缺

为了解决由于复制组件无法实现多样化而导致的“对称锁定”问题，SPARKLING 引入了仅作用于反向动力学、同时保持前向函数的针对性干预。

非对称优化器状态重置： 该框架并非复制或全局重置优化器状态（动量），而是保留原始参数（ $W$ ）的优化器状态，但将新引入参数（ $\tilde{W}$ ）的状态重置为零。这能立即打破梯度耦合，允许新参数产生分歧。
非对称学习率重热身（Re-warmup）： 在扩展点，原始参数继续遵循基准学习率调度。新参数则经历一个重热身过程，从当前学习率（ $\eta_e$ ）开始，在短窗口（ $\tau_w$ ）内上升至更高的峰值（ $\hat{\eta}_{max} = \rho \cdot \eta_e$ ），然后再衰减回共享的最小值。这注入了受控的优化非对称性，以刺激特征多样化，而不会全局扰动已充分训练的模型。

核心贡献

识别中期挑战： 本文确立了成功的中期宽度扩展取决于两个互补的原则：信号保持（通过 RMS 一致性稳定激活统计特性）和对称性破缺（解决基于复制初始化的梯度耦合问题）。
SPARKLING 框架： 一个结合了 RMS 保留缩放、基于复制的初始化、非对称优化器状态重置以及非对称学习率重热身的实用实现。
实证验证： 在密集模型和混合专家（MoE）架构、多种宽度轴（隐藏维度和 MoE 专家中间维度）以及优化器家族（AdamW 和 Muon）上进行了广泛的实验。

结果

性能： 在固定的 token 预算下，SPARKLING 在下游评估（如 ARC、MMLU、HellaSwag）中始终优于从头开始训练全量规模的模型，并达到或超过了朴素函数保持基准方法的性能。
效率： SPARKLING 显著降低了训练成本。在 2 倍宽度扩展的情况下，与从头开始训练扩展后的模型相比，它实现了高达 35% 的训练 FLOPs 减少以及高达 1.49 倍的实际运行时间加速。
收敛性： 与朴素的无缩放初始化相比，RMS 保留缩放提高了后期阶段的收敛性。非对称干预（状态重置和重热身）对于打破对称锁定至关重要，其中“复制-复制”初始化结合这些干预措施在所有变体中取得了最佳的最终损失。
泛化性： 该方法可推广至密集模型、不同的优化器（包括 Muon）以及迭代式多阶段扩展（例如 256→512→1024）。

重要性与主张

本文声称 SPARKLING 使中期宽度扩展在实践中变得可行，解决了渐进式学习的核心动机：在保持或超越目标宽度模型性能的同时，降低训练成本。

作者强调，他们的方法解决了前向连续性（保持预训练函数）与反向多样性（允许新参数学习不同特征）之间的张力。通过将这两个方面解耦——在保持信号统计特性的同时，打破优化动力学中的对称性——SPARKLING 实现了高效的 LLM 扩展。这项工作表明，该框架提供了更优的计算-损失缩放行为，在匹配的计算预算下，比从头开始训练实现了更低的损失。

论文最后指出，尽管研究结果令人鼓舞，但仍需进一步研究以建立宽度与深度同时扩展的统一原则，并调查 RMS 保留策略是否满足 $\mu$ P（极大更新参数化）的超参数可迁移性条件。