🤖 machine learning

The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training

本文将奇异分布稳定性（SoSD）识别为语言模型预训练中的基本谱现象，证明归一化奇异值谱的早期稳定化主导了向慢损失下降阶段的过渡，并为理解和优化跨多种架构与策略的训练动态提供了理论框架。

原作者： Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个巨大的数字大脑（大型语言模型），让它学会人类语言。你可能会预期这个大脑会以稳定、可预测的速度学习。然而，研究人员发现了一种奇怪的模式：这个大脑在最初阶段学习速度快得惊人，但随后很长一段时间内，它似乎只能缓慢爬行，仅取得微小的进步。

这篇论文《奇异分布的稳定性》（"The Stability of Singular Distribution"）试图探究为什么会发生这种情况。作者提出了一种观察大脑内部机制的新视角，他们称之为SoSD（奇异分布的稳定性）。

以下是使用简单类比进行的分解说明：

1. 两阶段旅程：冲刺与爬行

将训练语言模型想象成跑马拉松。

第一阶段（冲刺）： 在开始时，模型会非常迅速地学习到巨大且显而易见的内容。“损失”（衡量模型错误程度的指标）会像石头一样急剧下降。
第二阶段（爬行）： 过了一段时间后，模型撞上了一堵墙。它仍在继续运行，但只能寸步前行。损失下降得非常缓慢。

这篇论文提出的核心问题是：是什么导致了从“冲刺”到“爬行”的转变？

2. 秘密配方：大脑的“形状”

在模型内部，存在着巨大的数字网格，称为权重矩阵。这些是决定模型如何思考的“权重”。

通常，我们认为模型之所以能学习，是因为这些数字在不断变化。
作者发现了一个令人惊讶的事实：这些数字的整体形状（具体而言，是它们的“奇异值分布”）在很早的阶段就停止变化了。

类比： 想象一座正在被塑形的黏土雕塑。

权重： 这些是构成雕塑的单个黏土颗粒。它们在很长一段时间内仍在不断移动和重新排列。
奇异分布： 这是雕像的整体轮廓或大致形状。
发现： 作者发现，轮廓会迅速稳定下来（停止改变形状），即使内部的单个黏土颗粒仍在不断移动。

他们将这种现象称为SoSD（奇异分布的稳定性）。

3. 同步：当形状停止变化时，速度也随之停止

最重要的发现是，当“轮廓”停止变化（即达到 SoSD）的那一刻，模型的学习速度立即从“冲刺”切换到“爬行”。

SoSD 之前： 形状仍在重组中。这使得模型能够进行巨大而快速的改进。
SoSD 之后： 形状已稳定为一种固定模式。即使模型继续训练，它也无法再进行大的结构性改变。它现在只是在固定形状内微调细节。这就是进步大幅放缓的原因。

4. 为什么会发生这种情况？（学习的物理学）

这篇论文利用数学证明了这是不可避免的。

随着模型训练，其内部数字的“大小”（或范数）会自然增长变大。
这就像是一个变速箱。当齿轮很小（训练早期）时，一个微小的推力（学习步长）就能让车移动很长一段距离。
随着齿轮变得巨大（训练后期），同样的微小推力几乎无法让车移动分毫。
由于“齿轮”（权重范数）持续增长，模型改变其“形状”（奇异分布）的能力在数学上受到了限制。一旦达到一定规模，形状就会被锁定，快速学习随之结束。

5. 如何破解系统（学习策略）

作者解释说，常见的训练技巧实际上是通过操纵这个“变速箱”或“形状稳定性”来发挥作用的。

学习率调度（减速）：
- 是什么： 在训练过程中逐渐减小“推力”的大小。
- 论文观点： 通过减小推力，你迫使“形状”改变得更慢。这防止模型过早锁定在一个糟糕的形状中，使其能够更长时间地保持有效学习。这就像为了继续爬坡而换到低档位。
权重衰减（保持精简）：
- 是什么： 一种惩罚机制，防止内部数字变得过大。
- 论文观点： 如果数字不会变得太大，“齿轮”就不会变得太重。这能让模型改变形状的能力在更长时间内保持活跃，使其即使在缓慢阶段也能继续改进。
不同的优化器（Muon 与 Adam）：
- 论文测试了一种名为Muon的新优化器。研究发现，Muon 比标准的 Adam 优化器能更有效地保持“形状”的变化，从而使模型学习速度更快，达到更低的误差率，尽管“形状稳定性”现象依然会发生。

总结

这篇论文认为，人工智能训练中“先快后慢”的模式并非缺陷，而是这些模型演化过程中的基本特征。

快速阶段： 模型正在积极重塑其内部结构。
缓慢阶段： 内部结构已稳定（SoSD），模型现在只是在打磨细节。

理解这种“奇异分布的稳定性”，为科学家提供了一个新的视角，去洞察为什么训练会放缓，以及如何调整设置（如学习率），使模型能够更长时间地保持高效学习。

技术摘要：奇异分布的稳定性（SoSD）

问题陈述

大型语言模型（LLM）的预训练始终表现出一种典型的“先快后慢”两阶段轨迹：初始阶段损失急剧下降，随后进入一个长期的、渐近的重尾改进期。尽管这一经验模式在各大技术报告中已有充分记录，但支配从快速学习阶段向慢速饱和阶段过渡的潜在理论机制，在根本上仍未得到充分探索。现有分析往往依赖于受限的任务形式（例如上下文学习或线性回归），或专注于特定的结构现象（如秩崩溃），未能从统一的光谱视角出发，阐明一般预训练场景中损失景观的宏观时间演化。

方法论

作者通过将分析视角从参数矩阵的收敛性转移到其光谱属性的时间演化，来研究 LLM 的优化动力学。

实证方法

该研究在两个仅解码器（decoder-only）模型族上进行了预训练实验：

GPT-2（小型和中型）在 FineWeb 数据集上训练。
LLaMA（0.5B 和 2B）在 C4 数据集上训练。

作者监测了参数矩阵（ $W$ ）及其奇异值矩阵（ $\Sigma$ ）的当前状态与最终训练状态之间的余弦相似度。他们将**奇异分布（SD）定义为迹归一化的谱（ $\hat{\Sigma}_t = \Sigma_t / \text{tr}(\Sigma_t)$ ），并将奇异分布变化（SD Variation）**定义为对该归一化谱更新的 Frobenius 范数（ $\Delta \Sigma_t = \|\hat{\Sigma}_{t+1} - \hat{\Sigma}_t\|_F$ ）。

理论框架

为了解释观察到的现象，作者在全批量梯度下降和小初始化的条件下，分析了一个简化的单层单头 Transformer。他们建立了一个基于以下假设的理论框架：

严格递增的范数：在不存在权重衰减的情况下，权重范数在训练过程中单调增长。
非退化性与梯度有界性：参数保持满秩且条件数有界，梯度非消失但有界。
平滑性与间隔条件：关于损失景观局部平滑性的假设，以及在训练后期注意力分布和 Logit 分布中存在正间隔的假设。

主要贡献

1. 奇异分布稳定性（SoSD）的识别

本文识别出一种被称为**奇异分布稳定性（SoSD）**的现象。实证结果表明，迹归一化的奇异值谱（ $\hat{\Sigma}$ ）比参数矩阵（ $W$ ）本身更早地趋于稳定。

谱解耦：尽管权重条目仍远离其最终配置，但奇异值谱的相对形状已接近饱和至 1。
同步性：SoSD 的 onset（即 SD 变化降至亚稳态底限时）与验证损失从快速下降阶段向慢速下降（渐近）阶段的过渡精确对齐。这种同步性在不同的架构（GPT-2、LLaMA）、模块（Attention、MLP）和优化设置中均被观察到。

2. SoSD 与两阶段动力学的理论分析

作者证明，在标准训练条件下，SoSD 的出现是不可避免的，并且它在机制上限制了损失减少的速率。

定理 4.5（SoSD 的出现）：在权重范数单调递增的假设下，奇异分布的稳定性界限缩放为 $\varepsilon \propto \eta / \|W\|$ 。随着训练进行且 $\|W\|$ 增长，奇异分布的允许变化范围缩小，迫使系统进入稳定状态。
定理 4.9（两阶段动力学）：
- 第一阶段（快速下降）：在 SoSD 阈值之前（ $t < T^*$ ），适中的参数范数允许显著的谱移动，从而实现常数阶的损失减少（ $\Delta L(t) = O(1)$ ）。
- 第二阶段（慢速下降）：在 SoSD 阈值之后（ $t > T^*$ ），奇异分布趋于稳定。损失减少变得受到动力学约束，理论上受 SD 变化幅度的限制（ $\Delta L(t) \le O(\varepsilon^p)$ ）。 $\hat{\Sigma}$ 的稳定化充当了一个瓶颈，迫使损失进入渐近平台期。

3. 预训练策略的解读

本文通过调节 SoSD 稳定性界限（ $\varepsilon \propto \eta / \|W\|$ ）的视角来解读标准优化策略：

学习率调度：如步长衰减（Step-wise Decay）、预热 - 稳定 - 衰减（WSD）和余弦衰减等策略，通过降低学习率 $\eta$ 发挥作用。这收紧了稳定性界限，迫使系统脱离当前的准平衡态，并通过解析更细粒度的特征来实现进一步的损失最小化。
权重衰减：通过抑制权重范数 $\|W\|$ 的增长，权重衰减放宽了稳定性约束（增大 $\varepsilon$ ）。这允许奇异分布进行更大的更新，有效地提高了损失减少的理论上限，并防止过早饱和。
优化器（Muon 与 Adam）：即使使用 Muon 优化器，SoSD 现象依然存在，证实了它是 Transformer 预训练的基本特征。然而，与 Adam 相比，Muon 保持了显著更低的 SD 变化幅度，表明其在光谱景观中的导航效率更高。

结果

实证验证：在 GPT-2 和 LLaMA 模型上的实验证实，奇异分布很早就趋于稳定（通常在训练步数的前 10-20% 内），而参数仍在演化。这种稳定化与验证损失进入重尾慢速下降阶段相吻合。
相关性：观察到 SD 变化的衰减与损失曲线进入慢速下降阶段之间存在紧密的同步性。
策略有效性：
- 降低学习率会导致 SD 变化急剧下降，并与损失的 renewed 下降同步。
- 权重衰减模型比非正则化基线实现了更低的最终损失，这与更高的持续 SD 变化（由于对 $\|W\|$ 的约束放宽）相关。
- Muon 优化器在保持比 Adam 更低的 SD 变化幅度的同时，实现了更低的损失和更快的收敛。

意义与主张

本文声称通过将微观光谱行为与宏观训练动力学联系起来，提供了 Transformer 优化轨迹的新颖机制性理解。

统一视角：它提供了一个光谱视角来解释普遍存在的“先快后慢”收敛模式，提出这种过渡不仅仅是特定层的产物，而是由奇异分布饱和所表征的全局动力学约束。
理论根基：该工作建立了一个理论框架，证明权重范数的增长不可避免地导致早期的 SoSD 阈值，在此之后，损失减少的速率严格受奇异分布变化的限制。
实践洞察：通过将学习率调度和权重衰减框架化为调节 SoSD 尺度的机制，本文为这些策略为何能促进高效预训练提供了理由，表明克服光谱障碍是实现更低训练损失的关键。

作者保持了谦逊的立场，指出虽然 SoSD 作为奇异值动力学的表征和慢速下降阶段的指标，但较低的 SoSD 值本身并不必然意味着更好的性能（正如权重衰减实验所示，较高的 SoSD 与较低损失共存）。主要贡献在于识别了光谱稳定性与优化饱和之间的同步性。