💬 NLP

Weight Decay Improves Language Model Plasticity

本文表明，在大型语言模型的预训练过程中增加权重衰减可以增强其下游的可塑性和微调性能，即使这会导致更高的预训练验证损失，因为它促进了线性可分的表示并正则化了注意力机制。

原作者： Tessa Han, Sebastian Bordt, Hanlin Zhang, Sham Kakade

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Tessa Han, Sebastian Bordt, Hanlin Zhang, Sham Kakade

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一名才华横溢的学生，旨在将他培养成一名世界级的专家。你有两个主要阶段：

预训练（Pretraining）： 学生阅读大量的书籍，以建立通用的知识基础。
微调（Fine-tuning）： 学生接受一项特定的工作，比如成为一名医生或律师，并学习该角色的特定规则。

多年来，研究人员一直认为，为第二阶段做最好准备的方法，是在第一阶段（阅读图书馆书籍）期间让学生在测试中获得最高分。其逻辑很简单：“如果他们是阅读能力最强的，那么他们就会成为最好的医生。”

这篇论文认为这种逻辑是有缺陷的。

作者发现，“最聪明的读者”（即预训练测试得分最低的那位）并不总是那个在学习新工作时表现最好的学生。事实上，有时那些在初始阅读测试中得分略低的同学，在开始新工作时反而最具适应性和最成功。

核心要素：“权重衰减”（Weight Decay）

论文关注于训练过程中一个特定的调节旋钮，叫做**“权重衰减”**。你可以把这个旋钮想象成一个“遗忘机制”或“思维灵活性调节器”。

低权重衰减（僵化的学生）： 如果你把这个旋钮调低（使用 0.1 的标准设置），学生会完美地记住图书馆里的书。他们在阅读测试中会获得高分。然而，他们会变得非常僵化且固执己见，以至于当你试图教他们一项新工作时，他们很难改变自己的思维方式。他们对“图书馆”产生了“过拟合”（overfit）。
高权重衰减（灵活的学生）： 如果你把这个旋钮调高（调至 0.5、1.0 或更高值），学生并不会完美地记住图书馆里的书。他们的阅读测试得分可能会略有下降。但是，这会迫使他们的脑力以一种更灵活、更有结构化的方式来组织信息。他们不仅仅是死记硬背事实，而是学会了“如何思考”。

重大发现

研究人员在不同的 AI 模型（如 Llama-2 和 OLMo-2）以及不同的规模和训练长度上进行了测试。他们发现了以下结果：

反直觉的权衡： 使用更高权重衰减训练的模型，其初始预训练测试得分通常会稍低。然而，当这些模型随后针对特定任务（如数学推理、医学问题或安全性）进行微调时，它们的表现优于那些初始得分最高的模型。
黄金平衡点： 初始训练的“最佳”设置并不是标准的 0.1。它通常要高得多（约为 0.5 到 1.0）。这种较高的设置创造了一个更具“可塑性”（plastic）的模型——这意味着它可以更容易地弯曲和重塑自身，以学习新任务。

为什么会这样？（底层机制）

论文深入探讨了底层原理，以解释调高“遗忘”旋钮为何会有所帮助。他们发现了三个主要原因：

整洁的文件柜（线性可分性/Linear Separability）： 高权重衰减迫使 AI 将其知识组织成整洁、清晰的类别。想象一下，一个杂乱无章、物品堆叠在一起的房间（低权重衰减）对比一个每个物品都有特定标签箱子的房间（高权重衰减）。当 AI 需要学习一项新任务时，如果信息已经整齐有序，找到并使用正确的“盒子”就会容易得多。
更简单的思维模式（低秩注意力/Low-Rank Attention）： AI 使用“注意力机制”来决定句子中哪些词是重要的。高权重衰减迫使 AI 使用更简单、更高效的模式来分配注意力。它不再试图去死记硬背每一个微小的、带有噪声的细节，而是专注于宏大的、重要的模式。这使得它更容易将这些模式应用于新情境。
放下过去（减少过拟合/Reduced Overfitting）： 高权重衰减使 AI 在某种程度上“忘记”了训练数据中特定的、琐碎的细节。这实际上是一件好事！它防止了 AI 被困在过去。通过不紧紧抓着预训练期间看到的特定例子不放，它能够对学习新的、不同的例子保持开放态度。

总结

论文得出结论，我们一直在错误的方向上优化 AI 训练。我们一直痴迷于在“预训练考试”中获得完美分数。

相反，我们应该优化的是**“可塑性”**——即模型稍后进行适应和学习的能力。有时，为了获得最终的最佳结果，你必须接受初始测试成绩略微下降的事实。这就像一名体操运动员在练习时脚踝上绑着稍重的负重；他们在练习时可能跑得慢一些，但当脱掉负重参加正式比赛时，他们会更加敏捷，表现得更好。

简而言之： 不要仅仅训练你的 AI 去成为它已知领域的佼佼者。要训练它具备学习任何新事物的灵活性。而要做到这一点，你可能需要将“权重衰减”旋钮调得比以往认为的安全值更高。

技术摘要：权重衰减提升语言模型的塑性

问题陈述
当前训练大语言模型（LLMs）的实践通常将预训练与后训练（微调、对齐）解耦。预训练期间的超参数优化和缩放法则（scaling laws）主要基于基座模型的验证损失（交叉熵）进行评估，其假设前提是较低的预训练损失与更强大的下游模型能力相关。然而，这种方法忽视了模型塑性（model plasticity）——即经过训练的模型在无需重新初始化的情况下，在后续训练中成功适应新数据和新任务的能力。本文研究了仅针对预训练性能进行优化是否会无意中损害模型在后续微调期间的适应能力，并重点探讨了**权重衰减（weight decay）**这一标准的正则化超参数，以确定其在最小化预训练损失时的最优值是否与最大化下游适应能力时的最优值不同。

研究方法
作者在两个模型家族（Llama-2 和 OLMo-2）以及多种模型规模（最高达 4B 参数）上进行了系统的实证研究。实验设计通过改变预训练期间的权重衰减超参数 ( $\lambda$ )，同时控制其他因素。

训练方案： 模型在两种不同的方案下进行训练：
- 计算最优（Compute-optimal）： 20 个 token-per-parameter (TPP)。
- 过度训练（Overtrained）： 140 TPP。
微调评估： 预训练模型在多样化的下游任务集上进行微调，包括：
- 六个思维链（CoT）推理数据集（例如 MetaMathQA, MMLUProCoT）。
- 五个语言理解和常识推理基准测试（例如 HellaSwag, WinoGrande）。
- 一个安全对齐任务。
指标： 下游性能使用多种指标进行评估，包括 Greedy (Pass@1), Pass@16, Majority Vote (Maj@16), Reward Model scoring (RM@16) 以及 Correct Ratio。
机制分析： 为了理解权重衰减如何影响塑性，作者分析了：
- 线性探测（Linear Probing）： 测量内部表示的线性可分性（情感和主题分类）。
- 注意力秩（Attention Rank）： 分析查询-键（ $W_{QK}$ ）和值投影（ $W_{VP}$ ）矩阵的伪秩（pseudo-rank）。
- 过拟合（Overfitting）： 计算训练损失与验证损失之间的差距（Train-Val Gap）。

核心贡献

权重衰减作为塑性的驱动力： 本文证明了权重衰减是塑造模型塑性的关键因素。与标准默认值相反，预训练期间较大的权重衰减值一致会导致在微调后获得更好的下游性能。
目标解耦： 研究提供了证据，表明使预训练验证损失最小化的超参数值，并不一定是使下游性能最大化的那个值。在几种方案中，具有较高预训练损失（由于较大的权重衰减）的模型在微调后的表现优于损失较低的模型。
机制见解： 作者确定了权重衰减增强塑性的三个具体机制：
- 它促进了线性可分的表示，使内部特征对于下游任务更加易于获取。
- 它正则化了注意力矩阵，特别是降低了查询-键乘积（ $W_{QK}$ ）的秩，从而产生更压缩且鲁棒的结构。
- 它减少了对预训练数据的过拟合，有效地“遗忘”了特定的训练噪声，并保留了模型学习新信息的能力。

主要结果

最优权重衰减偏移： 对于计算最优（20 TPP）训练，下游性能的最优权重衰减显著大于 0.1 的标准默认值。例如，在这一方案下，Llama-2 和 OLMo-2 模型的最佳值被发现为 0.5–1.0。在过度训练（140 TPP）方案中，下游性能的最优值（0.3）仍然高于最小化预训练损失的值（0.1）。
反直觉的权衡： 本文强调了一种权衡，即“较差”的基座模型（较高的预训练损失）在微调后可以变成“更好”的最终模型。例如，一个使用 $\lambda=0.3$ 或 $1.0$ 进行预训练的 OLMo-2-1B-140x 模型，其预训练损失高于 $\lambda=0.1$ 的基准模型，但在下游准确率方面表现明显更好。
鲁棒性： 这些发现跨越了不同的模型家族、规模，并且在预训练和微调期间改变其他超参数（学习率、批大小）时依然成立。
机制相关性：
- 较高的权重衰减与较高的线性探测准确率相关，表明表示结构更加有序。
- 较高的权重衰减与注意力矩阵中较低的伪秩相关（特别是 $W_{QK}$ ），这表明模型向低秩、鲁棒的假设转变。
- 较高的权重衰减与较小的 Train-Val Gap 相关，表明过拟合程度降低。

意义与主张
本文认为，业界必须重新审视仅依赖预训练验证损失作为唯一超参数优化指标的做法。作者声称，模型塑性是一个独特且至关重要的属性，而当纯粹为了优化预训练损失时，这一属性往往会被牺牲。

这项工作的意义在于：

重新评估默认值： 它表明标准的超参数选择（如 $\lambda=0.1$ ）对于 LLM 开发的全生命周期而言可能是次优的，特别是当下游适应性是最终目标时。
交叉熵的局限性： 它强调了交叉熵损失是下游能力的并不完美的代理指标，因为具有相似损失的模型可能表现出截然不同的塑性。
超参数的多维作用： 它强调了像权重衰减这样的单一超参数扮演着复杂且多维的角色，不仅影响泛化能力，还影响有助于未来学习的结构特性（线性度、秩）。

作者保持了谦逊的态度，指出虽然他们的结果在测试的规模范围内是鲁棒的，但在超出目前实验范围的极大规模或高度过度训练的场景下，具体的最佳值可能会发生偏移。他们呼吁未来的工作进一步研究稳定性-塑性权衡（stability-plasticity trade-off）以及这些发现对其他基础模型模态的适用性。

核心要素：“权重衰减”（Weight Decay）

重大发现

为什么会这样？（底层机制）

总结

技术摘要：权重衰减提升语言模型的塑性

类似论文