💬 NLP

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

该论文通过实验与损失景观分析表明，在大语言模型预训练阶段采用无学习率衰减的“预热 - 稳定”（WSO）策略，虽可能牺牲预训练损失指标，却能引导模型收敛至更平坦的极小值，从而显著提升其在监督微调后的下游任务表现与适应性。

原作者： Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个在大语言模型（LLM）训练中非常有趣且反直觉的发现：在预训练阶段，不要“减速”（即不要降低学习率），反而能让模型在后续的任务中表现得更好。

为了让你轻松理解，我们可以把训练一个大语言模型想象成培养一个天才学生。

1. 背景：传统的“减速”教学法

过去，大家认为训练模型就像教学生读书。

预训练（Pre-training）：相当于让学生读遍全世界的书（海量数据），建立通用的知识基础。
微调（SFT）：相当于让学生毕业后去实习，学习具体的工作技能（比如写代码、写公文）。

在传统的“教学法”（学习率调度）中，老师们习惯用一种叫**“余弦衰减”或“线性衰减”**的策略。

比喻：想象学生刚开始读书时，像一辆在高速公路上飞驰的赛车（学习率高），为了快速吸收大量信息。但随着读书读得越来越多，老师会担心学生“太兴奋”或“走火入魔”，于是慢慢踩刹车，让车速越来越慢，最后几乎停下来（学习率降得很低）。
目的：老师觉得，这样能让模型在“读书阶段”（预训练）的考试成绩（Loss 值）达到完美，把书读得最透。

2. 新发现：一直“匀速”跑的学生更灵活

这篇论文的作者（来自东北大学等机构）提出了一种新的教学法，叫 WSO (Warmup-Stable-Only)。

比喻：在这个方法里，学生读完热身（Warmup）后，全程保持匀速，不管读了多少书，都不踩刹车，一直维持高速状态直到读完。
反直觉的结果：
- 在“读书阶段”（预训练结束时），那些踩了刹车（传统衰减法）的学生，考试成绩确实更好，书读得更“深”。
- 但是，当这些学生进入“实习阶段”（微调/SFT）时，那些一直匀速跑、没踩刹车的学生（WSO），反而表现得更好！ 他们学新技能更快，适应新工作更灵活。

3. 为什么会这样？（核心原理：地形学）

论文通过数学分析（损失景观分析）揭示了原因，我们可以用**“地形”**来比喻：

踩刹车的学生（传统衰减法）：
- 当他们慢慢减速时，就像在走一条狭窄、陡峭的山谷。他们很容易掉进一个很深的坑里（局部最优解）。
- 后果：这个坑太深、太窄了。一旦要让他们去学新东西（微调），就像要把他们从深坑里拉出来，非常困难，稍微动一下就会摔得很惨。他们的思维变得“僵化”了。
匀速跑的学生（WSO 方法）：
- 因为他们没有减速，他们停留在宽阔、平坦的高原上。
- 后果：这里的地势平坦，没有深坑。当需要学习新技能（微调）时，他们可以轻松地在高原上移动，灵活地适应各种新任务，不会受到阻碍。

简单总结：传统的“减速”策略虽然让模型在预训练时看起来更“完美”（陷得更深），但也让它变得“死板”，难以适应新任务。而“不减速”的策略虽然预训练分数稍低，但保留了模型的灵活性（Adaptability），让它更容易被“调教”成各种专家。

4. 实验验证：不管怎么练，结果都一样

作者做了很多实验，包括：

不同大小的模型（10 亿参数和 80 亿参数）。
不同的训练阶段（包括中间加了一个“进阶训练”阶段，以及“过度训练”阶段，即读了远超常规数量的书）。

结论：无论模型大小，无论读了多少书，只要最后阶段不踩刹车（WSO），模型在最终任务（微调）中的表现总是最好的。

5. 这对我们意味着什么？

这篇论文给 AI 开发者提出了一个重要的建议：

不要只盯着预训练的分数看：以前大家觉得预训练 Loss 越低越好，但这篇论文告诉我们，那可能是一种“虚假的繁荣”。
为了未来的灵活性：如果你希望你的模型在发布后，能更容易地被微调成写代码的助手、写故事的作家或医疗顾问，那么在预训练时，请保持学习率稳定，不要过早减速。

一句话总结：
别为了把书读得“太透”而把学生教“死”了。保持一点“冲劲”和“灵活性”，反而能让他们在未来的工作中干得更好。

这是一篇发表于 ICLR 2026 的会议论文，题为《Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning》（在不使用学习率衰减的情况下预训练大语言模型可增强监督微调效果）。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

在大语言模型（LLM）的预训练中，学习率（LR）调度策略至关重要。目前业界普遍采用基于衰减的调度器（如 Cosine Decay、Linear Decay 或 Warmup-Stable-Decay, WSD），旨在最小化预训练阶段的损失函数（Loss）。
然而，论文指出了一个关键矛盾：

预训练目标与下游目标的错位：现有的调度策略主要优化预训练指标（如验证集 Loss），但实际应用中，模型最终需要经过**监督微调（SFT）**才能适应下游任务。
现有发现：研究表明，预训练表现强的模型并不一定在 SFT 后表现更好。过度优化的预训练损失可能导致模型陷入“尖锐”的极小值，从而降低了模型在微调阶段的适应性（Adaptability）。
核心问题：为了优化预训练指标而引入的学习率衰减，是否会损害模型在后续 SFT 阶段的性能？

2. 方法论 (Methodology)

作者提出并验证了一种名为 Warmup-Stable-Only (WSO) 的调度策略，即移除衰减阶段，在预热（Warmup）后保持学习率恒定直至训练结束。

对比策略：
- WSO：预热后学习率恒定（ $\alpha_{pre} = 1.0$ ）。
- WSD (Warmup-Stable-Decay)：预热后恒定，最后阶段线性衰减（ $\alpha_{pre} < 1.0$ ）。
- Cosine / Linear：标准的余弦或线性衰减策略。
实验设置：
- 模型规模：基于 Llama 3 架构的 1B 和 8B 参数模型。
- 训练阶段：
  1. 两阶段设置：预训练 -> SFT。
  2. 三阶段设置：预训练 -> 中期训练 (Mid-training) -> SFT。
  3. 过训练设置 (Over-training)：在远超 Chinchilla 最优计算量的数据量（2T tokens）上进行训练，验证结论的泛化性。
- 数据集：FineWeb-Edu, OLMo mix, Dolmino mix 等公开数据集。
- 评估指标：
  - 预训练/中期训练：验证集 Loss、零样本（Zero-shot）基准测试。
  - SFT 后：指令遵循能力 (AlpacaEval)、多任务理解 (MMLU)、真实性 (TruthfulQA) 等。
理论分析：
- 通过损失景观（Loss Landscape）几何分析，计算锐度（Sharpness）（使用 Hessian 矩阵的迹作为度量），探究不同调度策略下模型收敛区域的几何特性。

3. 关键贡献 (Key Contributions)

系统性实证：首次系统性地证明了 WSO 策略在 SFT 后的下游任务性能上，一致优于各种基于衰减的调度器（WSD, Cosine, Linear），尽管 WSO 在预训练阶段的 Loss 指标上可能略逊一筹。
多场景验证：结论在标准预训练、包含中期训练（Mid-training）的复杂流程、以及过训练（Over-training）的大规模数据场景下均成立。
理论解释：通过损失景观分析揭示了 WSO 的优势机制——WSO 使模型收敛到更平坦的极小值（Flatter Minima），而衰减策略导致模型陷入更尖锐的极小值（Sharper Minima）。平坦的极小值赋予了模型更强的参数适应性和微调能力。

4. 主要结果 (Key Results)

4.1 性能反转现象 (Performance Inversion)

预训练阶段：基于衰减的调度器（特别是 $\alpha_{pre}=0.0$ 衰减至 0）通常能获得更低的验证集 Loss 和更好的零样本基准分数。
SFT 阶段：情况发生反转。WSO ( $\alpha_{pre}=1.0$ ) 训练的模型在经过 SFT 后，在 AlpacaEval、MMLU 和 TruthfulQA 等综合指标上显著优于衰减策略训练的模型。
- 示例：在 8B 模型上，WSO 的 SFT 任务平均得分比最佳衰减策略高出约 1.1%。

4.2 多阶段训练效果

在引入**中期训练（Mid-training）**后，如果在任何阶段（预训练或中期训练）引入学习率衰减，都会降低最终的 SFT 性能。
全程使用 WSO（预训练 + 中期训练均不衰减）能取得最佳的下游性能。

4.3 过训练场景

即使在 2T tokens 的过训练设置下，WSO 依然保持了相对于衰减策略的 SFT 性能优势，证明了该发现对大规模训练的鲁棒性。

4.4 损失景观分析

锐度对比：衰减策略（Cosine, Linear, WSD）在训练后期导致锐度（Sharpness）显著上升，模型收敛到尖锐区域。WSO 则保持了较低的锐度，收敛到平坦区域。
相关性：预训练结束时的锐度与 SFT 性能呈负相关（Pearson $r = -0.709$ ）。锐度越低（越平坦），SFT 后的性能越好。

5. 意义与启示 (Significance)

重新审视预训练目标：论文挑战了“最小化预训练 Loss 即最优”的传统观念。为了获得更好的下游微调能力，预训练策略不应仅关注预训练指标，而应关注模型的可适应性（Adaptability）。
简化训练流程：WSO 策略简单（无需复杂的衰减曲线设计），且无需在预训练结束时调整学习率，降低了超参数调优的复杂性。
模型发布策略：建议模型开发者在发布基础模型（Base Model）时，优先采用 WSO 策略训练的权重。这类模型虽然预训练 Loss 可能稍高，但在后续的微调（SFT, RLHF）中具有更高的潜力和更好的最终表现。
理论指导：将损失景观的几何特性（平坦度）与大语言模型的微调能力直接联系起来，为理解 LLM 的迁移学习提供了新的视角。

总结：该论文通过大量实验和理论分析证明，放弃预训练阶段的学习率衰减（采用 WSO 策略），虽然可能牺牲部分预训练指标，但能显著提升模型在监督微调后的下游任务表现。这是因为 WSO 保留了更平坦的损失景观，增强了模型对下游任务的适应能力。