🔢 mathematics

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

本文引入了“优化器 - 模型一致性”的概念，证明在预训练和全量微调中使用相同的优化器相较于其他优化器或 LoRA 能够减少灾难性遗忘并改善学习与遗忘之间的权衡，同时也揭示了 Muon 等特定优化器因倾向于死记硬背而在推理任务中表现不佳。

原作者： Yuxing Liu, Jianyu Wang, Tong Zhang

发布于 2026-05-08

📖 1 分钟阅读🧠 深度阅读

原作者： Yuxing Liu, Jianyu Wang, Tong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢的学生，他花费数年时间阅读了一座巨大图书馆里的每一本书（这就是预训练）。他掌握了通用知识、语法以及思考世界的方式。现在，你想教他一项特定的新技能，比如解决数学问题或编写计算机代码（这就是监督微调或SFT）。

巨大的挑战在于：如何在不让他忘记在图书馆中学到的一切的情况下，教会他这项新技能？如果他对新数学过于专注，可能会开始忘记如何写一个简单的故事。这被称为**“学习 - 遗忘权衡”**。

这篇论文发现了一条关于如何最佳地教导这位学生的惊人规则，关键在于你如何教他们，而不仅仅是教他们什么。

主要发现：“同一位老师，同一种风格”

作者发现，教授新技能的最佳方式是使用与多年图书馆阅读期间完全相同的教学风格（优化器）。

类比：想象这位学生是通过一种特定方法学会阅读的，比如“方法 A"（例如一种特定的文本高亮和笔记方式）。如果你试图用“方法 B"（一种完全不同的文本高亮和笔记方式）教他数学，学生会感到困惑。他们可能会学会数学，但开始忘记阅读技能，因为新方法与他们经过多年练习而形成的思维模式相冲突。
发现：如果你在数学课上坚持使用“方法 A"，学生既能学会数学，又能保持阅读技能完好无损。论文将这种现象称为**“优化器 - 模型一致性”**。

为什么会发生这种情况？（“大脑形状”理论）

论文解释说，不同的教学方法实际上会以不同的方式塑造学生的大脑（模型的内部权重）。

不同的形状：某些教学方法（如最常见的AdamW）将大脑训练得“稀疏”或“高效”，就像一座图书馆，书籍排列整齐，彼此之间留有空白。其他方法（如较新且更复杂的Muon）则将大脑训练得“稠密”，就像一座书籍紧密堆叠的图书馆。
不匹配：如果你用“稀疏”方法训练大脑数年，然后突然切换到“稠密”教学方法来学习数学，大脑就必须 scramble（混乱地）重新调整其整体结构。这种混乱会导致它丢弃旧书（遗忘）。
匹配：如果你继续在数学课上使用“稀疏”方法，大脑只需在现有书架上添加新书。它无需重建图书馆，因此遗忘更少。

LoRA 的惊喜

有一个流行的捷径叫做LoRA（低秩自适应）。可以将 LoRA 想象成给学生一本单独的笔记本，让他们在上面写数学答案，而无需触碰他们主要的图书馆藏书。许多人认为这是避免遗忘的最佳方式。

论文的转折：作者发现，虽然 LoRA 很好，但使用与之前相同的教学方法进行完全重新训练（重写整个大脑）实际上效果更好。

类比：LoRA 就像携带一本单独的笔记本。它有效，但如果你用相同的教学风格重写你的主要大脑，你不仅能容纳新数学，还能比仅使用侧边笔记本更有效地保留旧阅读技能。

“死记硬背者”（Muon）的案例

论文还考察了一种特定的高级教学方法，称为Muon。

优点：Muon 在图书馆阶段（预训练）表现出色。它帮助学生极其出色地记忆事实。
缺点：当用极少量数据学习新推理技能（如数学）时，Muon 倾向于成为一个“死记硬背者”。它试图记忆它看到的特定数学问题，而不是学习底层模式。
结果：如果你在整个旅程（图书馆 + 数学）中都使用 Muon，学生可能在背诵事实方面表现出色，但在解决新的、未见过的数学问题时却会挣扎。他们记住了例子，但没有学会逻辑。

用通俗英语总结

一致性是关键：要学习新技能而不忘记旧技能，请继续使用最初训练模型时所使用的相同学习算法（优化器）。
不要中途换风格：中途更改学习算法会迫使模型重新组织其“大脑”，从而导致其丢失旧知识。
完全重新训练 > 捷径：有时，使用正确的算法进行完全重新训练比使用 LoRA 等捷径更好，因为它与模型大脑的原始构建方式更契合。
警惕过度记忆：某些高级算法（如 Muon）擅长记忆，但在数据稀缺时，学习新模式的能力可能较差。

论文得出结论，如果你想在学新事物和记旧事物之间取得最佳平衡，请坚持使用你最初的那位老师。

技术摘要：优化器 - 模型一致性

问题陈述

在大语言模型（LLM）的训练范式中，模型首先在大规模语料库上进行预训练，随后在较小的高质量数据集上进行监督微调（SFT），以习得特定技能。SFT 中的一个关键挑战是学习 - 遗忘权衡：模型必须在习得新的任务特定知识的同时，保留预训练期间获得的通用语言能力。

尽管采用了各种优化器（如 AdamW、Muon）和参数高效方法（如 LoRA），但何种组合能在习得新任务与最小化灾难性遗忘之间取得最佳平衡，目前尚不明确。现有文献提供了相互冲突的直觉；例如，有人提出 LoRA 因其低秩特性而固有地遗忘更少，而另一些人则强调优化器选择的重要性。本文研究了 SFT 中的优化器选择是否应与预训练期间使用的优化器解耦或保持一致。

方法论

作者结合实证实验与理论分析，研究了 SFT 期间优化器选择与模型性能之间的关系。

实证实验

模型与数据集：实验在GPT-2-small（从头预训练）和Llama-2-7B上进行。预训练使用了 OpenWebText 数据集。SFT 在三个不同的任务上执行：MetaMathQA（数学推理）、Alpaca（指令遵循）和Magicoder（代码生成）。
对比优化器：研究比较了AdamW、Muon（一种矩阵结构优化器）和SGD。同时评估了不同秩（ $r=4, 8, 32, 64, 128, 256$ ）的LoRA（低秩自适应）。
评估指标：作者定义了帕累托前沿以可视化学习 - 遗忘权衡。
- 遗忘：通过预训练数据集（OpenWebText）上的验证损失或通用能力基准的下降幅度来衡量。较低的损失表示遗忘较少。
- 学习：通过新 SFT 任务上的验证损失或任务特定准确率来衡量。较低的损失/较高的准确率表示学习更好。
- 协议：对于每种训练算法，执行学习率的网格搜索以识别帕累托前沿，从而确保公平比较算法的极限，而非单一超参数设置。
合成分析：为了理解为何某些优化器表现不同，作者使用被破坏的语言语料库进行了合成实验。他们打乱干净序列中的 token 顺序以破坏语言模式，迫使模型依赖死记硬背。这使他们能够区分优化器习得模式的能力与其记忆数据的倾向。

理论分析

本文提供了一个基于矩阵诱导范数的理论框架（遵循 Pethick 等人，2025）。

优化器作为正则化器：作者提出，优化器不仅仅是收敛到某个解，而是塑造模型的权重和激活。具体而言，源自范数 $\|\cdot\|_{\alpha, \beta}$ $∥ \cdot ∥_{α, β}$ 的优化器会通过 $\|\cdot\|_\alpha$ $∥ \cdot ∥_{α}$ 隐式正则化输入激活，并通过 $\|\cdot\|_\beta$ $∥ \cdot ∥_{β}$ 正则化输出激活。
- AdamW（源自 $A_{1,\infty}$ ）通过 $\|\cdot\|_1$ 正则化输入，导致稀疏激活。
- Muon（源自 $A_{2,2}$ ）通过 $\|\cdot\|_2$ 正则化输入，导致更稠密的激活。
遗忘近似：利用泰勒展开，SFT 后预训练损失（遗忘）的增加被近似为与施加在预训练输入上的权重更新的期望平方范数成正比（ $\mathbb{E}[\|\Delta W x\|_2^2]$ ）。
一致性假设：理论表明，为了最小化遗忘，SFT 更新（ $\Delta W$ ）应与预训练建立的损失景观曲率保持一致。当 SFT 优化器属于与预训练优化器相同的族（相同的 $\alpha, \beta$ ）时，即可实现这种一致性。

主要结果

1. 优化器 - 模型一致性

核心发现是优化器 - 模型一致性：使用与预训练相同优化器（或优化器族）进行全量微调，始终能实现最佳的学习 - 遗忘权衡。

AdamW 预训练：当使用 AdamW 进行预训练时，使用 AdamW 进行全量微调的表现优于使用 Muon 或 SGD 进行全量微调，并且在所有任务（数学、代码、指令）上也优于 LoRA。
Muon 预训练：同样，当使用 Muon 进行预训练时，使用 Muon 进行全量微调产生的权衡优于使用 AdamW 或 SGD 进行 SFT。
与 LoRA 的比较：与"LoRA 遗忘更少”的直觉相反，帕累托前沿分析表明，对于任何 LoRA 检查点，都存在一个全量微调检查点（使用相同优化器），能同时实现更好的学习（更低的任务损失）和更少的遗忘（更低的预训练损失）。在考虑适当的学习率扫描时，这一结论成立。

2. Muon 在推理任务上的表现

虽然 Muon 通常能产生更优越的预训练检查点（更低的预训练损失），但在推理任务（如 MetaMathQA）上进行微调时，其表现相对于 AdamW 会下降。

记忆与模式学习：合成实验揭示，Muon 倾向于比 AdamW 或 SGD 更快地记忆被破坏的（无模式的）数据。
启示：在数据稀缺的 SFT 中，Muon 优先死记硬背而非习得模式的倾向，可能会阻碍复杂推理技能的学习，导致在需要泛化的任务上最终表现较差，尽管其预训练指标很强。

3. 学习率的作用

本文强调，学习 - 遗忘权衡对学习率高度敏感。先前认为 LoRA 遗忘更少的研究通常将学习率固定为任务最优值。当进行学习率扫描时，全量微调仅通过降低学习率即可实现更优越的权衡，而 LoRA 在此特定情境下无法同样有效地复制这一策略。

意义与主张

本文主张确立优化器 - 模型一致性作为 LLM 训练的基本原则：

统一指标：整个预训练-SFT 流程中的学习 - 遗忘权衡是比单纯预训练性能更全面的评价优化器的指标。
实践指导：为了在最大化任务学习的同时最小化遗忘，从业者应在 SFT 中使用与预训练相同的优化器族。
Muon 的重新评估：虽然 Muon 是一个强大的预训练优化器，但其更新机制（全秩、 $L_2$ 正则化）可能使其在低数据 SFT 阶段（特别是推理任务）容易过度记忆。这表明，对于 Muon 预训练的模型，可能需要专门的、可能不同的微调策略以释放其全部潜力。
理论洞察：该工作 bridging 了优化器设计（范数）与模型行为（激活稀疏性）之间的差距，为优化器选择的一致性为何重要提供了理论解释。

作者承认了局限性，指出由于计算限制，实验主要在较小模型（GPT-2、Llama-2-7B）上进行，且理论证明依赖于简化假设（例如块对角 Hessian 矩阵）。他们建议未来的工作应将这些发现扩展到更大模型，并探索专门设计用于在 SFT 期间减轻矩阵结构优化器记忆倾向的优化器。