🤖 machine learning

Muon-OGD: Muon-based Spectral Orthogonal Gradient Projection for LLM Continual Learning

该论文提出了Muon-OGD，这是一种针对大型语言模型的持续学习框架，它通过将Muon风格的谱范数几何与正交梯度投影相结合来缓解灾难性遗忘，从而改善了稳定性与可塑性之间的权衡，并在多种基准测试中超越了现有的基于欧几里得范数的方法。

原作者： Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Binghang Lu, Zheyuan Deng, Runyu Zhang, Bing Hu, Yunhan Zhao, Yuan Tian, Changhong Mou, Guang Lin, Xiaomin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文"M uon-OGD"的解释。

核心问题：“海绵”效应

想象一位学生（大型语言模型，或 LLM）极其聪明。他学会了法语，接着又学习西班牙语。但问题在于：一旦开始学习西班牙语，他就开始忘记法语。这被称为灾难性遗忘。

在人工智能领域，当模型学习新任务时，往往会覆盖掉用于旧任务的“神经通路”。模型就像一块海绵，吸入了新信息，却挤出了旧内容。

旧方案：“交通警察”

科学家们曾尝试使用一种名为**正交梯度下降（OGD）**的方法来解决这个问题。

将模型的知识想象成一张巨大的多维地图。

旧任务：“法语”知识占据地图上的特定车道。
新任务：“西班牙语”学习想要驾驶一辆车（即更新）驶上地图。

旧方法就像一位交通警察。它说：“你可以为了学习西班牙语在任何地方行驶，但严禁驶入‘法语’车道。”它通过将新学习路径投影，使其与旧路径保持完美垂直（90 度角）来实现这一点。

缺陷：这位“交通警察”假设地图是平坦且均匀的，就像标准网格（欧几里得几何）。它使用“弗罗贝尼乌斯范数”来测量距离，这就像用标准尺子测量距离。然而，论文指出，这些 AI 模型的内部结构并非平坦网格；它更像是一个复杂、弯曲的地形，其中某些方向比其他方向更“重”或更重要。

新想法：“登山向导”（Muon-OGD）

作者发现了一种名为Muon的新优化器，其工作方式不同。Muon 不使用标准尺子，而是使用谱范数。

类比：
想象你正在攀登一座高山。

旧方法（弗罗贝尼乌斯）：你用平放在地面的卷尺测量步幅。你以为自己移动得很高效，但可能正走在陡峭的悬崖面上，因为你没有考虑到地形的形状。
Muon 方法（谱范数）：你有一位登山向导，他理解地形的三维形状。向导知道某些路径是“陡峭”的（高影响），而某些是“平缓”的（低影响）。向导告诉你，要采取尊重山脉形状的步幅，而不仅仅是平坦距离。这能保持你的稳定，防止你滑向错误的一侧。

Muon-OGD结合了这两个想法：

它保留了交通警察（以保护旧的法语知识）。
但它聘请了登山向导（Muon）来决定如何迈出步伐。

新方法不再仅仅说“不要进入法语车道”，而是说：“不要进入法语车道，并且，要采取尊重山脉三维形状的步幅，以免滑倒。”

工作原理（“对偶”之舞）

论文描述了一个数学过程，以高效地实现这一目标：

设置：模型识别出必须不被触碰的“受保护车道”（即法语知识）。
修正：在迈出一步之前，模型计算一条“修正路径”。它问道：“如果我迈出这一步，是否会意外撞到法语车道？”
迭代：它不只猜测一次。它运行一个快速的内部循环（称为对偶迭代）来微调这一步。这就像舞者在瞬间反复调整脚位，以确保在沿最高效方向移动时不会踩到舞伴的脚趾。
定型：最后，它使用一种数学技巧（牛顿 - 舒尔茨迭代）将这一步锁定为完美的“正交”形状，确保这是在不违反规则的前提下最高效的移动。

结果：更优秀的学生

作者在各类“学校科目”（基准测试）上将这种新方法（Muon-OGD）与旧方法进行了测试：

标准测试：文本分类（如整理新闻文章）。
更难测试：15 项任务流（连续学习 15 个不同主题）。
专业测试：编程、数学和医学推理。

结果：
在每一项测试中，Muon-OGD学生都表现更好。

他们学习新科目（可塑性）与其他方法一样好。
但他们遗忘旧科目（稳定性）要少得多。
他们特别擅长在学习新事物的同时保持编程、数学和医学方面的技能完好无损，而旧方法则开始失去之前的技能。

总结

论文声称，通过改变我们在 AI 大脑中测量“距离”的方式——从扁平的尺子变为三维登山向导，并结合严格规则以保护旧知识，我们可以教 AI 新事物，而不会让它忘记已知内容。这是一种更稳定、更高效的方式，让 AI 能够持续学习。

技术摘要：Muon-OGD

问题陈述
本工作解决的核心挑战是大型语言模型（LLM）在持续学习过程中的灾难性遗忘。当 LLM 按顺序在新任务上进行微调时，其在先前学习任务上的性能往往会迅速下降。现有的基于投影的持续学习方法（例如 OGD、GEM、O-LoRA）通过将参数更新限制在与过去任务相关方向正交的子空间中来缓解这一问题。然而，这些方法通常是在欧几里得参数几何下构建的，其中更新幅度和正交性由Frobenius 范数控制。

作者识别出一个根本性的不匹配：现代用于矩阵值参数的优化器，如最近提出的Muon 优化器，是在谱范数（算子范数）几何下运行的。Muon 应用正交化的矩阵更新（通过 Newton–Schulz 迭代近似），并可被解释为在谱范数约束下执行最速下降。本文认为，对于矩阵值的 LLM 参数，依赖 Frobenius 范数几何来构建持续学习约束是次优的，因为它与底层优化动力学的几何结构不一致。

方法论：Muon-OGD
本文提出了Muon-OGD（基于 Muon 的谱正交梯度投影），这是一个将谱范数感知优化与基于投影的持续学习约束相结合的框架。

公式化：Muon-OGD 将更新 $\Delta$ 表述为一个谱范数约束的优化问题，而非标准的 Frobenius 范数约束问题：
$\min_{\Delta \in \mathbb{R}^{m \times n}} \langle G, \Delta \rangle \quad \text{s.t.} \quad \|\Delta\|_2 \leq \eta, \quad \langle C_i, \Delta \rangle = 0, \forall i=1,\dots,k$
其中， $G$ 是梯度（或动量）矩阵， $\|\cdot\|_2$ 是谱范数， $\eta$ 是步长， $\{C_i\}$ 是约束方向（例如来自过去任务的梯度），这些方向必须与更新保持正交。
对偶优化：由于该问题缺乏闭式解，作者推导出了对偶公式。对偶目标涉及最小化移位矩阵 $H = G + \sum \lambda_i C_i$ 的核范数。最优更新通过矩阵符号函数恢复： $\Delta^* = -\eta \cdot \text{msgn}(H)$ 。
算法：该方法通过对偶变量 $\lambda$ 使用次梯度下降迭代求解对偶问题。
- 内循环：迭代更新 $\lambda$ 以强制执行正交约束。
- 矩阵符号近似：矩阵符号函数 $\text{msgn}(H)$ 通过少量Newton–Schulz 迭代（具体为 5 次迭代，记为 $NS_5$ ）高效近似，避免了显式 SVD 的计算成本。
- 低秩实例化：为了效率，作者提出了一种特定的实例化方法，其中约束源自过去任务的前 $k$ 个奇异向量，允许将对偶变量组织为低秩矩阵 $\Lambda$ ，从而降低对偶问题的维度。

主要贡献

用于持续学习的谱范数几何：本文在谱范数几何下构建了基于投影的持续学习，使持续学习的稳定性约束与现代优化器（如 Muon）的算子范数几何保持一致。
实用的更新规则：推导了一种实用算法（Muon-OGD），将过去任务的正交约束与 Muon 风格的矩阵符号更新相结合，通过对偶公式和 Newton–Schulz 近似高效求解约束问题。
实证验证：该框架被实例化用于 LLM 持续微调，并在多样化的基准测试中进行了评估，证明了其相比基于 Frobenius 范数的对应方法具有一致的改进。

实验结果
作者在以下方面评估了 Muon-OGD：

标准基准测试：使用 T5-Large 进行的 5 任务和 15 任务持续学习基准测试。
TRACE 基准测试：针对指令微调 LLM 的基准测试（使用 LLaMA-2-7B-Chat），涵盖编码、数学和多语言理解等多样化技能。
特定领域课程：使用 Qwen2.5 和 LLaMA3.2 模型进行的顺序学习：编码（BigCodeBench） $\to$ 数学（GSM8K） $\to$ 医疗（HuatuoGPT-o1）。

发现：

性能：在平均准确率（AA）和向后迁移（BT）方面，Muon-OGD 始终优于顺序微调（SeqFT）和有竞争力的正交梯度基线（例如 O-LoRA、Sculpting Subspaces、OSFT）。
- 在 T5-Large 15 任务基准测试中，Muon-OGD 实现了**72.0%**的平均准确率，超过了 O-LoRA（69.6%）和 OSFT（71.3%）。
- 在 TRACE 基准测试中，Muon-OGD 在比较的方法中实现了最高的 AA（49.4%）和最低的遗忘率（-4.7%）。
可扩展性：该方法保持计算可扩展性，利用了 Newton–Schulz 迭代的效率和低秩约束表示。
架构无关性：该方法在编码器 - 解码器（T5）和仅解码器（LLaMA、Qwen）架构上均有效。

意义与主张
本文主张，谱范数感知的更新几何为 LLM 持续学习提供了一种实用且有效的 Frobenius 范数投影替代方案。通过弥合现代优化器（如 Muon）的几何结构与持续学习的稳定性要求之间的差距，Muon-OGD 改善了稳定性 - 可塑性权衡。作者建议，现有的基于投影的方法可以系统地升级为在谱范数几何下运行，以便在防止灾难性遗忘的同时，更好地保留 Muon 中观察到的条件数和稳定性优势。这项工作并未声称解决所有持续学习挑战，但提供了一种原则性的几何替代方案，在 various 领域和模型规模上均带来了保留能力和适应性的实证收益。