🤖 machine learning

Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer

本文介绍了 Nora，一种可扩展的矩阵优化器，它通过采用行动量投影来稳定权重范数和角速度，同时以最优的 $\mathcal{O}(mn)$ 计算复杂度近似结构化预条件，从而统一了效率、稳定性和速度。

原作者： Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Nora：用于可扩展矩阵优化器的归一化正交行对齐》的通俗解释，辅以日常类比。

宏观图景：训练一个巨型大脑

想象你正在训练一个庞大的人工智能（AI）大脑，比如一个大语言模型（LLM）。这个大脑由数十亿个微小的旋钮和开关（参数）组成，需要调整它们以学会说人类语言。

调整这些旋钮的过程称为优化。“优化器”就是那位告诉旋钮该转多少、朝哪个方向转的老师。

长期以来，最受欢迎的老师是Adam。但 Adam 把大脑的旋钮当作一堆扁平、杂乱的弹珠。它没有意识到，这些旋钮实际上排列在整齐、有结构的网格（矩阵）中。

最近，一位名叫Muon的新老师出现了。Muon 非常擅长理解网格结构，但它极其缓慢且计算成本高昂——就像一位老师每转动一个旋钮都要停下来解一道复杂的数学题。另一位老师RMNP速度很快，但有时会让旋钮朝错误的方向摇晃，导致训练变得不稳定。

Nora是本文介绍的新老师。它自称是“金发姑娘”式的优化器：它像 RMNP 一样快，像 Muon 一样聪明，并且足够稳定，能让训练保持正轨而不崩溃。

好老师的三条规则

作者认为，一个完美的优化器必须满足三条规则：

效率：它需要利用聪明的“网格结构”来更快地学习。
稳定性：它不能摇晃系统。如果旋钮晃动太厉害，AI 就会忘记它所学到的东西。
速度：它必须在计算上廉价，以免运行时间过长。

大多数现有的老师都在其中一条上失败了。Muon 太慢。RMNP 太不稳定。Nora 旨在解决所有这三个问题。

Nora 如何工作：“舞池”类比

要理解 Nora，请想象 AI 的权重（旋钮）是舞池里的舞者。

1. 问题：“径向”摇晃

在现代 AI 中，舞者的大小并不重要，重要的是他们面对的方向。这被称为尺度不变性。

错误：旧的优化器有时会将舞者直接推向或拉离房间中心（径向移动）。这就像舞者在原地旋转的同时向墙壁移动。这无助于他们学习舞步；只会浪费能量并让他们头晕（不稳定）。
目标：我们只希望舞者横向移动（切向），改变方向而不改变与中心的距离。

2. 解决方案：“逐行”投影

Nora 使用了一个巧妙的技巧，称为行向正交投影。

想象权重矩阵是一排排舞者的网格。
在告诉一行舞者移动之前，Nora 会检查：“你们是不是正试图向中心移动？”
如果是，Nora 会切断那部分移动。它将移动投影，使舞者仅横向移动，垂直于他们当前的位置。
结果：舞者保持在他们的“舞圈”上，确保系统保持稳定，不会头晕。

3. 速度技巧：“对角线捷径”

那位“聪明”的老师（Muon）试图一次性计算整个网格的完美路径。这需要繁重的数学运算（牛顿 - 舒尔茨迭代），耗时很长。

Nora 的捷径：作者注意到，在这些 AI 网格中，“行”在一定程度上是独立运作的。他们意识到，只需查看数学问题的对角线，就可以近似出那条聪明的路径。
与其对整个网格进行大规模、复杂的计算，Nora 只是单独归一化（重新缩放）每一行。
类比：与其让交通指挥官同时计算城市中每辆车的完美路线（慢），Nora 只是告诉每辆车直行，并与前车保持安全距离（快）。

为什么 Nora 更好？（结果）

该论文在不同规模（6000 万和 1.35 亿参数）的 AI 模型（LLaMA）上测试了 Nora，并将其与 Muon、RMNP 和 Mano 进行了比较。

更好的性能：与其他优化器相比，Nora 实现了最低的误差率（loss）和最佳的“困惑度”（衡量 AI 困惑程度的指标）。它更好地学会了语言。
更快的训练：由于 Nora 跳过了繁重的数学运算，仅进行简单的行归一化，因此速度显著更快。
- 对于小型模型，它比繁重的数学方法快约10 倍。
- 对于巨型模型（10 亿参数），它快了70 倍以上。
稳定性：通过消除“径向摇晃”，Nora 保持了训练的平稳，而其他方法有时会出现振荡或陷入停滞。

“两行代码”的声明

论文中最令人兴奋的声明之一是，尽管拥有如此复杂的数学基础，Nora 的核心逻辑却极其简单。作者指出，整个优化器的“大脑”可以用仅仅两行代码编写。这使得其他开发者可以非常容易地将其插入现有系统，而无需重写所有内容。

总结

Nora是一种训练 AI 大脑的新方法。它解决了快速优化器的不稳定性和智能优化器的缓慢问题。它通过以下方式实现：

消除无用移动（保持 AI 稳定）。
采取聪明的捷径（保持 AI 快速）。
学得更好（获得最佳结果）。

该论文从数学上证明了其有效性，并通过实验表明，它目前是训练这些巨型模型最高效的方法。

技术摘要：Nora（归一化正交行对齐）

问题陈述

大型语言模型（LLM）的训练严重依赖自适应优化器（如 Adam），这些优化器将参数视为扁平向量，从而忽略了损失景观中丰富的结构交互。虽然基于矩阵的优化器（如 Muon）通过应用正交化更新和牛顿 - 舒尔茨（Newton-Schulz）迭代来解决这一问题，但它们产生了 $O(m^2n)$ 的过高计算成本，限制了可扩展性。

相反，简化的方法如 RMNP（行动量归一化预条件）利用 Transformer Hessian 矩阵的行块对角优势，将复杂度降低至 $O(mn)$。然而，RMNP 未能考虑现代神经网络（由于 BatchNorm、RMSNorm、LayerNorm）固有的尺度不变性。它允许“径向更新”（与权重向量对齐的更新），这种更新不会改变功能输出，但会引入噪声，破坏有效学习率的稳定性，并导致权重范数的混沌振荡。

现有方法通常无法统一三个核心需求：效率（类似 Muon 的预条件）、稳定性（遵守尺度不变性）和速度（最小的计算开销）。

方法论：Nora 优化器

作者提出了 Nora（归一化正交行对齐），这是一种旨在同时满足上述三个需求的优化器。其核心设计理念基于一个几何观察：对于尺度不变参数，有效的学习发生在角向（切向）方向，而非径向方向。

算法步骤

对于权重矩阵 $w \in \mathbb{R}^{m \times n}$ 和动量 $v_t$ ：

行向正交投影：Nora 显式地将动量 $v_t$ 投影到权重 $w$ 的行向正交补空间上。对于每一行 $i$ ，移除与权重行平行的分量：
$v_{t,i:}^{\perp} = v_{t,i:} - \frac{\langle v_{t,i:}, w_{t,i:} \rangle}{\|w_{t,i:}\|^2} w_{t,i:}$
这确保了 $\langle v_{t,i:}^{\perp}, w_{t,i:} \rangle = 0$ ，严格过滤掉径向噪声并稳定权重范数。
行向归一化（预条件）：利用 Transformer Hessian 矩阵的行块对角优势，Nora 近似 Muon 的结构化预条件。它避免昂贵的牛顿 - 舒尔茨迭代，而是对投影后的动量应用对角预条件器。代数上，这简化为简单的行向 $\ell_2$ 归一化：
$d_t = \text{RN}(v_t^{\perp}) \implies d_{t,i:} = \frac{v_{t,i:}^{\perp}}{\|v_{t,i:}^{\perp}\|_2}$
这一步在保持投影步骤建立的正交性的同时，实现了类似 Muon 的预条件效率。
更新：使用归一化方向 $d_t$ 和学习率 $\eta_t$ 更新权重。

理论基础

可扩展性：利用最大更新参数化（ $\mu$ P）框架，作者证明，为了使 Nora 在网络宽度 $n \to \infty$ 时实现稳定的特征学习，学习率必须按 $\eta_t \propto 1/\sqrt{n}$ 进行缩放。
收敛性：该论文为非凸优化景观提供了严格的收敛保证。在匹配的 $(\infty, 2)$ -平滑性假设下，它确立了 Nora 以 $O(m L \sigma^2 \Delta \epsilon^{-4})$ 的复杂度达到 $\epsilon$ -平稳点。
实现：核心逻辑仅需两行基于矩阵的代码，使其成为与现有框架兼容的即插即用模块。

主要贡献

新颖的优化器设计：引入 Nora，统一了高效的预条件估计、通过尊重尺度不变性实现的稳定性以及高计算速度。
理论严谨性：证明了 Nora 是一种可扩展优化器，推导出了缩放定律（ $\eta \propto 1/\sqrt{n}$ ）并提供了非凸收敛保证。
实证验证：大量训练 LLaMA 风格模型（60M 和 135M 参数）的实验表明，Nora 在收敛速度和挂钟执行时间上均优于 Muon、Mano 和 RMNP。

实验结果

作者在自回归语言建模任务上评估了 Nora，涵盖了不同的学习率和模型规模：

性能：在 135M 模型上，Nora 在所有对比优化器中取得了最低的验证损失（3.079）和困惑度（21.74）（Muon: 3.142/23.17; Mano: 3.097/22.13; RMNP: 3.112/22.46）。
训练动态：虽然 RMNP 在早期阶段表现强劲，但随后趋于平稳。Nora 初始损失较高，但在训练后期持续改进，超越其他方法达到最佳最终指标。
效率：在代表性矩阵形状（例如 1B 规模的 MLP 矩阵）上的运行时基准测试显示，Nora 的行归一化比 Muon 使用的 5 步牛顿 - 舒尔茨正交化快约 70 倍。
消融实验：与 Mano（一种类似的行/列投影方法）的比较证实，Nora 的优越性源于其对行块对角优势的具体依赖及其精简的架构，而非超参数调整或权重衰减设置。

意义与主张

该论文声称，Nora 证明了效率、稳定性和速度可以通过简单的行向几何原则统一起来。通过严格稳定权重范数和角速度，同时近似结构化预条件，Nora 为可扩展优化器设计提供了一条“实用且合乎原则的方向”。作者强调，Nora 在不产生全矩阵正交化那种过高计算开销的情况下实现了最先进的数据效率，使其成为大规模 LLM 训练极具前景的候选方案。