🤖 machine learning

A Physical Response-and-Memory Model for Muon Optimization

本文提出了一个用于解释训练动态的物理响应与记忆模型，旨在阐明 Muon 优化器的有效性，并引入了 Bi-Maxwell 优化器，该优化器利用双时间尺度记忆核在大型语言模型基准测试中实现了更快的收敛。

原作者： Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能那宏大而沉默的架构中，最昂贵且最耗时的任务并非模型本身的设计，而是对其进行教导的过程。为了训练大型语言模型，工程师们向其输入数十亿个词汇，并调整被称为“权重”的内部设置，以减少误差。这一过程依赖于一种被称为“优化器”的数学工具，它扮演着教师之手的角色，决定在每一次课程之后，究竟要对这些权重进行多大幅度的偏移。多年来，最有效的“老师”都是通过试错法选出的，其背后是工程直觉而非对其运作原理的深刻理解。目标非常简单：在固定的计算能力下，误差率能降到多低，以及能多快达到那个水平？答案完全取决于优化器遵循的将错误转化为修正的规则。

复旦大学和同济大学的研究人员最近的一项研究提供了一个观察这一过程的新视角。他们没有将神经网络的训练视为一系列抽象的计算，而是将网络的权重矩阵视为一个具有记忆能力的物理对象，就像一块会对力量做出反应的金属或凝胶。他们提出，当网络出错时，会产生一种内部应力，类似于拉伸弹簧中的张力。优化器的任务就是高效地释放这种应力。通过将物理定律应用于这种数字介质，研究人员推导出了关于网络应如何学习的一套新规则。他们发现，更新权重的最有效方式是朝着尽可能快地消散这种应力的方向移动，同时遵守一个关于网络输出变化幅度的安全限制。这种物理视角解释了为什么一种近期备受欢迎的方法——Muon——之所以如此有效，同时也揭示了该方法在记忆过往教训方面的一个缺陷。

研究人员发现，这些优化器记忆过去的方式过于简单。它们通常使用单一、统一的时间尺度来平均近期的错误，仿佛它们所构成的材料只能以一种速度释放张力。然而，研究人员认为，真实的材料以及延伸出的复杂神经网络，拥有更复杂的内部结构。它们既拥有快速的局部反应，也拥有缓慢的深层结构变化。为了测试这一点，他们用一种名为 Bi-Maxwell 的新版本取代了标准优化器的单速记忆；Bi-Maxwell 使用两种不同的速度：一个快速速度用于捕捉即时变化，一个慢速速度用于保留长期模式。当他们在训练语言模型的公开基准测试中测试这种新方法时，结果立竿见影且可衡量。新优化器在 2,635 步内达到了目标准确度，打破了之前 2,690 步的纪录。这听起来可能差别微小，但在训练大规模模型时，成千上万台计算机需要运行数周，哪怕节省几十步，也意味着在时间和能源上的显著节省。

为了确保这种改进并非偶然，团队进行了一系列严格的检查。他们保持训练过程的其他部分完全相同，仅改变了负责记忆过去梯度的“记忆核”。他们在不同的计算机硬件和不同的随机起点上运行了实验，新优化器始终优于旧优化器。他们还通过测量网络需求随时间的变化，研究了为什么双速记忆效果更好。他们发现，在训练初期，网络学习迅速，需要短时记忆以保持敏捷；随着训练的进行，学习速度放缓，网络则受益于长时记忆以平滑路径。单速优化器无法适应这种转变，它在整个过程中都固定在一种设置上。而双速版本则能够自然地兼顾初期所需的快速反应以及后期所需的深度、稳定的记忆。

这项研究还阐明了优化器究竟在做什么。它表明，最高效的更新方向并非随机猜测，而是一条特定的几何路径，旨在最大化释放误差势能，同时不会导致网络变得不稳定。这正是 Muon 优化器所采用的方向，但研究人员为其提供了物理层面的推理：它是受安全约束限制下的最大能量耗散路径。此外，他们证明了这些系统中的“记忆”不仅仅是一个数学技巧，用来平滑噪声，它代表了累积的内部应力。正如物理对象在受到推挤后需要时间沉降一样，神经网络也需要时间来整合从错误中吸取的教训。通过将神经网络视为一种具有弛豫时间谱的响应式介质，研究人员得以设计出一种尊重学习自然节奏的优化器。

这项工作表明，人工智能训练的未来可能在于更深入地借鉴物理科学。通过从材料科学和热力学的视角审视学习过程，研究人员得以超越试错法，推导出植根于系统基本行为的规则。他们不仅找到了一种更快的模型训练方法，还提供了一个理解为何某些方法有效以及如何改进它们的框架。Bi-Maxwell 优化器的成功——它仅仅是为记忆增加了一个第二时间尺度——证明了即使是微小的、由物理驱动的改变也能产生显著收益。随着语言模型变得越来越庞大和复杂，其训练效率变得愈发关键，而这种物理方法为实现更快、更稳定且更高效的训练提供了一条充满前景的路径。

技术摘要：一种用于 Muon 优化的物理响应与记忆模型

问题陈述

训练大型语言模型（LLMs）会产生巨大的计算成本，这使得优化过程的效率变得至关重要。优化器的选择决定了在固定计算预算下的训练速度、稳定性以及最终可达到的损失值。虽然像 Muon 这样现代的优化器通过对动量矩阵进行半正交化（semi-orthogonalizing）取得了最先进的性能，但其设计很大程度上是由工程直觉和经验基准测试驱动的，而非系统性的物理理论。现有理论仍有两个基本问题悬而未决：

为什么半正交化方向（Muon 所使用的方向）能有效工作？
动量记忆应该对过去的梯度进行多长时间的平均？目前，这由单个指数时间尺度（单个弛豫时间）决定，是通过启发式方法选定的。

方法论：训练的物理模型

作者提出了一个物理模型，将训练期间的权重矩阵视为一个具有记忆的响应介质。该框架从物理原理出发推导更新规则，而非进行启发式选择。

1. 空间响应：介质与更新方向

权重矩阵 $W$ 被建模为一个线性响应介质，其中输入 $x$ 产生输出 $y = Wx$ 。训练目标被定义为一个失配势能 $\Phi$ （例如，输出与目标之间的平方误差），类似于弹簧的势能。

驱动力： 失配势能对权重的梯度充当了共轭驱动力 $X = -\partial \Phi / \partial W$ 。
输出侧安全预算： 作者对输出侧的扰动施加了约束。具体而言，输出的变化率 $\dot{y} = Vx$ （其中 $V$ 是结构重排速度）对于所有输入方向都被限制在一个输出增益极限 $\epsilon$ 之内。
最大耗散： 目标是在满足此输出预算的前提下，最大化势能释放率（ $P = -\dot{\Phi}$ ）。
半正交化的推导： 通过将驱动力分解为独立的集体模式（通过奇异值分解 SVD）并应用输出增益约束，作者证明了最优的重排速度 $V$ 必须以相同的最大安全速度更新所有受驱动的模式。这导致速度矩阵与驱动力的**正交极分解因子（orthogonal polar factor）**成比例。这为 Muon 的半正交化更新规则提供了物理推导：它是受限输出增益预算下的最大耗散响应。

2. 时间响应：内部应力与记忆

作者认为，动量矩阵代表了介质积累的内部应力，而非粒子的惯性。

应力弛豫： 当外部力（梯度）施加时，内部应力不会立即调整，而是随时间发生弛豫。标准的动量更新（ $M_t = \beta M_{t-1} + (1-\beta)X_t$ ）被识别为一阶弛豫方程（Maxwell 模型），其中动量系数 $\beta$ 对应于单个弛豫时间 $\tau$ 。
单时间尺度的局限性： 真实的材料（以及复杂的神经网络）拥有具有不同弛豫时间的多种内部重排模式。单个指数核强迫进行权衡：短的 $\tau$ 允许快速响应但缺乏记忆滤波能力，而长的 $\tau$ 提供了深层记忆但对变化反应迟钝。
双 Maxwell 模型（Bi-Maxwell Model）： 为了解决这个问题，作者提出了一个双时间尺度核（Bi-Maxwell）。该模型将内部应力建模为快弛豫模式（ $\tau_f$ ）和慢弛豫模式（ $\tau_s$ ）的叠加。总记忆是两者的加权和： $M_{BM} = w M_f + (1-w) M_s$ 。这使得优化器既能快速响应持续信号（通过快模式），又能保留长期结构记忆（通过慢模式）。

核心贡献

Muon 的物理推导： 本文从第一性原理出发推导了 Muon 的半正交化更新方向，将其识别为受限优化问题（在输出增益预算下最大化势能耗散）的解。
动量的物理诠释： 动量被重新诠释为粘弹性介质的内部应力。论文指出，单时间尺度假设是更广泛弛豫谱中的“单极近似”。
Bi-Maxwell 优化器： 基于双时间尺度物理模型，作者引入了 Bi-Maxwell 优化器。它在保持 Muon 所有其他空间组件（如 Newton-Schulz 正交化等）不变的同时，将单时间尺度动量核替换为双时间尺度核（快模式和慢模式）。
训练中的老化现象： 论文指出“最优记忆长度”并非静态，而是随着训练进程而增长（类似于玻璃态材料中的物理老化）。在训练早期，梯度方向变化剧烈（需要短记忆）；在后期，梯度变化变慢（需要长记忆）。

实验结果

作者在 modded-nanogpt 公开基准测试（124M 参数的 GPT-2 模型）上验证了 Bi-Maxwell 模型，使用了两种配置：“裸调优 Muon 堆栈”（bare tuned-Muon stack）和“记录堆栈”（record stack，包含 SOAP、Tail-EMA 及其他先进组件）。

性能提升：
- 在裸调优 Muon 堆栈上，Bi-Maxwell 优化器达到目标验证损失（3.28）用了 3210 步，而单极基准线（single-pole baseline）用了 3250 步（提升了 40 步）。
- 在记录堆栈（截至 2026 年 7 月保持着 2690 步的最优记录）上，Bi-Maxwell 优化器以 2635 步达到了目标，打破了 55 步的现有记录。
- 这些结果在多个随机种子（n=8）和不同硬件（A800 和 H100 GPU）上是一致的。
受控实验：
- 核形状 vs 平均年龄： 实验表明，收益来自于双时间尺度形状本身，而不仅仅是增加平均记忆深度。与匹配相同平均年龄的单极核相比，Bi-Maxwell 核的表现显著更好（单极核晚了 140 步才达到目标）。
- 启用窗口： 慢模式不应从第 0 步开始启用。最优性能是在第 1000 步（ $T_{on}=1000$ ）激活双时间尺度核时获得的，这表明介质在慢记忆变得有益之前需要经历“老化”过程。
- 只读探针： 使用诊断探针，作者测量了不同模式（按强度排序）的“最优记忆长度” ( $n^*$ $n^{*}$ )。他们发现：
  - 最优记忆长度从训练早期到后期逐渐增加。
  - 不同模式（强模式 vs 弱模式）根据学习率调度表现出截然相反的记忆偏好，这证实了单一固定的时间尺度无法同时满足所有模式。

重要性与主张

本文声称提供了第一个将现代优化器的空间更新规则（半正交化）与时间记忆核联系起来的系统性物理理论。

理论统一： 它统一了对 Muon 空间效率的理解以及将动量视为内部应力弛豫的作用的理解。
算法改进： 它证明了将记忆核替换为最小双时间尺度形式（Bi-Maxwell）可以在不改变优化器核心空间结构的情况下，实现显著且可复现的加速。
物理类比： 该工作将训练动力学与玻璃态材料的“老化”进行了类比，表明最优记忆长度是一个随训练阶段演化的状态变量。
谦逊态度： 作者指出，该物理模型依赖于特定的假设（各向同性、最坏情况下的输出预算），且 Bi-Maxwell 参数（权重和时间尺度）目前是静态近似。他们承认，真实的物理时间构成律可能取决于特定的训练状态和模式强度，而 Bi-Maxwell 代表了这种更复杂现实的“最低阶静态基底”。

总之，本文认为，将权重矩阵视为具有多尺度弛豫谱的粘弹性介质，为改进优化器提供了一条基于原理的路径，从而超越了启发式调优，走向基于物理原理的设计。