技术摘要：曲线权重空间中的学习 (SymExpLin)

1. 问题陈述

标准的神经网络训练依赖于线性参数空间中的加性更新。然而，许多内部网络操作本质上是乘性的（例如，缩放特征振幅、归一化增益或奇异值）。在线性空间中，等幅度的相对变化（例如，翻倍与减半）需要不等值的优化距离。例如，将权重从 1.0 移动到 2.0 需要 1.0 的步长，而将权重从 1.0 移动到 0.5 则只需要 0.5 的步长。

这种不匹配造成了优化挑战：

• 重尾分布： 预训练模型通常表现出重尾权重分布，其中极小比例的参数其增长规模显著超过初始化规模（例如，大 30 倍），而大多数参数仍保持在初始化附近。
• 优化器不变性： 像 Adam 这样的自适应优化器会对每个坐标进行归一化更新，使得步长对参数量级具有不变性。因此，一个小参数（如 0.004）和一个大参数（如 0.4）会收到相似的绝对更新。这会导致 100 倍的相对扰动差异，可能导致小参数被过度扰动，而大且关键的参数被过度欠扰动。
• 静态 vs. 动态缩放： 现有的解决方案（如 Maximal Update Parameterization, µP）根据初始化时的张量宽度进行静态解决，但无法适应训练过程中单个参数的动态增长。

2. 方法论：SymExpLin (SEL)

作者提出了 SymExpLin (SEL)，一种非线性权重重参数化方法，它将有效权重分解为对称-指数路径和线性路径。这创建了一个曲线参数空间几何结构，使得原始空间中的加性更新能够映射到有效权重空间中与量级成比例的变化。

2.1 变换公式

有效权重 $w_{eff}$ 通过以下组件从原始权重 $w$ 计算得出：

1. 对称-指数路径 ($E_\theta$)： 一个基于对称指数（symexp）的可学习、保号函数。对于较小的 $|w|$，它表现为线性；对于较大的 $|w|$，它呈指数级增长。这使得较大的原始步长能产生更大的有效位移。
   • $E_\theta(|w|) = e_w (\exp(\beta |w| \cdot m - n) - \exp(-n))$
   • 参数：$\beta$（曲率）、$m$（内部乘数）、$n$（原点处的斜率偏移）、$e_w$（输出缩放）。
2. 线性路径 ($L_\theta$)： 一个类似恒等映射的路径 $L_\theta(w) = w \cdot l_w$，提供直接的梯度路径，据假设有助于稳定优化。
3. 符号包裹 (Sign Wrapping)： 原始权重的符号应用于两个路径之和：$w_{eff} = \text{sign}(w) \cdot (E_\theta(|w|) + L_\theta(w)) + \Delta_\phi$。
4. 残差 ($\Delta_\phi$)： 一个可选的低秩（LoRA 风格）加性修正。

2.2 关键设计选择

• 不匹配初始化 (Mismatched Initialization)： 作者发现了一种有益的非对称性：通过反转一个“一致”组合规则（即在线性部分和指数部分在符号包裹之外相加时）来初始化原始权重，但在前向传播中使用“不匹配”规则（即两者都在符号包裹之内）。这导致负权重在初始化时比正权重具有更小的量级，从而起到早期对称性破缺的作用。
• 结构化缩放参数： 可学习的缩放因子（$e_w, l_w, m, n$）使用行-列乘法模式（秩-1 向量）进行参数化，以平衡表达能力与计算成本。
• 学习率退火： 对缩放参数采用了针对性的调度方案。外部缩放因子 $e_w$ 以高学习率开始，以便快速确定符号，而内部乘数 $m$ 从低值开始并逐渐向上退火，以便在缩放稳定后精细化曲率。
• 曲率校准： 曲率参数 $\beta$ 根据模型宽度进行启发式设置，以确保指数机制在典型的初始化量级附近激活（该量级随宽度增加而缩小）。

3. 核心贡献

• SymExpLin (SEL)： 一种适用于任何可学习矩阵或偏置的权重重参数化方法，它将权重分解为对称-指数分量和线性分量，并具有独立可学习的结构化缩放。
• 不匹配初始化： 发现使用不同于初始化反转规则的前向传播组合规则，可以产生有益的非对称偏差，从而改善早期优化。
• 结构化缩放与退火： 引入了行-列乘法缩放参数以及特定的学习率退火调度，以管理冗余的指数控制。
• 实用性： 该方法易于实现。训练变换是逐元素的，且在训练后，有效权重会被预计算并折叠进标准的线性层中，从而实现 零推理成本。
• 互补性： SEL 在动态的、针对每个参数的轴上运行，与 µP 等静态的、针对每个张量的算法形成互补。

4. 实验结果

该方法在 OpenWebText 上针对不同宽度 $\{1024, 2048, 3072\}$ 和深度 $\{12, 24, 36\}$ 的九种配置下的自回归语言建模进行了评估。

• 损失下降： 在所有配置下，SEL 始终比基线（使用标准参数化的 Adam）达到更低的验证损失。
• 步骤效率： SEL 实现了 1.32× 至 1.49× 更少的训练步数 即可达到相同的验证损失。增益在更大宽度的模型中最为显著（例如，在 3072×24 配置下实现了 1.49× 的加速）。
• 墙钟时间加速： 尽管由于变换存在每步 1.7%（小模型）到 5.5%（大模型）的额外开销，但总步数的减少带来了估计 1.29× 至 1.37× 的墙钟时间加速。
• 消融实验：
  • 线性路径： 移除线性路径会导致“无法学习”的情况，证实了其必要性。
  • 不匹配 vs. 一致： 不匹配初始化始终优于一致初始化，尤其是在较小的模型中。
  • 退火： 缩放参数的退火学习率调度相比固定乘数提供了持续但微小的改进。

5. 意义与主张

论文声称 SEL 解决了许多神经计算的乘性本质与标准加性优化之间的根本不匹配问题。通过弯曲参数空间，SEL 允许优化器采取自然地与权重量级成比例的步长，从而有效地实现了相对缩放，而无需进行逐参数的学习率调节。

作者强调，SEL 是标准线性层的实用、即插即用替代方案，它具有以下特点：

1. 加速收敛，特别是对于具有重尾权重分布的模型。
2. 推理期间无需架构更改。
3. 可以被反转，允许将标准的预训练权重转换回 SEL 空间以进行持续训练或微调。

这项工作表明，“软对数空间”参数化有助于权重达到网络计算所需的较大量级目标，而这些目标在传统的线性加性更新中往往处于劣势。