技术摘要：基于模型框架的深度学习优化自适应动量
1. 问题陈述
现代深度学习模型主要依赖于基于动量的一阶优化器（例如带有 Heavy Ball 的 SGD、AdamW、Lion）。这些方法利用动量系数 β \beta β β \beta β β = 0.9 \beta = 0.9 β = 0.9
作者指出了这种静态方法的两个关键局限性：
次优性 ：经验证据表明，单一的固定 β \beta β 不稳定性 ：围绕最优固定 β \beta β 理论差距 ：虽然动量在确定性凸设置中加速了收敛，但在随机非凸深度学习设置中，理论保证通常表明随机 Heavy Ball 的收敛速率并不优于普通 SGD，尽管其经验表现成功。
提出的核心问题是：动量系数能否随时间自适应，以更好地匹配优化景观？
2. 方法论
本文提出了自适应记忆（Adaptive Memory, AM） ，这是一个框架，用优化过程中在线计算的动态时变系数 β t \beta_t β t
核心框架：基于模型的近似
该方法源于近端基于模型的优化（proximal model-based optimization） 。作者不是直接最小化真实损失函数 f ( x ) f(x) f ( x ) f t m ( x ) f^m_t(x) f t m ( x )
梯度平面 ：基于当前梯度 ∇ f ( x t ) \nabla f(x_t) ∇ f ( x t ) 动量平面 ：基于先前的下降方向 1 η ( x t − 1 − x t ) \frac{1}{\eta}(x_{t-1} - x_t) η 1 ( x t − 1 − x t )
代理模型定义为：f t m ( x ) = max { f ( x t ) + g t ⊤ ( x − x t ) , f ^ ( x t ) + 1 η ( x t − 1 − x t ) ⊤ ( x − x t ) } f^m_t(x) = \max \left\{ f(x_t) + g_t^\top(x - x_t), \quad \hat{f}(x_t) + \frac{1}{\eta}(x_{t-1} - x_t)^\top(x - x_t) \right\} f t m ( x ) = max { f ( x t ) + g t ⊤ ( x − x t ) , f ^ ( x t ) + η 1 ( x t − 1 − x t ) ⊤ ( x − x t ) } g t = ∇ f ( x t ) g_t = \nabla f(x_t) g t = ∇ f ( x t ) f ^ ( x t ) \hat{f}(x_t) f ^ ( x t )
自适应 β t \beta_t β t
更新步骤被表述为一个带有额外正则化项的近端最小化问题，用于控制当前下降方向与先前下降方向之间的对齐：x t + 1 ∈ arg min x ( f t m ( x ) + 1 2 η ∥ x − x t ∥ 2 + λ η ⟨ x t − 1 − x t , x − x t ⟩ ) x_{t+1} \in \arg\min_x \left( f^m_t(x) + \frac{1}{2\eta}\|x - x_t\|^2 + \frac{\lambda}{\eta}\langle x_{t-1} - x_t, x - x_t \rangle \right) x t + 1 ∈ arg x min ( f t m ( x ) + 2 η 1 ∥ x − x t ∥ 2 + η λ ⟨ x t − 1 − x t , x − x t ⟩ )
求解该优化问题得出了自适应动量系数 β t ∗ \beta_t^* β t ∗ β t \beta_t β t d t + 1 = β t ∗ + λ 1 + λ d t + 1 − β t ∗ 1 + λ g t d_{t+1} = \frac{\beta_t^* + \lambda}{1 + \lambda} d_t + \frac{1 - \beta_t^*}{1 + \lambda} g_t d t + 1 = 1 + λ β t ∗ + λ d t + 1 + λ 1 − β t ∗ g t x t + 1 = x t − η d t + 1 x_{t+1} = x_t - \eta d_{t+1} x t + 1 = x t − η d t + 1
实际实施细节
为了确保随机设置下的稳定性和效率，作者引入了一些实际修改：
截断（Clipping） ：β t \beta_t β t [ 0 , β max ] [0, \beta_{\max}] [ 0 , β m a x ] β max \beta_{\max} β m a x 损失近似 ：在同一批次上计算精确的损失差 Δ f = f ( x t − 1 ) − f ( x t ) \Delta f = f(x_{t-1}) - f(x_t) Δ f = f ( x t − 1 ) − f ( x t ) Δ f ≈ η g t ⊤ d t \Delta f \approx \eta g_t^\top d_t Δ f ≈ η g t ⊤ d t 高估策略 ：与使用低估平面以保证收敛的传统束方法（bundle methods）不同，作者发现使用高估平面（f ^ ( x t ) = f ( x t − 1 ) \hat{f}(x_t) = f(x_{t-1}) f ^ ( x t ) = f ( x t − 1 ) 扩展到 AdamW ：该框架通过结合对角预条件器（P t P_t P t β t \beta_t β t
3. 主要贡献
动机 ：论文通过经验证明固定动量是次优的，并且寻找最优静态 β \beta β 新颖的方法论 ：它引入了一种近端框架，利用损失函数的双平面近似来推导闭式自适应动量系数。这是此类近端框架首次专门应用于基于动量的优化。算法变体 ：作者为 SGD（AM-MGD）和 AdamW（AM-AdamW）实现了自适应记忆变体。理论保证 ：在标准平滑和有界梯度假设下，为凸和非凸设置确立了 O ( 1 / T ) O(1/\sqrt{T}) O ( 1/ T ) 超参数效率 ：该方法除了标准基线设置外，不需要额外的超参数调整（例如 λ \lambda λ β max \beta_{\max} β m a x
4. 实验结果
作者在一系列任务上评估了 AM：
凸问题 ：在逻辑回归任务（LIBSVM 数据集）上，AM-MGD 在不需调整的情况下，始终优于固定动量基线（包括最优网格搜索得到的 β ∗ \beta^* β ∗ 图像分类 ：在 CIFAR-10/100 和 ImageNet 上使用 VGG、ResNet 和 Wide-ResNet 架构，AM-MGD 实现了更快的优化和更好的泛化。
动态特性 ：自适应 β t \beta_t β t β t \beta_t β t
大语言模型预训练 ：在 C4 数据集上训练的 LLaMA 模型（2000 万到 10 亿参数）：
AM-AdamW 在所有规模上均优于标准 AdamW。
消除预热 ：值得注意的是，AM-AdamW 即使在没有 学习率预热计划的情况下也能稳定早期训练，而标准 AdamW 在该模式下往往失败或需要仔细调整。这表明 AM 可以作为免调预热（warm-up）的替代方案。
消融研究 ：
该方法对 λ \lambda λ [ 0.01 , 1 ] [0.01, 1] [ 0.01 , 1 ]
性能提升在不同批次大小和学习率下持续存在，AM 允许在静态基线失败的更高学习率下实现收敛。
计算开销可忽略不计（LLM 的时间增加约 0.2%），且无额外内存占用。
5. 意义与主张
论文声称自适应记忆提供了一种原则性、免调优的静态动量替代方案 。其意义在于：
** bridging 理论与实践**：它提供了一种适应损失景观局部几何结构的机制，解决了理论收敛速率与经验表现之间的脱节。
简化训练流程 ：通过稳定早期训练并可能消除对学习率预热计划的需求，AM 简化了大规模模型的训练。鲁棒性 ：该方法对高学习率和不同批次大小表现出鲁棒性，降低了深度学习训练对超参数选择的敏感性。
作者总结道，这项工作为在优化中引入自适应性的新方式打开了大门，特别是从自适应学习率转向自适应动量，并建议未来的工作集中在每参数动量系数以及对动量重启的进一步研究上。