🤖 machine learning

SVRG and Beyond via Posterior Correction

本文建立了随机方差缩减梯度（SVRG）与贝叶斯后验修正之间的首个基本联系，证明了 SVRG 是该框架的一个特例，并利用这一框架推导出了如类牛顿（Newton-like）和类 Adam（Adam-like）变体等更具灵活性且新颖的扩展形式。

原作者： Nico Daheim, Thomas Möllenhoff, Ming Liang Ang, Mohammad Emtiyaz Khan

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Nico Daheim, Thomas Möllenhoff, Ming Liang Ang, Mohammad Emtiyaz Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：修复一个不稳定的指南针

想象你正在试图寻找一个广阔、多雾的山谷中的最低点（这代表训练 AI 模型以减少错误）。你有一个指南针，它会告诉你哪个方向是“下坡”，但这个指南针非常摇晃且不可靠。这就是标准 AI 训练的工作方式：它一次只观察一小部分数据，因此它得到的方向往往带有“噪声”或是不正确的。

十多年来，研究人员一直使用一种被称为 SVRG（随机方差缩减梯度）的技巧来解决这个问题。SVRG 就像一位聪明的领航员，他偶尔会停下来，爬上一座小山以获得整个山谷的清晰全景视角（即“全量批次”计算），然后利用这个清晰的视角来稳定接下来的几步路程中那份摇晃的指南针。这使得旅程更加快速且稳定。

然而，直到现在，还没有人知道这个技巧在“贝叶斯”（概率论）视角下究竟是如何起作用的。它曾被仅仅视为一种聪明的数学技巧。

论文的发现：
作者发现了一个令人惊讶的联系。他们发现 SVRG 实际上是一种更新的方法——**后验修正（Posterior Correction, PoCo）**的一个特例。

类比： 把“后验修正”想象成一种更新知识的方式。你有一张旧地图（旧知识）和一份新的观测结果。你不是简单地扔掉旧地图，而是将旧地图与新观测结果融合，从而创造出一张更好的、经过修正的地图。
突破点： 作者意识到，SVRG 中用于修正“摇晃指南针”的数学逻辑，与利用新数据来“修正”旧地图的数学逻辑完全一致。这连接了两个此前并不相关的领域：快速优化（SVRG）与贝叶斯知识更新。

他们利用这一发现做了什么

一旦意识到 SVRG 仅仅是一种特定类型的“地图修正”，他们便提出了疑问：“如果我们使用不同类型的‘地图’，能否构建出更优秀的领航员？”

他们尝试使用比 SVRG 通常使用的更复杂的“地图”（数学分布）。这催生了两种全新的、强大的工具：

1. “类牛顿”领航员 (VON-PoCo)

问题： 标准的 SVRG 仅修正“方向”（梯度）。这就像你知道该往哪边走，但不知道坡度有多陡。
解决方案： 通过使用更复杂的“地图”（完整的高斯分布），他们的新方法可以同时修正方向和陡峭程度（海森矩阵/Hessian）。
类比： 想象你在滑雪。标准 SVRG 告诉你该往哪边转弯；而新的类牛顿方法不仅告诉你方向，还根据坡度的陡峭程度告诉你转弯需要有多精准。这使得在下山过程中能够进行更精确、更高效的移动。

2. 面向巨型模型的“类 Adam”领航员 (IVON-PoCo)

问题： “类牛顿”方法对于巨大的 AI 模型（如深度学习中使用的模型）来说过于沉重且缓慢，因为它需要消耗过多的内存来存储每一条路径的“陡峭程度”。
解决方案： 他们创建了一个简化版本，仅追踪单个路径的陡峭程度（对角协方差），这类似于流行的 Adam 优化器的工作方式。
类比： 这就像是为一艘巨大的货轮配备导航系统。你无法计算每一滴水的精确波浪高度（太重了），所以你只需计算船体承受的平均波浪高度。它更轻量、更快，并且可以扩展到像训练大型语言模型这样的宏大问题上。

实验展示了什么

作者在各种任务上测试了这些新方法：

简单任务（逻辑回归）： 在标准的、较小规模的问题上，新方法表现出色。它们比旧方法更快、更准确，就像 SVRG 比标准训练更快一样。
深度学习（图像分类与语言模型）： 当他们尝试将这些方法应用于庞大的模型（如 GPT-2 或用于图像识别的 ResNet）时，结果褒贬不一。
- 好消息： 这些新方法确实提高了模型的最终准确率。
- 代价： 但它们并不一定能让训练在“现实世界时间”上变得更快。因为这些方法需要额外的计算（例如检查“陡峭程度”或运行“超大规模批次”），即使它们能到达更好的目的地，有时也需要与标准方法一样长，甚至更长的时间才能完成。

总结

这篇论文是一个“罗塞塔石碑”时刻。它将一个数十年前的优化技巧（SVRG）翻译成了贝叶斯概率（后验修正）的语言。

为什么重要： 它证明了 SVRG 是一种形式的“知识迁移”（利用旧数据来稳定新数据）。
结果： 这一洞察力使作者能够发明出更聪明、更先进的算法，这些算法不仅能修正方向，还能修正问题的“形状”。虽然这些新工具在处理小型、精密任务时非常有前景，但论文也承认，对于当今庞大的 AI 模型而言，它们在速度上尚未提供“免费的午餐”，尽管它们确实提升了模型的最终质量。

简而言之：他们发现了著名烹饪技巧背后的秘密配方，并利用这个配方发明了两道更高级的菜肴。一个是适合小型厨房的精致料理，另一个是适合工业化厨房的大型盛宴——味道更好，但烹饪时间也同样漫长。

技术摘要：通过后验修正实现 SVRG 及其扩展

问题陈述

随机方差缩减梯度（SVRG）及其变体是已建立的加速随机优化技术，它们利用全批量梯度来稳定小批量更新。尽管经过了十多年的研究并出现了许多实际变体（如 SAGA、SARAH、Spider），但这些方法从未在根本上与贝叶斯推断建立联系。虽然方差缩减已被应用于加速贝叶斯程序（如随机变分推断），但解释 SVRG 的贝叶斯原理，或使用贝叶斯方法推导新的 SVRG 扩展的深层理论联系一直处于缺失状态。此外，现有的牛顿风格 SVRG 变体通常仅对梯度进行修正，忽略了 Hessian 矩阵的修正，且标准 SVRG 在深度学习设置中难以提供相比于凸问题问题的加速效果。

方法论

作者通过将 SVRG 推导为**后验修正（Posterior Correction, PoCo）**的一个特例（PoCo 是最近提出的一种用于知识适应的贝叶斯方法，由 Khan, 2025 提出）来填补这一空白。

理论基础

贝叶斯学习规则 (BLR) 与自然梯度： 本研究利用了 BLR，该规则通过在指数族分布 $q(\theta)$ 上使用自然梯度来统一学习算法。在自然参数空间 $\lambda$ 中的更新规则为：
$\lambda \leftarrow (1-\eta)\lambda - \eta \sum_{i=0}^N \tilde{\nabla} L_i(\lambda)$
其中 $\tilde{\nabla}$ 表示自然梯度。
后验修正 (PoCo)： PoCo 通过引入一个较旧的后验估计 $\hat{q}_{out}$ （由较旧的参数 $\lambda_{out}$ 导出）来修正未来的更新，从而泛化了 BLR。更新规则变为：
$q_{in} \leftarrow q_{in}^{1-\eta} \hat{q}_{out}^{\eta} \exp\left( -\eta N [\hat{\ell}_{i|in} - \hat{\ell}_{i|out}] \right)$
这里 $\hat{\ell}$ 代表线性代理损失函数。这种形式有效地将梯度修正视为在旧梯度与新梯度之间进行知识转移的一种机制。
从 PoCo 推导 SVRG：
- 通过将后验 $q$ 限制为各向同性高斯分布 $N(\theta | m, I)$ 并应用 Delta 方法近似（ $\mathbb{E}_q[\nabla \ell] \approx \nabla \ell(m)$ ），PoCo 更新规则精确地简化为标准的 SVRG 更新规则。
- 这确立了 SVRG 是以各向同性高斯分布为知识载体的后验修正的一个特例。
通过灵活后验进行的创新扩展：
该框架允许通过选择不同的指数族后验来推导新算法：
- 类牛顿变体 (VON-PoCo)： 通过使用全多元高斯分布 $N(\theta | m, S^{-1})$ ，该方法自然地推导出了对均值和精度矩阵（逆协方差）的修正。这产生了一个随机方差缩减 Hessian (SVRH) 估计，它在修正梯度的同时也修正了 Hessian 矩阵。这不同于以往仅对梯度进行修正的 Newton-SVRG 研究工作。
- 类 Adam 变体 (IVON-PoCo)： 通过使用对角高斯分布，作者推导出了改进的变分在线牛顿（IVON）优化器的方差缩减版本。该变体被称为 IVON-PoCo（以及其动量版本 IVON-PoCoMo），可扩展至大规模问题。它利用“巨型批次”（数据的大子集）来估计全批量统计量，并采用降权因子 $\alpha$ 来处理偏离严格全批量假设的情况。

核心贡献

理论统一： 本文提供了 SVRG 与贝叶斯方法之间的第一个基本联系，表明 SVRG 是各向同性高斯分布下后验修正的一个特例。这通过后验修正的角度将 SVRG 重新定义为一种知识适应方法。
新算法推导：
- VON-PoCo： 一种牛顿风格的 SVRG 变体，它能自动结合 Hessian 修正，这是现有 Newton-SVRG 文献中所不具备的特征。
- IVON-PoCo： 一种类 Adam 的、可扩展的扩展，它将方差缩减应用于 IVON 优化器，适用于深度学习。
实证评估： 作者在逻辑回归、图像分类（CIFAR-10 和 ImageNet 上的 ResNet）以及语言模型预训练（GPT-2）上对这些方法进行了评估。

结果

凸问题（逻辑回归）： 在 MNIST、Covertype 和 CIFAR-10 等数据集上，VSGD-PoCo（一阶）和 IVON-PoCo（二阶）的表现均显著优于其非修正版本（VSGD 和 IVON）。它们实现了与全批量 L-BFGS 相当的准确率，但使用了更少的梯度计算次数，体现了 SVRG 为 SGD 提供的加速效果。
深度学习（ImageNet 与 GPT-2）：
- 在 ImageNet (ResNet-50) 上，以优化步数衡量时，IVON-PoCo 显示出明显的测试准确率提升，但在以观测到的总数据样本量衡量时，增益会减小（这与之前关于 SVRG 在深度学习中表现的研究结论一致）。
- 在 GPT-2 (125M) 预训练中，IVON-PoCoMo 与 AdamW 和标准 IVON 相比，提高了最终验证困惑度（perplexity）。然而，作者指出，这些改进尚未转化为实际的运行时间（wall-clock time）或梯度计算效率方面的加速，相比之下，直接增加批次大小或使用标准优化器更为高效。
- 结果与 Defazio & Bottou (2019) 的发现一致，表明方差缩减方法目前在深度学习领域面临着难以提供相对于凸问题设置中运行时加速的挑战。

重要性与主张

本文声称通过将 SVRG 与贝叶斯原理联系起来，为未来的工作奠定了基础。

新视角： 它提供了一种全新的解释，将 SVRG 视为一种知识适应方法，并通过后验修正的视角对其进行了泛化。
算法创新： 它证明了贝叶斯原理可以自动生成复杂的扩展（如 Hessian 修正），而这些扩展通过标准的 SVRG 启发式方法很难推导出来。
对深度学习的适度主张： 作者明确表示，虽然其方法提高了深度学习任务的最终模型性能（准确率/困惑度），但它们尚未在深度学习任务中提供与凸问题中观察到的相同的计算加速。他们认为这项工作是朝着未来可能提高方差缩减在深度学习中有效性的方向迈出的第一步，而非针对当前深度学习训练中运行时效率问题的即时解决方案。