📊 statistics

AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods

本文介绍了 AdAdaGrad 及其标量变体 AdAdaGradNorm，这是一种针对自适应梯度方法的自适应批次大小方案，通过在训练过程中逐步增加批次大小，以实现理论上的收敛保证，并提高大规模深度学习中的训练效率和模型泛化能力。

原作者： Tim Tsz-Kit Lau, Han Liu, Mladen Kolar

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tim Tsz-Kit Lau, Han Liu, Mladen Kolar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，最强大的工具是通过教计算机从浩瀚的数据海洋中学习来构建的。这种学习过程依赖于一种被称为随机梯度下降的方法，你可以将其想象成一名试图在雾气缭绕的山谷中寻找最低点的徒步旅行者。徒步者无法一次看到整个景观，因此他们根据脚下地面的坡度迈出小步。为了高效移动，徒步者必须决定在迈出下一步之前检查多少样本量。如果检查得太少，他们的视野就会充满噪声，可能会踉跄跌倒；如果检查得太多，他们的移动速度就会变慢并浪费时间。多年来，大规模训练中的主流策略是尽可能一次检查更多的地面，利用大规模的数据组来加速过程。然而，这种方法往往会导致一个微妙的问题：虽然计算机能很好地学习训练数据，但在处理新的、未见过的数据时却表现不佳。这种被称为“泛化差距”的脱节表明，数据组的大小本身与学习的速度同样重要。

研究人员 Tim Tsz-Kit Lau、Han Liu 和 Mladen Kolar 开发了一种新方法来解决这一困境，引入了一个能在训练期间自动调整数据组大小的系统。该方法名为 AdAdaGrad，它并不固守一个固定的数值或遵循僵化的计划，而是实时观察学习过程，并决定何时增加正在处理的数据量。其核心思想是：从一个规模较小、易于管理的组开始，以实现灵活的学习，然后随着模型信心的增强，逐渐扩大组的大小。这种扩张并非随机的，而是由一个衡量数据组内部一致性的统计测试驱动的。如果数据组保持一致，系统就知道可以安全地同时观察更多数据；如果数据组存在噪声，系统则保持较小的规模，以防止模型产生混乱。这种动态调整让计算机能够在训练后期享受大规模数据组带来的速度，同时在训练早期保持小规模数据组的谨慎与精准。

研究人员在多项任务上测试了这一想法，范围从简单的数学问题到识别手写数字及汽车或飞机等物体的复杂图像识别系统。在这些实验中，他们将这种自适应方法与使用固定批次大小的标准方法进行了对比。结果显示，该系统可以在使用更少总步数的情况下，实现对新数据的高准确率。例如，在训练神经网络识别 CIFAR-10 数据集中的图像时，该自适应方法通过特定的配置达到了超过 90% 的验证准确率，而固定大小的方法往往难以在不牺牲速度的情况下达到这种性能。研究发现，这种自适应方法在缩小模型学习训练数据与在处理新数据表现之间的差距方面特别有效。这表明，模型何时看到大量数据的时间点，与数据量本身一样关键。

这项工作的关键发现是，即使结合了能够自动调整自身步长的现代学习算法，这种自适应策略依然有效。研究人员从数学上证明，该方法以高概率收敛到一个稳定的解，这意味着模型会可靠地找到一个好的答案，而不会陷入停滞或发散。他们还证明了该方法在实践中是高效的，能够通过最终切换到极大的数据组，充分利用现代计算机硬件的性能。在一次涉及大型图像识别网络的特定测试中，该自适应方法在训练过程的大部分时间内都使用了最大可用的数据组大小，但其取得的结果仍优于始终使用固定较小组的方法。这表明该系统成功平衡了速度与精准的需求。

论文还强调，这种方法并不局限于单一类型的学习算法。研究人员展示了相同的自适应逻辑可以应用于不同的梯度下降变体，包括那些为模型每个独立参数调整学习率的算法。虽然这些变体的数学细节各不相同，但通过监测数据一致性来决定组大小的核心原则在各种情况下都保持有效。作者指出，虽然目前的实验侧重于使用较小的模型和数据集来演示概念，但该方法旨在扩展到用于现代人工智能的庞大系统。他们承认，在多台计算机协同工作的分布式环境下实现这一目标存在工程挑战，需要进一步的研究。然而，理论保证和积极的实验结果表明，这为更高效、更有效地训练大型模型提供了一条充满希望的路径。

最终，这项工作为计算机如何从数据中学习提供了一种全新的思考方式。它不再认为“越大越好”或者“固定的计划是管理复杂性的唯一途径”。相反，它提出了一个能够随着学习过程展开而不断响应的系统。通过让数据本身来决定学习的节奏和范围，研究人员证明了训练出既快速又准确的模型是可能的。这些自适应方案的成功表明，大规模模型训练的未来可能在于灵活性，即允许系统以一种固定规则无法提供的直觉，去应对人工智能那复杂的景观。

技术摘要：AdAdaGrad —— 针对自适应梯度方法的自适应批量大小方案

1. 问题陈述

在大规模深度学习中，小批量随机梯度优化中的批量大小（batch size）选择是一个关键超参数，它在计算效率与模型泛化能力之间进行权衡。虽然由于硬件进步（GPU/TPU），大批量训练已成为主流，但它往往会导致“泛化间隙”（generalization gap），即使用大批量训练的模型泛化能力通常不如小批量训练的模型。这一现象归因于大批量训练倾向于收敛到损失函数景观中的尖锐极小值（sharp minima）。

现有的缓解这一间隙的策略通常依赖于启发式的批量大小调度（例如常数大小或线性预热），或自适应学习率缩放（例如 AdaScale）。然而，这些方法通常缺乏严谨的理论收敛保证，特别是对于在现代深度学习中广泛应用的自适应梯度方法（如 AdaGrad 和 Adam）。此外，现有的自适应采样方法（通过动态调整批量大小来基于梯度统计量）主要是在随机梯度下降（SGD）下进行的分析，且受限于严格的假设（如凸性或固定步长），这导致自适应优化器在非凸设置下的理论与实践之间存在脱节。

2. 方法论

本文引入了 AdAdaGrad 及其标量变体 AdAdaGrad-Norm，它们将自适应批量大小策略与自适应梯度更新相结合。核心方法论依赖于最初为 SGD 开发的自适应采样方法，但在本文中被适配到了坐标维度和标量自适应步长上。

2.1 自适应采样测试

算法根据随机梯度相对于全梯度的方差，在训练过程中动态增加批量大小 $b_k$ 。主要采用了两种测试方法：

范数测试（Norm Test）： 检查批量梯度的方差是否被全梯度的平方范数的一个比例所界定。
$\text{Var}_{i \in B_k}(\nabla f(x_k; \xi_i)) \leq \eta^2 \|\nabla F_{B_k}(x_k)\|^2$
增强内积测试（Augmented Inner Product Test）： 一种更温和的替代方案，它控制样本梯度在批量梯度上的投影的方差，并结合正交性测试以确保批量梯度不会与全梯度几乎正交。

2.2 与自适应优化器的集成

所提方案将这些批量大小规则与以下方法结合：

AdaGrad-Norm： 使用标量步长 $\alpha / \sqrt{v_k}$ 更新参数，其中 $v_k$ 累积了过去梯度的平方范数。
AdaGrad： 使用坐标维度的步长 $\alpha / \sqrt{v_k}$ 更新参数，其中 $v_k$ 按元素累积平方梯度。
坐标维度自适应（Coordinate-wise Adaptation）： 对于 AdaGrad，本文提出了一个坐标维度精确方差范数测试，确保方差条件在每个参数维度上独立成立。这对于 AdaGrad 的对角预处理器至关重要。

2.3 实现细节

实际实现使用从当前小批量中计算出的经验批量统计量来估计方差并确定下一个批量大小。这与理论分析形成对比，理论分析假设了一个“精确测试”版本，即选择满足总体水平方差条件的批量大小。作者使用 PyTorch 中的 torch.func 和 vmap 来实现这些方案，以实现高效的逐样本梯度计算。

3. 核心贡献

3.1 理论贡献

收敛保证： 本文证明了对于光滑非凸函数，在 $K$ 次迭代内具有 $\mathcal{O}(1/K)$ 的高概率收敛速率。这相比于标准自适应方法在有界方差下常见的 $\mathcal{O}(1/\sqrt{K})$ 速率是一个显著的改进。
广义光滑性（Generalized Smoothness）： 对 AdAdaGrad-Norm 的收敛分析被扩展到了满足 $(L_0, L_1)$ -光滑性（广义光滑性）的函数，相比于标准的 $L$ -Lipschitz 光滑性，这一条件对于深度学习架构（如 Transformer）更为现实。
期望强增长（Expected Strong Growth, E-SG）： 作者证明了满足精确自适应采样测试意味着沿迭代路径满足期望强增长条件，这是实现改进收敛速率的关键驱动力。
针对自适应优化器的创新分析： 该分析解决了将随机梯度同时耦合在更新方向和自适应分母（例如 $\sqrt{v_k}$ ）中的技术挑战，这一特征在标准 SGD 分析中并不存在。

3.2 实证贡献

弥合泛化间隙： 在图像分类任务（MNIST, CIFAR-10）上的实验表明，所提方案可以缩小小批量与大批量之间的泛化间隙。
效率与泛化的权衡： 这些方法允许从较小的批量开始（为了泛化），并逐步增加到大批量（为了效率），而无需手动调度。
性能表现：
- AdAdaGrad（配合范数测试）在验证准确率方面持续优于常数批量基准线和标准的自适应方法，同时保持了较高的训练效率。
- AdAdaGrad-Norm 展示了强大的性能，尽管在某些凸设置下，其表现可能逊于带有自适应批量大小的 SGD。
- AdAdam： 作为 Adam 的扩展（AdAdam）展示了类似的趋势，能够以比常数批量 Adam 更少的步骤实现高准确率和大有效批量。

4. 结果

论文通过以下数值实验验证了其主张：

逻辑回归 (MNIST)： 在一个凸问题中，AdAdaGrad 取得了最佳的验证准确率（90%）和损失，尽管在计算步骤上取决于 $\eta$ 参数。
三层 CNN (MNIST & CIFAR-10)： 在非凸目标函数上，AdAdaGrad 在验证准确率方面显著优于 AdaSGD 和常数批量基准线。例如，在 MNIST 上， $\eta=0.1$ 的 AdAdaGrad 在 149 次迭代内达到了 96% 的准确率，而平均批量大小大于 40,000；相比之下，常数大批量则面临泛化能力下降的问题。
ResNet-18 (CIFAR-10)： 所提方案成功训练了更大的模型。 $\eta=0.025$ 的 AdAdaGrad 在后期使用了全批量（50,000），仅比常数批量为 50,000 的基准线多用了 23 个步骤就达到了高准确率，同时避免了常数大批量基准线中出现的泛化性能下降。

5. 重要性与主张

本文声称是首个专门针对自适应梯度方法提供基于自适应采样方案的自适应批量大小方案的研究，并具备以下特点：

对于光滑非凸目标具有严谨的收敛保证（高概率 $\mathcal{O}(1/K)$ 速率）。
在减少大批量训练中的泛化间隙方面具有强大的实证表现。
具有与现代深度学习库（PyTorch）兼容的高效实现。

作者强调，其工作突显了自适应批量大小策略在自动化平衡训练效率与模型泛化能力方面的潜力，特别是在自适应优化器（现已成为大规模模型训练的标准，如 Transformer）的背景下。他们指出，虽然理论结果依赖于理想化的“精确测试”条件，但使用近似批量测试的实证结果验证了该方法的实用价值。

局限性与未来工作： 论文承认，坐标维度测试对于高维模型而言计算成本较高，因此在实验中使用了标准的范数测试。同时，作者也指出，将这些方案扩展到分布式训练范式（数据并行、张量并行）仍是一个有待研究的开放领域。