📊 statistics

Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling

本文通过提出自适应批量缩放（ABS）方法挑战了大批量训练与强化学习不相容的传统观念，该方法根据策略稳定性动态调整批量大小，从而成功结合大网络与大批量以实现更优性能。

原作者： Jongchan Park

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Jongchan Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《通过自适应批量缩放实现可扩展的在线策略强化学习》的解释。

核心难题：AI 训练中的“金发姑娘”困境

想象你正在教一只狗新把戏。

小批量（Small Batch Size）： 你一次给狗一块零食，在每一个动作后立即纠正它。当狗感到困惑且学习迅速时，这非常有效。如果狗没理解，你可以立即改变教学方式。
大批量（Large Batch Size）： 你等到狗练习了一个小时，然后一次性给它一大堆零食和纠正。这很高效，能非常清晰地展示狗“平均”在做什么，但如果狗突然开始做奇怪的动作，这种方式的反应就很慢。

在人工智能领域（特别是强化学习，RL），人们长期认为你必须坚持“小批量”方法（一次教一步）。

为什么？ 因为 AI 在不断改变自己的想法。随着它学习，它眼中的世界也在变化。如果你等待太久才给予反馈（使用大批量），AI 可能已经发生了巨大变化，导致反馈变得无用甚至令人困惑。这就像给司机指示一条已经不复存在的道路。

新想法：“自适应批量缩放”（ABS）

这篇论文的作者说：“等一下。AI 改变想法的速度并不是始终如一的。”

他们提出了一种名为**自适应批量缩放（Adaptive Batch Scaling, ABS）**的方法。这就像一位聪明的老师，根据学生的表现稳定性来调整教学风格。

早期阶段（混乱模式）： 当 AI 刚开始时，它很狂野，正在探索，并犯下巨大的错误。它的行为从一秒到下一秒都在剧烈变化。
- 策略： 使用小批量。保持反馈快速且频繁。这允许 AI 保持灵活（可塑性），并迅速适应自己的错误。
后期阶段（稳定模式）： 随着 AI 变得更好，它不再剧烈摇摆。它开始进入良好的常规。它的行为变得可预测且稳定。
- 策略： 切换到大批量。既然 AI 已经稳定，你可以等待更长时间以收集更多数据。这会提供超精确、高质量的纠正，帮助 AI 完善技能并更快达到顶级表现。

秘密工具：“行为发散度”

AI 如何知道何时从“混乱模式”切换到“稳定模式”？它使用一种新的衡量标准，称为行为发散度（Behavioral Divergence）。

类比： 想象 AI 是一名舞者。
- 高发散度： 舞者挥舞着手臂，疯狂旋转，每一秒都在改变动作。老师看到这一点会说：“好吧，让我们停下来立即纠正你！”（小批量）。
- 低发散度： 舞者现在正在表演流畅、一致的套路。老师看到这一点会说：“太好了，你很稳定。让我看完你整整一分钟的舞蹈，然后再给你详细的点评。”（大批量）。

这篇论文引入了一个数学公式，用于精确测量 AI 的“舞步”（动作）在更新之间变化的程度。如果动作变化很大，批量大小就保持较小。如果动作稳定，批量大小就会增长。

结果：打破规则

长期以来，专家们认为在强化学习中无法使用“大批量”，因为数据太混乱了。他们还认为，让 AI 的“大脑”（神经网络）变大，会使训练变得更加困难。

这篇论文证明他们错了。

通过使用他们的“自适应批量缩放”方法：

他们打破了限制： 他们成功训练了使用比以往大得多的批量的 AI 智能体，而这通常会导致 AI 失败。
他们实现了扩展： 他们将这些大批量与巨大的 AI 大脑（更大的神经网络）相结合。在几乎所有其他 AI 领域（如图像识别或语言模型）中，更大的大脑 + 更大的批量 = 更好的结果。在强化学习中，这曾被认为是不可可能的。
结果： 他们的方法在标准视频游戏测试（Atari 游戏）上优于旧的“仅小批量”方法。它在开始时学习得更快，并在结束时表现得更强。

总结

这篇论文认为，对 AI 训练采取“一刀切”的方法是错误的。与其永远强制使用小批量，不如随着 AI 变得更加稳定，让批量大小逐渐增长。通过测量 AI 行为的变化程度，系统会自动在“快速、灵活的学习”和“缓慢、精确的打磨”之间切换，从而解锁训练更智能、更庞大 AI 智能体的能力。

技术摘要：通过自适应批量缩放实现可扩展的在线策略强化学习

1. 问题陈述

强化学习（RL）领域的传统观点认为，大批量训练与该领域 fundamentally 不相容。与监督学习不同（在监督学习中，增加批量大小可以稳定梯度估计并支持大规模模型的训练，即遵循缩放定律），强化学习从业者通常依赖适中的批量大小（例如 256–1024）。这一限制归因于强化学习中数据分布固有的非平稳性；随着策略（ $\pi_\theta$ ）的更新，数据分布发生偏移，从而产生偏差 - 方差权衡。

主流观点认为，将批量大小增加到超过某个临界阈值会导致收益递减或性能下降。人们认为，大批量会导致智能体在训练早期不稳定的阶段过拟合于瞬态、不稳定的轨迹。因此，标准做法倾向于使用小批量，以维持模型的可塑性并适应不断变化的分布，即使在使用大规模架构时也是如此。本文挑战了这种观点的静态性质，论证非平稳性的程度并非恒定，而是在整个训练过程中不断演变。

2. 方法论：自适应批量缩放（ABS）

作者提出了自适应批量缩放（ABS），这是一个根据学习策略的稳定性动态调整有效批量大小的框架。其核心假设是，强化学习训练包含两个截然不同的阶段：

早期阶段（高非平稳性）： 以快速的行为变化为特征。需要小批量来保持可塑性，并防止过拟合于不稳定的轨迹。
晚期阶段（近平稳性）： 随着策略收敛，数据分布趋于稳定。大批量变得有益，能够抑制梯度噪声并实现精确收敛。

关键组件

行为发散度（ $\delta_\pi$ ）： 一种新引入的指标，用于量化策略的非平稳性。它衡量在参考批量上，当前策略（ $\pi_\theta$ $π_{θ}$ ）与上一策略（ $\pi_{\theta_{old}}$ $π_{θ_{o l d}}$ ）之间偏好动作发生变化的状态比例。
- 形式化定义： $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$ 。
- 高 $\delta_\pi$ 表示高波动性（早期阶段）；低 $\delta_\pi$ 表示稳定性（晚期阶段）。
动态缩放调度： 有效批量大小（ $|B|$ $∣ B ∣$ ）与行为发散度成反比缩放。
- 展开长度（ $L_{adapt}$ ）根据归一化后的发散度，在对数尺度上于最小值（ $L_{min}$ ）和最大值（ $L_{max}$ ）之间进行调整。
- 当 $\delta_\pi$ 较高（快速变化）时， $L_{adapt}$ 设置为 $L_{min}$ （小批量）。
- 当 $\delta_\pi$ 较低（稳定）时， $L_{adapt}$ 缩放至 $L_{max}$ （大批量）。
集成： 该方法与**并行化 Q 网络（PQN）**算法集成。行为发散度的计算仅依赖于前向传播，因此与需要反向传播的方法（例如梯度噪声尺度）相比，其计算效率更高。

3. 主要贡献

强化学习非平稳性的量化： 引入行为发散度作为一种实用的、基于前向传播的指标，用于衡量连续策略更新之间的动作级变化。
自适应批量缩放框架： 一种简单而有效的算法，能够根据策略稳定性动态缩放批量大小（展开长度），弥合了早期训练对可塑性的需求与晚期训练对稳定性的需求之间的差距。
可扩展性验证： 实证证明，ABS 能够在 ALE 基准测试中通过更大的批量大小提升性能，特别是当与更大的网络架构（例如 ResNet 风格的多跳跃模型）结合使用时，这种缩放行为此前被认为在强化学习中无法实现。

4. 实验结果

该方法使用 PQN 算法在Atari-57和Atari-10基准测试上进行了评估，并扩展到了连续控制（MuJoCo）和离线策略设置（BTR）。

性能与固定批量对比： ABS 在大多数环境中优于原生 PQN 以及固定的小批量/大批量基线。它实现了更高的早期阶段得分（得益于小批量）和更低的晚期阶段方差（得益于大批量）。
与 GNS 的比较： ABS 在样本效率和最终性能方面均优于梯度噪声尺度（GNS）方法，同时由于避免了额外的反向传播，其计算效率显著提高。
与大规模模型的可扩展性： 当应用于更大的架构（PQN-L 和 PQN-XL）时，ABS 始终提升了性能。关键在于，虽然使用固定大批量会降低大模型的性能，但ABS（从小批量缩放至大批量）释放了这些模型的潜力，实现了最佳性能。这证实了模型规模与自适应批量有效性之间存在正相关关系。
泛化性：
- 连续控制： 将 ABS 应用于 MuJoCo 上的 PPO，使用 KL 散度作为非平稳性代理，提高了样本效率和最终性能。
- 离线策略强化学习： 将 ABS 应用于 BTR，仅需最小修改（将展开长度替换为批量大小范围），在 5 个 Atari-5 环境中的 4 个提升了性能。

5. 意义与主张

本文主张挑战“大批量训练与强化学习不相容”的“传统智慧”。通过证明非平稳性是一个演变的属性而非固定的约束，作者表明，当进行自适应管理时，更大的网络和更大的批量大小可以在强化学习中实现最佳性能。

这项工作的意义在于其具有释放强化学习缩放潜力的潜力，使高容量的强化学习智能体能够利用推动监督学习（例如大型语言模型和视觉 Transformer）成功的大批量训练优势。作者将 ABS 定位为迈向可扩展强化学习的基础性步骤，弥合了大规模下强化学习与监督学习之间的性能差距。

局限性与未来方向：
作者指出，虽然当前工作专注于在线策略算法，但未来的工作包括将 ABS 扩展到离线强化学习、在基于 Transformer 的架构上进行验证，以及将该方法集成到大型语言模型对齐技术（例如 GRPO）中，以实现可扩展的强化学习人类反馈（RLHF）。