🤖 AI

Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning

本文介绍了熵缩放信任区域（Entropy-Scaled Trust Regions, ESTR），这是一种新颖的异步强化学习方法，它通过基于 Token 熵动态调整离策校正阈值，以区分有害的采样噪声与合法的探索，从而在不牺牲准确性的情况下，实现了比同步 GRPO 更高的训练稳定性以及 2.6 倍的加速。

原作者： Guanqun Zhao, Zijun Xie, Binbin Zheng, Enlei Gong, Jiafeng Lu, Yehan Yang, Aoqi Hu, Zeyu Chen

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guanqun Zhao, Zijun Xie, Binbin Zheng, Enlei Gong, Jiafeng Lu, Yehan Yang, Aoqi Hu, Zeyu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何解决复杂的谜题，比如走迷宫或做高级数学题。为了变得更厉害，机器人需要通过尝试、观察结果并从这些尝试中学习来进行练习。这个过程被称为“强化学习”。通常情况下，如果机器人在尝试的同时也进行学习，利用其最新的知识，它会学得最好。但问题在于，如果机器人正在尝试解决一个非常漫长且复杂的谜题，这需要花费大量时间，那么等待一次尝试完成后再开始下一次尝试会极其缓慢。这就像一位厨师做完一顿饭，品尝一下，写下一份新食谱，然后等待厨房冷却下来后才开始做下一顿饭。

为了提高速度，工程师们使用了一种“异步”学习的技巧。与其等待，不如让机器人在其“大脑”（优化策略）同时根据旧的尝试进行更新时，继续生成新的尝试（即“展开”过程）。这就像一个繁忙的厨房，主厨在烹饪新菜肴的同时，副厨正在品尝五分钟前开始制作的一道菜。问题在于，“旧”的菜肴在制作过程中使用的食谱可能与主厨当前使用的食谱略有不同。如果厨师在没有意识到食谱在中途发生了变化的情况下，试图从这道旧菜中学习，他们可能会感到困惑，学到错误的教训，甚至开始做出糟糕的食物。这种困惑就是研究人员所说的“离策”（off-policy）数据，它会导致机器人的性能崩溃。

这篇题为《解构离策比例：用于异步强化学习的熵缩放置信区域》（Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning）的论文，正是针对这种崩溃问题进行的探讨。来自百度和几所顶尖大学的研究团队发现，通常用来解决这种困惑的方法是有缺陷的。他们发现，标准方法就像一个僵化的保安，无论情况如何，只要有人看起来“太不一样”，就会阻止他们。研究人员意识到，在异步学习这个混乱且快节奏的世界里，“看起来不一样”并不总是坏事。有时，与众不同实际上是健康探索的标志，尤其是在机器人不确定该做什么的时候。

该团队引入了一种新方法——ESTR（熵缩放置信区域）。ESTR 不再使用单一、僵化的规则来决定保留哪些数据，而是像一位理解情境的智者。它会观察机器人在任何给定时刻的“不确定性”或“困惑程度”（一个被称为熵的概念）。如果机器人非常有信心（低熵），这位导师就会很严格：任何微小的错误都会被视为危险的噪声并被丢弃。但如果机器人处于不确定和探索阶段（高熵），导师就会很宽容：允许大的变化，因为这些变化可能是找到更好解决方案的关键。

通过使用这种灵活的、具备上下文感知能力的方法，研究人员发现 ESTR 可以保持训练的稳定与快速。在测试中，它使机器人的学习速度比旧的、缓慢的同步方法快了 2.6 倍，同时仍能达到同样高的准确度水平。他们证明了，通过根据机器人的不确定程度来缩放规则，他们可以过滤掉危险的噪声，而不会误将那些通往突破的、有价值的勇敢探索给丢弃掉。事实证明，在教导人工智能的竞赛中，你不仅需要速度，还需要一种聪明的方法，知道何时该严格，以及何时该让机器人去探索。

技术摘要：基于熵缩放置信区域的离策比例解构

问题陈述

异步强化学习（RL）已成为扩展大语言模型（LLM）后训练阶段的关键范式，特别是在长程智能体任务和复杂推理领域。通过将轨迹生成（rollout）与策略优化解耦，异步系统比同步方法实现了显著更高的吞吐量。然而，这种效率是以陈旧的、离策（off-policy）数据为代价的。

在异步设置中，由于“在途”（in-flight）更新的存在，单个轨迹可能跨越多个不同版本的策略权重。这产生了两个主要挑战：

行为策略定义不明： 一个轨迹是由多个发散的策略版本混合生成的，而非由单一、明确的行为策略生成，这使得标准的离策修正变得困难。
不稳定与策略崩溃： 针对陈旧数据进行优化会引入高方差梯度。现有的稳定化方法通常依赖于对重要性比例（importance ratios）进行仅基于幅度的阈值处理（例如裁剪或硬掩码），这类方法无法区分有害噪声与合法的探索。

本文指出当前方法存在一个根本性缺陷：它们对每个 token 的局部不确定性（熵）不加区分地应用统一阈值。这导致了两种失效模式：

低熵： 在高置信度位置，微小的训练与推理差异会因为接近零的分母而被放大为巨大的重要性比例。固定阈值会错误地保留这些比例，从而引入被放大的采样噪声。
高熵： 在异步版本切换期间，合法的探索会诱发较大的重要性比例。固定阈值会错误地掩盖这些本质的偏差，从而抑制必要的探索并导致训练崩溃。

方法论：熵缩放置信区域 (ESTR)

作者提出了熵缩向置信区域（Entropy-Scaled Trust Region, ESTR），这是一种根据每个 token 的局部熵动态缩放置信区域边界的 token 级机制。

核心洞察：熵-比例缩放关系

通过经验分析和理论推导，本文建立了一个结论：重要性比例 ( $\delta_t$ ) 的自然尺度与 token 熵 ( $H_t$ ) 本质上是耦合的。具体而言，对数重要性比例的二阶矩随熵线性缩放：
$E[\delta_t^2] \propto H_t$
这一关系意味着，“有效”的偏差范围并非一条固定的水平线，而是一条随着熵增加而扩张的曲线。

ESTR 机制

ESTR 不再检查 $|\delta_t| \leq c$ （一个固定常数），而是通过局部熵来标准化偏差。

标准化偏差： 该方法定义了一个标准化得分 $z_t$ ：
$z_t \triangleq \frac{\delta_t}{\sqrt{H_t + \epsilon}}$
其中 $\epsilon$ 是一个防止除以零的小常数。
熵缩放保留规则： 如果其平方得分落在预算 $\tau$ 之内，则保留该 token：
$S_t = \frac{\delta_t^2}{H_t + \epsilon} \leq \tau \iff |\delta_t| \leq \sqrt{\tau(H_t + \epsilon)}$
目标函数集成： 该规则作为 PPO/GRPO 目标函数上的硬掩码 ( $M_{i,t}$ ) 起作用。违反熵缩放边界的 token 会被完全置零，而处于边界内的 token 则进行标准的裁剪。

理论特性

严格泛化性： 固定阈值法被证明是 ESTR 的一个退化情形，即假设熵为常数。
噪声过滤 vs. 探索保留：
- 在低熵时，边界收紧（收缩至 $\sqrt{\tau\epsilon}$ ），从而过滤掉困扰高置信度 token 的放大采样噪声。
- 在高熵时，边界变宽（ $\propto \sqrt{H_t}$ ），从而保留由在途版本切换引起的较大偏差，这些偏差代表了真实的探索。
无额外开销： 该方法仅需从推理侧的 logits 中读取熵，无需额外的正向传播或显式的版本切换检测逻辑。

核心贡献

基础性的熵-比例关系： 本文证明了重要性比例的自然尺度受 token 熵支配，揭示了仅基于幅度的掩码无法区分异步动力学中的噪声与漂移。
异步陈旧性的分解： 作者识别并形式化了“轨迹内版本切换”这一独特的陈旧性来源，它会导致熵与重要性比例同时激增，这构成的是有效的探索而非误差。
ESTR 算法： 提出了一个随局部熵缩放的 token 级置信区域。它不需要行为策略重建或辅助信号，却能有效稳定训练。
实验验证： 证明了 ESTR 始终优于现有的异步基准，并能匹配同步性能，同时显著提高训练速度。

实验结果

作者在长程智能体任务（BrowseComp-Plus）和数学推理基准（GSM8K, AIME 2024–2026）上使用 Qwen3-30B-A3B 和 Qwen2.5-7B 模型对 ESTR 进行了评估。

性能表现：
- 在 BrowseComp-Plus 上，ESTR 达到了 37.3 avg@1，超过了最佳异步基准（KPop 为 34.9），并接近同步 GRPO（38.55）。
- 在 GSM8K 上，ESTR 达到了 95.7，基本匹配同步 GRPO，而其他异步基准则崩溃至 60–71。
- 在 AIME 基准测试中，ESTR 达到了 17.04 avg@4，紧随同步基准（17.54），并取得了最高的 pass@4（28.38 vs. 27.68）。
稳定性： ESTR 在整个训练过程中保持了稳定的策略熵和最低的 Rollout-Target KL 散度。相比之下，IcePop 和 KPop 等基准表现出不稳定的熵激增和不可逆的性能下降。
效率： 通过将生成与训练解耦，ESTR 在没有精度损失的前提下，实现了比同步 GRPO 高出 2.6 倍的训练吞吐量。
Token 掩码： ESTR 掩码的 token 数量显著减少（大约低一个数量级）较固定阈值方法，这表明它仅过滤有害噪声，而非不加区别地截断高比例 token。

意义与主张

本文声称 ESTR 解决了异步 LLM RL 的核心矛盾：在获得异步带来的吞吐量优势的同时，不牺牲在线（on-policy）训练的稳定性。

范式转变： 本研究认为，异步 RL 中的置信区域不应由全局幅度阈值定义，而必须是状态相关的，即随 token 的局部熵进行缩放。
鲁棒性： 通过将置信区域与离策偏差的自然尺度对齐，ESTR 吸收了轨迹内版本切换带来的扰动，且无需复杂的陈旧性检测或行为策略重建。
可扩展性： 该方法使 RL 能够扩展到长程、多轮对话的智能体任务，在这些任务中，同步方法过于缓慢，而现有的异步方法则过于不稳定。

作者总结道，ESTR 提供了一种原则性的、低开销的解决方案，能够在实现异步优化全吞吐量的同时确保训练稳定性，使其成为未来 LLM 后训练流水线中扩展 RL 的可行路径。