🤖 AI

AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning

本文介绍了 AEM，一种用于多轮智能体强化学习的无需监督的信用分配方法，该方法通过自适应调节响应级熵动力学来改善探索与利用的权衡，并在 SWE-bench-Verified 等具有挑战性的基准测试中实现了最先进的性能。

原作者： Haotian Zhao, Yuxin Zhang, Songlin Zhou, Stephen S. -T. Yau, Wenyu Zhang, Lun Tian, Tianshu Zhu, Yifeng Huang, Yucheng Zeng, Jingnan Gu, Daxiang Dong, Jianmin Wu

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haotian Zhao, Yuxin Zhang, Songlin Zhou, Stephen S. -T. Yau, Wenyu Zhang, Lun Tian, Tianshu Zhu, Yifeng Huang, Yucheng Zeng, Jingnan Gu, Daxiang Dong, Jianmin Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明但缺乏经验的机器人助手如何解决复杂的多步骤谜题，例如在虚拟房屋中导航以找到特定物品，或调试一段计算机代码。机器人尝试不同的动作，但只有在整个过程的最后才会收到“干得好！”或“再试一次”的反馈。它并不知道哪一个具体步骤对最终结果起到了帮助或阻碍作用。这正是本文要解决的核心问题：当奖励仅在终点出现时，如何将功劳归于正确的步骤？

作者提出了一种名为**AEM（自适应熵调节）**的新方法。以下是其工作原理，辅以简单的类比：

问题所在：“盲目”的导师

在传统训练中，机器人会执行一系列漫长的动作（称为“轨迹”）。如果它成功了，导师会说“干得漂亮！”，机器人便认为它采取的每一步都是好的。如果它失败了，导师会说“干得不好！”，机器人便认为每一步都是坏的。

缺陷：这就像一个学生参加了一场包含 10 道题的数学考试。如果学生得了满分，老师会表扬第 3 题，尽管第 3 题只是幸运猜中的，而第 7 题才是他们真正挣扎的难题。机器人会感到困惑，不知道应该继续做什么，又应该停止做什么。

解决方案：AEM（“信心计”）

本文提出了一种方法，让机器人审视自身的“信心”（文中称为熵），以此判断哪些步骤实际上是好的或坏的。

将熵想象成机器人的不确定性计：

高熵（高不确定性）：机器人在胡乱猜测。它正在探索新的、有风险的路径。这就像学生因为不懂材料而胡乱猜测答案。
低熵（高信心）：机器人对自己的答案很有把握。它正在利用已知的知识。这就像学生自信地写下自己已熟记的公式。

AEM 如何运作：“智能教练”

AEM 就像一位智能教练，实时观察机器人的信心计，并根据具体情况调整“表扬”或“批评”。

当机器人在探索时（训练早期）：
- 机器人不确定，正在尝试许多不同的事物（高熵）。
- 如果它犯了错，教练会说：“没关系！你正在探索。下次让我们尝试一些更不同的东西。”（AEM 增加了探索的压力）。
- 如果它幸运地成功了，教练会说：“太棒了！但既然你只是在猜测，先别太自满。”（AEM 保持探索的持续进行）。
当机器人在利用时（训练后期）：
- 机器人已经掌握了规则并充满信心（低熵）。
- 如果它犯了错，教练会说：“等等，你本该对这一点很有把握的！你需要重新思考你的策略。”（AEM 增加了改变的压力）。
- 如果它成功了，教练会说：“完美！你清楚自己在做什么。就继续完全照这样做。”（AEM 强化了这种自信的行为）。

魔法技巧：
本文从数学上证明，可以利用机器人自身的“惊讶”程度（即其答案与其通常行为相比的意外程度），自动决定是鼓励它更大胆（探索）还是更谨慎（利用）。你不需要人类去评估每一个步骤，也不需要额外的数据。机器人利用其内部的“信心”进行自我修正。

结果：制胜策略

作者在三种不同类型的“谜题”上测试了这种方法：

ALFWorld：一款基于文本的游戏，机器人需要在虚拟房屋中清洁、烹饪和整理。
WebShop：一个模拟的在线购物任务，机器人需要搜索并购买特定物品。
SWE-bench：一项极具挑战性的任务，机器人需要修复真实世界软件代码中的错误。

发生了什么？

机器人学习得更快，解决的谜题也比以前更多。
在最难的软件工程测试（SWE-bench）上，将 AEM 添加到现有最佳方法中，将成功率提高了1.4%。虽然这听起来很小，但在人工智能领域，对于如此困难的任务而言，这是一个巨大的飞跃。
该方法在小型和超大型 AI 模型（从 15 亿到 320 亿个“脑细胞”）上均表现良好。

为何重要

本文声称 AEM 是一个“即插即用”的工具。这意味着你可以将几乎任何现有的 AI 训练系统接入这个“信心计”，而无需重建整个系统或雇佣更多人去评估机器人的工作。它帮助 AI 自然地判断何时应成为狂野的探索者，何时应成为专注的专家，从而以更少的麻烦获得更好的结果。

简而言之： AEM 教导 AI 智能体倾听自身的“直觉”（不确定性），以知道何时尝试新事物，何时坚持行之有效的方法，使它们在无需人类微观管理每一步的情况下，更擅长解决复杂的多步骤问题。

以下是论文《AEM：面向多轮智能体强化学习的自适应熵调制》的详细技术总结。

1. 问题陈述

本文解决了在训练大语言模型（LLM）智能体执行**多轮强化学习（RL）**任务（如软件工程、网页导航、具身智能体）时面临的一个关键瓶颈。

稀疏奖励：在智能体强化学习中，反馈通常是仅基于结果的（轨迹结束时的成功/失败）。这使得难以将信用分配给中间步骤，导致梯度方差极高。
现有方案的局限性：
- 过程奖励模型（PRMs）：需要密集的中期监督和额外的模型训练，增加了复杂性并降低了泛化能力。
- 自监督方法：现有方法（如 GiGPO、IGPO）通常存在上下文不一致、分组偏差或受限的结构假设等问题。
- 树状结构方法：虽然有效，但在多轮设置中会产生高昂的计算开销。
核心挑战：需要一种无需监督、可扩展且细粒度的信用分配方法，能够在不依赖外部标注或繁重计算的情况下，自适应地平衡探索（尝试新动作）与利用（优化已知的好动作）。

2. 方法论：自适应熵调制（AEM）

作者提出了AEM，这是一种基于响应级熵动力学在强化学习训练期间调制优势信号的即插即用算法。

理论基础

作者建立了响应级熵与信用分配之间的理论联系：

响应级熵（ $H_{resp}$ ）：不同于 token 级熵，他们在完整智能体响应（动作）的层面定义熵。这降低了采样方差，并提供了更稳定的不确定性度量。
熵漂移定理：他们证明了训练期间全局熵的漂移受采样响应的优势（ $A$ $A$ ）与其相对惊讶度（ $S - H_{resp}$ $S - H_{r es p}$ ）之间相互作用的支配。
- 如果响应具有高优势但低相对惊讶度（它是预期的但表现良好），熵应降低（利用）。
- 如果响应具有负优势但高相对惊讶度（它是意外的且表现糟糕），熵应增加（鼓励远离该路径的探索）。
自然梯度：分析是在策略单纯形的 Fisher-Rao 几何中进行的，表明熵动力学内在于策略更新方向。

AEM 算法

AEM 作为标准基于组的 RL 估计器（如 GRPO）之上的轻量级修饰符起作用：

不确定性代理：对于展开组中的每个响应，AEM 使用该响应的平均 token 级熵来计算相对惊讶度的代理值。
调制系数（ $\alpha$ ）：
- 响应在其组内进行归一化（最小 - 最大缩放）。
- 温度缩放的指数函数将归一化熵转换为系数 $\alpha$ 。
- 逻辑：
  - 低熵（高置信度） $\rightarrow$ $\alpha > 1$ （若为正则加权，若为负则减权）。
  - 高熵（低置信度） $\rightarrow$ $\alpha < 1$ （若为正则减权，若为负则加权）。
优势重缩放：基础优势（ $A_{base}$ ）被重缩放： $A_{AEM} = \alpha \cdot A_{base}$ 。
自适应过渡：
- 训练早期：由负样本主导；AEM 诱导熵增加压力以促进探索。
- 训练后期：由正样本主导；AEM 诱导熵减少压力以促进收敛和利用。

3. 主要贡献

理论表征：本文首次对智能体强化学习中的响应级熵动力学进行了理论分析，证明了局部熵漂移是由优势与相对惊讶度的乘积驱动的。
AEM 算法：一种新颖的无需监督的信用分配方法，不需要额外的模型、密集奖励或复杂的结构假设。它可作为即插即用组件集成到现有的 RL 框架中。
隐式探索 - 利用控制：AEM 根据正/负样本的演变平衡，自然地将策略从探索过渡到利用，消除了对手工熵调度计划的需求。

4. 实验结果

作者在三个具有挑战性的基准测试（ALFWorld、WebShop、SWE-bench-Verified）上评估了 AEM，使用的模型参数范围从15 亿到 320 亿。

ALFWorld 与 WebShop：
- AEM 一致地改进了最先进的基线（GRPO、GSPO、DAPO）。
- 性能提升：在使用 15 亿参数模型时，在 ALFWorld 上实现了**8.8%的峰值提升，在 WebShop 上实现了5.6%**的提升。
- 可扩展性：在 70 亿参数模型和各种 RL 骨干网络上，改进效果保持一致。
SWE-bench-Verified（现实世界软件工程）：
- 集成到DeepSWE（一个用于软件智能体的 SOTA 框架）中。
- 结果：在极具挑战性的 SWE-bench-Verified 基准测试上，将成功率从42.3%提升至43.7%（+1.4%）。
分析：
- 熵动力学：实验证实，AEM 防止了过早的熵崩溃（智能体陷入局部最优的常见失败模式），并在训练早期保持了更高的多样性。
- 计算成本：AEM 引入了可忽略的开销（约占总训练时间的 1.1%），因为它复用了标准前向传播中的熵计算，且不需要额外的展开。

5. 意义与影响

范式转变：将智能体强化学习中的信用分配从依赖外部监督（PRMs）或复杂结构假设，转变为内在信号调制（熵）。
效率：提供了一种“即插即用”的解决方案，显著提升了性能，同时未增加训练成本或需要额外的数据标注。
鲁棒性：证明了其在不同领域（基于文本的导航、电子商务和复杂软件工程）的有效性，表明响应级熵是多轮智能体优化的通用归纳偏置。
实用性：该方法对于软件工程智能体等现实世界应用尤为有价值，因为在这些应用中结果奖励稀疏，且中期监督不可用或生成成本高昂。

总之，AEM 提供了一种理论基础扎实、计算高效的机制，以解决多轮智能体强化学习中的信用分配问题，使 LLM 智能体能够从稀疏的、仅基于结果的反馈中更有效地学习。