💬 NLP

SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards

本文提出了 SELAUR 框架，通过将熵、最低置信度和边界等不确定性指标融入奖励设计，使大语言模型代理能够利用内在不确定性信号进行自我进化，从而在 ALFWorld 和 WebShop 等基准测试中显著提升探索效率与任务成功率。

原作者： Dengjia Zhang, Xiaoou Liu, Lu Cheng, Yaqing Wang, Kenton Murray, Hua Wei

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Dengjia Zhang, Xiaoou Liu, Lu Cheng, Yaqing Wang, Kenton Murray, Hua Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SELAUR 的新方法，旨在让大型语言模型（LLM）变得更聪明、更擅长做复杂的“多步骤”任务（比如在网上购物、或者在虚拟房间里找东西）。

为了让你轻松理解，我们可以把训练一个 AI 代理（Agent）想象成教一个刚学开车的新手司机。

1. 以前的做法：只看结果，不管过程

在传统的训练方法中，教练（奖励机制）只会在最后看结果：

如果新手把车开到了目的地：教练大喊“太棒了！给你 100 分！”
如果新手撞车了或者迷路了：教练直接说“不及格，0 分，重来。”

问题出在哪？
如果新手在开车过程中，明明知道前面有个大坑，但他还是犹豫着开过去了，最后撞车了。传统的教练只给 0 分，新手根本不知道具体是哪一步犹豫了，也不知道为什么会犹豫。他下次可能还会在同一个地方犹豫，或者因为害怕犯错而不敢尝试任何新路线。

2. SELAUR 的核心理念：关注“犹豫”和“不确定”

SELAUR 的作者认为，AI 在做出每一个决定时，内心其实都有一个**“不确定感”**（Uncertainty）。

高不确定感 = 司机心里在想：“哎呀，前面是红灯还是绿灯？我该左转还是右转？我不太确定。”（这时候需要探索，多试几种方法）。
低不确定感 = 司机心里很笃定：“这肯定是绿灯，直接冲！”（这时候需要奖励这种自信）。

SELAUR 就像一位超级耐心的教练，他不仅看结果，还时刻盯着司机的“心跳”（不确定感）。

3. SELAUR 是怎么工作的？（三个步骤）

第一步：给“犹豫”打分（不确定性估计）

教练会计算司机在每个动作时的“犹豫程度”。论文里用了三种方法来算这个分数：

熵（Entropy）：看司机脑子里的想法是不是太乱了（像是一团浆糊）。
最低置信度（Least Confidence）：看司机选的那个动作，他自己有多大的把握。
差距（Margin）：看司机选的动作和“第二好”的动作之间，差距大不大。如果差距很小，说明他很难抉择，犹豫感就强。

比喻：就像司机在路口，如果脑子里有 10 个想法在打架，犹豫感就很高；如果只有 1 个想法，犹豫感就很低。

第二步：把“犹豫”变成“路标”（聚合）

教练把这些零碎的“犹豫感”汇总起来：

每一步的犹豫：刚才那个路口犹豫了吗？
整条路的犹豫：这一趟下来，是不是大部分时间都很迷茫？

第三步：失败也能变宝藏（失败感知奖励重塑）

这是 SELAUR 最厉害的地方！

如果任务成功了：照常给奖励，鼓励这种自信的行为。
如果任务失败了：传统的教练直接给 0 分。但 SELAUR 会说：“虽然你撞车了，但我发现你在第 3 步犹豫了很久（高不确定感），这说明你当时其实察觉到了危险，只是没处理好。这个‘犹豫’本身是有价值的！"

于是，教练会根据你“犹豫”的程度，给你发一个**“安慰奖”或“探索奖”**。

目的：告诉 AI，“不要害怕犯错，只要你在这个过程中表现出‘我在思考’、‘我在探索’，即使最后没做成，我也给你反馈，让你知道哪里需要改进。”

4. 为什么这很重要？（实际效果）

想象一下，如果你教一个 AI 去网上买一件特定的衣服（WebShop 任务）：

普通 AI：如果第一次买错了，它可能直接放弃，或者下次还在同一个错误的链接上死磕，因为它不知道哪里错了。
SELAUR 训练的 AI：
- 当它在一个错误的商品页面犹豫时，系统会标记：“这里你的不确定感很高，说明这个选择可能不对。”
- 即使最后没买对，它也能从这次“失败的犹豫”中学到：“哦，原来在这个页面停留太久是不对的，下次我要早点跳出来。”
- 它敢于尝试更多不同的搜索词，因为它知道，即使走弯路，只要带着“思考”去走，也能学到东西。

总结

SELAUR 就像是一个懂得心理学的教练。它不再只盯着“成功”或“失败”的终点，而是关注 AI 在路上的每一个心理活动。

它告诉 AI：

“不要怕犯错，也不要盲目自信。当你感到‘不确定’时，那是你正在探索新知识的信号。即使最后失败了，只要你在这个过程中表现出了‘思考’，我就给你奖励，帮你把‘失败’变成‘经验’。”

通过这种方法，AI 在复杂的任务中（如 ALFWorld 和 WebShop 测试）表现得更加稳健，成功率更高，而且不容易陷入死胡同。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）从单轮问答向多步决策智能体（Agent）演进，强化学习（RL）成为优化其性能的关键范式。然而，现有的基于 RL 的智能体训练方法存在以下核心局限：

奖励信号稀疏且忽略中间步骤：传统方法通常仅根据最终结果（成功/失败）分配奖励，忽略了中间决策步骤的贡献，导致学习信号稀疏。
忽视模型内在不确定性：尽管现有的细粒度奖励分配（Step-level credit assignment）有所改进，但大多数方法仍忽视了 LLM 内在的不确定性（Uncertainty）。
- 不确定性反映了模型对决策的置信度。
- 在失败轨迹中，不确定性可以揭示哪些步骤是困惑的或具有探索价值的，从而提供宝贵的学习信号，而不仅仅是将其视为“失败”丢弃。
探索效率低：缺乏对不确定性的利用，导致智能体容易陷入局部最优或重复无效的探索路径，难以从失败经验中有效学习。

2. 方法论 (Methodology)

论文提出了 SELAUR（Self Evolving LLM Agent via Uncertainty-aware Rewards），这是一个将不确定性直接融入奖励设计的强化学习框架。其核心架构包含三个模块：

2.1 不确定性估计 (Uncertainty Estimation)

为了全面捕捉模型在解码每一步的置信度，SELAUR 结合了三种互补的 Token 级不确定性指标，形成一个统一的不确定性度量 $u_{t,j}$ ：

熵 (Entropy)：衡量词汇表概率分布的离散程度，反映整体分布的“尖锐”程度。
最低置信度 (Least Confidence)：仅基于选中 Token 的概率，概率越低不确定性越高。
间隔 (Margin)：基于前两个 Token 概率的差值，反映决策的区分度。

聚合方式：通过可调节的权重将上述三者加权求和，得到综合的 Token 级不确定性。

2.2 步骤与轨迹聚合 (Step and Trajectory Aggregation)

为了将 Token 级的不确定性转化为 RL 所需的信号，设计了分层聚合机制：

步骤级聚合：将单个步骤内所有 Token 的不确定性取平均，得到步骤级不确定性 $u_{step}$ 。
轨迹级聚合：采用指数折扣聚合，将步骤级不确定性结合到整个轨迹中。为了强调后期步骤对最终结果的决定性作用，后期步骤被赋予更高的权重。

2.3 失败感知奖励重塑 (Failure-aware Reward Reshaping)

这是 SELAUR 的核心创新，旨在将失败轨迹转化为学习机会：

成功轨迹：使用标准的二元奖励（成功/失败）。
失败轨迹：引入不确定性信号重塑奖励，避免直接丢弃梯度信息。
- 步骤级重塑：对于失败轨迹中的每一步，奖励被调整为与该步骤归一化不确定性成正比的值（即：越不确定的步骤，获得的“探索性”奖励信号越强，鼓励模型重新审视该决策）。
- 轨迹级重塑：整个失败轨迹的奖励被替换为聚合后的轨迹级不确定性信号。
目的：这种机制鼓励智能体在置信度低（高不确定性）的步骤进行更多探索，并在后续更新中利用这些信号优化策略，而不是简单地惩罚失败。

3. 主要贡献 (Key Contributions)

统一的不确定性框架：提出了一种整合多种 Token 级不确定性度量（熵、最低置信度、间隔）的统一框架，能够更准确地表征模型置信度，并提供来自置信度估计的密集监督信号。
失败感知奖励重塑机制：设计了一种新颖的奖励重塑方法，将不确定性信号同时融入步骤级和轨迹级奖励中。这使得智能体不仅能从成功中学习，还能从失败中提取有价值的探索信号，显著提高了探索效率和训练稳定性。
实证验证：在两个具有挑战性的交互式基准测试（ALFWorld 和 WebShop）上进行了广泛实验，证明了引入失败轨迹信息作为训练信号的有效性，并展示了该方法在提升任务成功率和策略鲁棒性方面的优势。

4. 实验结果 (Results)

实验在 ALFWorld（指令遵循与通用推理）和 WebShop（电商环境下的目标导向决策）两个基准上进行，基座模型包括 Qwen2.5-1.5B 和 Qwen2.5-7B。

主要性能提升：
- 在 ALFWorld 上，SELAUR 在 7B 模型上的整体成功率（All）达到了 96.87%，优于最强的基线 GiGPO (94.53%) 和 RLOO (85.93%)。
- 在 WebShop 上，SELAUR 的任务得分（Task Score）达到 0.8935，成功率（Success Rate）达到 79.68%，均显著优于 PPO、RLOO、GRPO 和 GiGPO 等基线。
消融实验 (Ablation Study)：
- 不确定性指标组合：单独使用熵、最低置信度或间隔指标的效果均不如三者结合。这表明不同指标捕捉了正交且互补的不确定性特征，联合使用能覆盖更广泛的“不确定性区域”。
- 奖励函数变体：对比了“负奖励”（惩罚不确定性）和“指数衰减”（成功时根据不确定性打折）等变体。SELAUR 提出的“失败感知重塑”效果最佳，证明了在失败时利用不确定性进行正向引导（而非单纯惩罚或衰减成功奖励）更能平衡探索与利用。
- 熵的变化：训练过程中，SELAUR 保持了较高的熵水平，表明其具有更强的持续探索能力，避免了过早收敛到次优策略。
案例分析：在 WebShop 案例中，SELAUR 能够利用不确定性信号识别并跳出重复的无效循环（如反复点击同一按钮），动态调整探索路径，而基线模型（如 GiGPO）则容易陷入局部探索陷阱。

5. 意义与影响 (Significance)

理论创新：SELAUR 填补了 LLM 智能体训练中“内在不确定性”与“奖励设计”之间的空白。它证明了模型自身的置信度信号可以作为强大的内在奖励，指导智能体在稀疏奖励环境下进行高效探索。
解决失败利用难题：传统 RL 往往难以利用失败数据，而 SELAUR 通过不确定性重塑，将失败轨迹转化为密集的、有指导意义的学习信号，显著提升了样本效率。
通用性与鲁棒性：该方法不依赖特定的外部环境反馈或复杂的反思启发式规则，仅利用模型内部的不确定性估计，具有较好的通用性，适用于各种复杂的交互式决策任务。
未来方向：为未来将不确定性感知扩展到视觉中心任务和多模态领域，以及处理高维观测下的复杂不确定性提供了新的思路。

总结：SELAUR 通过巧妙地将 LLM 的内在不确定性转化为奖励信号，成功解决了传统 RL 智能体在复杂多步任务中探索效率低、难以从失败中学习的问题，实现了更稳定、更高效的策略进化。