🤖 AI

Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents

该论文提出利用熵减作为监督信号，通过设计稀疏结果奖励和稠密过程奖励两种策略，有效解决了大语言模型智能体在长轨迹中工具调用过多且质量低的问题，显著提升了调用效率与任务性能。

原作者： Zeping Li, Hongru Wang, Yiwen Zhao, Guanhua Chen, Yixia Li, Keyang Chen, Yixin Cao, Guangnan Ye, Hongfeng Chai, Zhenfei Yin

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zeping Li, Hongru Wang, Yiwen Zhao, Guanhua Chen, Yixia Li, Keyang Chen, Yixin Cao, Guangnan Ye, Hongfeng Chai, Zhenfei Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：如何让大语言模型（LLM）在“使用工具”（比如查资料、写代码）时变得更聪明、更省劲？

想象一下，你雇佣了一个非常聪明的超级实习生（这就是大语言模型）。这个实习生很博学，但有个毛病：当他遇到难题时，他可能会疯狂地打电话、发邮件、查资料（调用工具），哪怕有些电话根本没必要打，或者打错了人。

结果就是：

效率低：他花了很多时间打电话，却还没解决问题。
成本高：每打一个电话都要花钱（计算资源）。
容易晕：信息太多，他反而把自己绕晕了，最后答错了。

这篇论文就是为了解决这个“实习生乱打电话”的问题，提出了一套新的**“熵减”（Entropy Reduction）**训练法。

1. 核心发现：什么是“熵减”？

首先，我们要理解一个概念：熵（Entropy）。
在物理学里，熵代表“混乱度”。在 AI 的世界里，熵代表“不确定性”或“困惑度”。

高熵 = 模型很迷茫，不知道下一步该干嘛，心里七上八下。
低熵 = 模型很确定，思路清晰，知道答案在哪。

论文做了一个小实验，发现了一个惊人的规律：

当实习生打了一个高质量的电话（比如查到了关键信息），他的困惑度（熵）会瞬间下降，思路突然清晰了。
当他打了一个低质量的电话（比如查了无关信息），他的困惑度反而上升了，变得更迷茫。

比喻：
想象你在玩一个“寻宝游戏”。

高质量工具调用：就像你拿到了一张藏宝图，迷雾散去，你离宝藏更近了（熵降低）。
低质量工具调用：就像你走进了一片新的迷雾森林，或者拿了一张假地图，你更不知道在哪了（熵升高）。

结论： 只要看模型在调用工具后，是变得更“清醒”了（熵减），还是更“糊涂”了（熵增），就能判断这个工具调用是好是坏。

2. 解决方案：TEPO（两个不同的训练策略）

基于这个发现，作者设计了一套名为 TEPO 的训练系统，并给出了两种不同的“奖励机制”，就像给实习生两种不同的KPI（绩效考核）：

策略 A：TEPO-Sparse（追求“效率”的 KPI）

目标：让实习生少打电话，但每次电话都要管用。
怎么奖励：
- 如果实习生最后做对了题，而且打电话的次数很少，或者大部分电话都让他变清醒了，就给他发大奖。
- 如果打电话太多，哪怕做对了，奖金也会打折。
效果：就像教实习生“能少跑一趟就别跑两趟”。
- 结果：工具调用次数减少了 72%！就像把原本要打 10 个电话的工作，压缩到了 3 个电话就搞定，而且答案一样对。

策略 B：TEPO-Dense（追求“质量”的 KPI）

目标：让实习生每一步都走对，追求最高的准确率。
怎么奖励：
- 只要他打了一个电话，并且这个电话让他瞬间变清醒（熵减），就立刻给他发一个小红包（即时奖励）。
- 不管最后结果如何，只要过程是“清醒”的，就值得鼓励。
效果：就像教实习生“每一步都要深思熟虑，确保方向正确”。
- 结果：虽然打电话的次数没怎么减少（甚至稍微多了一点），但解题准确率提升了 22%！就像虽然多打了一个电话，但因为这个电话打得太关键，直接让他从“可能做对”变成了“绝对做对”。

3. 为什么这很重要？

以前的训练方法，通常只告诉实习生：“最后做对了给钱，做错了扣钱”。

缺点：实习生不知道中间哪一步做对了，哪一步做错了。他可能运气好蒙对了，也可能中间绕了一大圈才蒙对。

这篇论文的新方法，相当于给实习生装了一个**“实时导航仪”**：

每走一步，导航仪就告诉他：“刚才那个动作让你更清晰了（熵减），做得好！”或者“刚才那个动作让你更晕了（熵增），下次别这么干！”

这就好比：

旧方法：你让实习生去迷宫找出口，只有找到出口才给钱。他可能在迷宫里乱撞，撞了 100 次才找到。
新方法：你告诉他，每走一步，如果感觉离出口近了（熵减），就给你点赞。这样他就能学会如何高效地走出迷宫，而不是盲目乱撞。

4. 总结

这篇论文的核心思想可以用一句话概括：
“好的工具调用，能让 AI 从‘迷茫’变得‘清醒’。我们要奖励这种‘清醒’，惩罚这种‘混乱’。”

通过这种方法，AI Agents（智能体）可以：

更省钱：少做无用功（减少 72% 的工具调用）。
更聪明：每一步都更精准（提升 22% 的准确率）。

这就像是从一个“只会蛮干的实习生”，培养成了一个“懂得权衡、做事高效的精英员工”，让 AI 在现实世界中（比如查资料、写代码、做决策）变得更加实用和可靠。

这是一份关于论文《Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents》（重新思考熵在优化大语言模型智能体工具使用行为中的作用）的详细技术总结。

1. 研究背景与问题 (Problem)

基于大语言模型（LLM）的智能体（Agents）在数学推理、多跳问答等任务中表现出色，但在**长轨迹（Long Trajectories）**推理过程中面临严峻挑战：

过度调用与低质量调用：智能体往往触发过多或低质量的工具调用（如代码执行、网络搜索），导致延迟增加、推理成本上升，甚至偏离正确的推理路径。
现有奖励机制的局限性：
- 结果奖励（Outcome Rewards）：大多数现有工作仅依赖最终答案的正确性作为奖励信号。这种稀疏的反馈无法指导智能体在长过程中的每一步如何更好地调用工具。
- 过程奖励（Process Rewards）的难点：虽然基于过程的强化学习（RL）能提供更细粒度的指导，但现有的过程奖励通常依赖人工设计的规则或外部评估器，难以在复杂的长程推理任务中通用且轻量地定义“好的中间行为”。

核心问题：如何找到一个原则性、轻量级且模型无关的信号，用于评估长程推理过程中工具调用的质量，从而优化智能体的工具使用行为？

2. 核心发现与方法论 (Methodology)

2.1 核心洞察：熵减与工具质量的相关性

作者通过基于熵的预实验（Pilot Experiments）发现了一个关键规律：

高质量的工具调用通常伴随着熵（Entropy）的降低（即模型不确定性的减少）。
低质量或无效的工具调用往往导致熵增加（不确定性上升）。
理论解释：基于认知负荷理论，高质量的工具调用减少了不必要的信息处理或引入了关键信息，从而降低了模型的认知负荷和预测不确定性。

基于此，作者提出了** $\Delta$ 分段熵（Delta Segment Entropy, $\Delta H_k$ ）**作为衡量工具有效性的内在信号：
$\Delta H_k = H(r_k) - H(r_{k-1})$
其中 $r_{k-1}$ 是第 $k$ 次工具调用前的推理片段， $r_k$ 是调用后接收观察结果生成的推理片段。 $\Delta H_k < 0$ 表示熵减，意味着工具调用有效。

2.2 提出的框架：TEPO (Tool-enhanced Entropy-guided Policy Optimization)

基于上述发现，作者设计了两种不同的奖励策略，分别针对效率和性能进行优化：

A. TEPOsparse (稀疏结果奖励 - 侧重效率)

目标：减少不必要的工具调用，提高推理效率。
机制：将“熵减工具调用的比例”作为分母或缩放因子融入最终答案的奖励中。
公式： $r^{sparse}_i = \text{F1}(x, y_i) \cdot \frac{m_i}{n_i}$ $r_{i}^{s p a r se} = F1 (x, y_{i}) \cdot \frac{m _{i}}{n _{i}}$
- $m_i$ ：诱导熵减的工具调用数量。
- $n_i$ ：总工具调用数量。
效果：鼓励智能体用更少的调用次数（减少 $n_i$ ）或更高比例的优质调用（增加 $m_i/n_i$ ）来获得相同的结果奖励。这是一种**轨迹级（Trajectory-level）**的粗粒度监督。

B. TEPOdense (稠密过程奖励 - 侧重性能)

目标：提升推理精度和每一步的决策质量。
机制：为每一个诱导熵减的工具调用提供额外的奖励（Bonus）。
公式： $r^{tool}_{i,k} = \text{F1}(x, y_i) \cdot (1 + \alpha \cdot \mathbb{I}_{i,k})$ $r_{i, k}^{t oo l} = F1 (x, y_{i}) \cdot (1 + α \cdot I_{i, k})$
- $\mathbb{I}_{i,k}$ ：指示函数，若第 $k$ 次调用导致熵减则为 1，否则为 0。
效果：这是一种**工具级（Tool-level）**的细粒度监督，直接奖励那些降低不确定性的具体步骤，引导智能体在每一步都做出更优的工具选择。

3. 实验设置与基准 (Experiments & Baselines)

数据集：涵盖三个领域：
- 数学推理 (AIME2024, AIME2025)
- 知识密集型推理 (HotPotQA, 2WikiMultihopQA, Musique)
- 深度信息搜索 (GAIA, WebWalker, HLE)
基线模型：包括标准 GRPO、ARPO、AEPO 以及最近的 TIR（Tool-Integrated Reasoning）方法（如 SearchR1, StepSearch, OTC-PO）。
模型：主要测试 Qwen2.5/3 和 Llama3.1 系列（1.7B 至 14B）。
工具：Python 解释器（代码执行）和 Wiki-18 搜索工具（知识检索）。

4. 主要结果 (Key Results)

实验结果表明，两种策略在各自的目标上均显著优于基线：

效率提升 (TEPOsparse)：
- 与基线平均相比，工具调用次数减少了 72.07%。
- 在保持与基线相当的性能（Accuracy）的同时，大幅降低了计算成本和延迟。
- 在深度搜索任务中，工具调用效率提升明显，且 $m/n$ （熵减调用占比）曲线上升最快。
性能提升 (TEPOdense)：
- 推理性能（Accuracy）平均提升了 22.27%。
- 通过细粒度的过程奖励，智能体学会了更精准地在关键时刻调用工具，显著改善了复杂推理任务的表现。
- 在数学推理和深度搜索任务中，TEPOdense 均取得了 SOTA 或接近 SOTA 的成绩。
可扩展性 (Scaling Analysis)：
- 从 1.7B 到 14B 模型，两种方法均表现出良好的可扩展性，性能随模型规模增加而提升。
- 熵减信号作为监督信号具有模型无关性（Model-agnostic）。
熵减分析：
- 训练后的模型（无论是 Sparse 还是 Dense 版本），其高质量工具调用后的 $\Delta H_k$ 均为显著负值，验证了“熵减”作为高质量工具调用信号的有效性。

5. 主要贡献 (Contributions)

实证发现：首次在大模型工具使用场景中，通过预实验确立了“高质量工具调用导致熵减”这一跨领域的普遍规律，提供了一种无需外部标注的模型无关信号。
方法创新：提出了 TEPO 框架，设计了两种互补的奖励机制：
- TEPOsparse：通过稀疏奖励优化效率，解决过度调用问题。
- TEPOdense：通过稠密奖励优化性能，解决推理精度问题。
全面验证：在数学、知识推理、深度搜索等多个领域及不同规模的模型上进行了广泛实验，证明了熵减机制在强化学习优化工具行为中的核心作用。

6. 意义与局限性 (Significance & Limitations)

意义：

理论价值：将信息论中的“熵”概念引入智能体工具使用的过程监督，为长程推理中的行为优化提供了新的理论视角。
实践价值：提供了一种轻量级、无需人工设计规则或昂贵评估器的解决方案，使智能体在真实世界应用中能更自适应地平衡“调用成本”与“推理质量”。
未来方向：为设计更智能的 Agent 奖励机制开辟了道路，特别是如何利用内在的不确定性信号来指导复杂环境下的决策。

局限性：

模型规模：受限于算力，未测试更大规模（>14B）的模型。
搜索工具：主要实验基于 Wiki-18 静态库，虽然尝试了 Bing API，但未在大规模实时搜索场景下充分验证。未来计划扩展至更多实时搜索 API。

总结：该论文通过重新审视熵在工具使用中的作用，提出了一种简单而强大的优化策略，成功解决了 LLM 智能体在长轨迹推理中“调用过多”和“调用不准”的痛点，为构建更高效、更智能的 Agent 系统提供了重要参考。