🤖 machine learning

Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use

本文介绍了 CARL，一种能力感知强化学习框架，该框架通过在自然边界处分解模型 rollout，为工具使用决策分配片段级信用，使大语言模型能够自主学习何时依赖参数化知识或外部工具，从而在显著提高准确性的同时减少不必要的工具调用，尤其在小模型中效果更为显著。

原作者： Abhijit Kumar, Zoey Wu, Mohit Suley

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abhijit Kumar, Zoey Wu, Mohit Suley

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《知道何时提问：大语言模型工具使用的片段级信用分配》（CARL）的通俗解读，通过日常类比拆解为简单概念。

核心难题：“过度自信”的学生

想象一位博闻强记的天才学生（即人工智能）。有时，他们需要计算器或搜索引擎来解决高难度的数学题，或查找特定事实。

问题在于，这位学生不知道何时该使用这些工具。

如果你问"2 + 2 等于几？”，他们可能还是会掏出计算器，徒劳地浪费时间。
如果你问“一个我从未听说过的国家的首都是什么？”，他们可能会试图凭记忆猜测并答错，而不是去查阅资料。

当前的 AI 训练方法就像一位只在考试结束时才给出分数的老师。

场景 A： 学生猜对了答案，得了"A"。老师无法分辨学生是猜的，还是真的知道答案。
场景 B： 学生用计算器算了一道简单的数学题，得了"A"。老师没意识到学生在简单问题上浪费了时间。
场景 C： 学生用计算器算了一道难题，却答错了，得了"F"。老师不知道是学生计算器用错了，还是计算器提供了错误信息，亦或是学生根本不懂数学。

因为老师只看到最终成绩，学生要么学会随时使用工具（求稳），要么从不使用（怕搞砸）。他们永远无法学会区分“自己知道什么”与“需要帮助什么”的界限。

解决方案：CARL（“智能教练”）

这篇论文提出了CARL（能力感知强化学习）。CARL 不像老师那样等待最终成绩，而是像一位智能教练，实时观察学生的步骤。

1. 将考试拆解为“片段”

教练将学生的思考过程划分为三个清晰的“片段”（segments），每个片段中对话状态发生明显变化：

提问（Invoke）： 学生决定使用工具并输入搜索查询。
阅读（Assimilate）： 学生阅读工具给出的答案并进行总结。
作答（Commit）： 学生写下最终答案。

2. “信用”评分系统

教练不再给整场考试打一个总分，而是根据每个片段对最终结果的贡献程度，给每个片段打一个微小的“信用分”。

优质提问： 如果学生提出了一个极好的问题并导向了正确答案，该片段获得正信用分。
劣质提问： 如果学生提出了一个令人困惑的问题并导致死胡同，该片段获得负信用分（即使他们后来修正了错误）。
不必要的提问： 如果学生对自己已知答案的问题寻求帮助，教练会说：“你不需要那个！”并因浪费时间给予零分或负分。

这是论文的主要创新点：片段级信用分配。即使最终答案正确，它也能精准隔离出过程中的哪一部分起了作用，哪一部分造成了损害。

工作原理（“评论员”教练）

为了实现这一点，CARL 训练了一个特殊的“评论员”（Critic）模型。你可以把评论员想象成一位观看了数千次模拟演练的教练。

热身阶段： 在正式训练开始前，评论员观察学生不使用工具和被迫使用工具回答问题。它学会识别：“哦，这个学生知道这道题的答案，但在那道题上却一无所知。”
正式训练： 当学生练习时，评论员预测：“如果学生继续沿着这条路走，答对的概率是多少？”
- 如果学生问了好问题，评论员对成功的预测上升。学生获得信用分。
- 如果学生问了坏问题，预测下降。学生受到惩罚。
- 如果学生问了不必要的问题，预测保持不变。学生学到：“别费劲去问了。”

结果：更聪明、更快速、更诚实

论文在 70 亿参数和 30 亿参数的模型上测试了该方法（你可以把它们想象成“聪明”和“非常聪明”的学生）。

学会停止猜测： 模型在知道自己不知道答案时表现得更出色。它们不再自信地胡乱猜测，而是在真正需要时开始寻求帮助。
停止浪费时间： 在简单问题上，模型不再使用计算器或搜索引擎。它们节省了大量时间（token）和金钱（API 成本）。
更高的准确率： 因为它们不再在简单问题上浪费时间，而是将工具集中在难题上，整体答对的问题更多了。
“小模型”的惊喜： 论文发现，较小的模型受益最大。小模型（30 亿参数）的分数提升幅度是大模型（70 亿参数）的 1.4 倍。
- 类比： 小学生的记忆库较小。知道确切何时去翻图书馆的书（工具）对它们来说是一种超能力。大学生的学习库中已经装了很多东西，所以它们不需要经常去图书馆，因此提升幅度不那么显著。

总结

这篇论文教导 AI 模型要谦逊。它们不再盲目使用工具或胡乱猜测，而是学会识别自己知识的边界。

旧方法： “为了保险起见，我所有问题都用搜索引擎。”
新方法（CARL）： “我知道这个答案，所以我直接说出来。但那个问题，我肯定需要去查一下。”

这使得 AI 运行更快、成本更低、准确率更高，尤其对于更小、更高效的模型而言。

技术摘要：CARL（能力感知强化学习）

1. 问题陈述

配备工具（如搜索引擎、计算器）的大型语言模型（LLM）往往难以区分需要外部辅助的任务与仅靠参数知识即可解决的任务。人类能够自然地识别自身知识的边界（例如，知道 $2+2$ 不需要计算器，而 $347 \times 28$ 则需要），但大型语言模型通常做不到这一点。

现有方法面临两个主要局限：

基于提示的方法（如 ReAct、RAG）： 这些方法在推理时指示模型使用工具，但并未训练模型识别何时需要工具。因此，模型经常不必要地调用工具，增加了延迟和成本，却未提高准确性。
轨迹级强化学习（RL）： 当前的强化学习方法（如 Search-R1）将整个轨迹分配单一的结果奖励（例如，精确匹配）。这导致了信用分配问题：
- 不加区分的强化： 在成功的轨迹中，无论是有帮助的工具调用，还是不必要或错误的调用，都获得了正向强化。
- 缺乏选择性： 模型无法学会在简单问题上跳过工具，因为最终的成功信号被共享到了所有片段中。
- 外部依赖： 步级信用分配方法通常依赖外部评判者（如 GPT-4），其知识可能与学习模型不一致，或者需要昂贵的步级标注。

2. 方法论：CARL

作者提出了CARL（能力感知强化学习），这是一个训练评判器（critic）以学习模型自身能力边界的框架，从而无需外部评判者即可实现细粒度的信用分配。

2.1 结构分解

CARL 利用了工具使用轨迹具有结构上可观测的边界这一事实，而纯推理轨迹则缺乏这种边界。轨迹根据这些边界被分解为片段：

调用（Invoke）： 模型生成推理和一个代码块（例如 search(query)）。环境执行该代码，产生原始输出（stdout）。
吸收（Assimilate）： 模型读取原始输出并生成一个 <context> 块，提炼相关信息。原始输出在上下文中被此提取内容替换。
提交（Commit）： 模型生成最终答案。

这种分解创建了一个半马尔可夫决策过程（SMDP），其中每个片段是一个“选项”。

2.2 片段级优势

CARL 不是将整个轨迹分配一个标量奖励，而是利用 SMDP 贝尔曼方程，从单一的二元终端奖励（ $R \in \{0, 1\}$ ）中推导出每个片段的优势。

对于包含片段 $k=0 \dots N$ 的轨迹，片段 $k$ 的优势为：

中间片段： $A(seg_k) = V_\phi(s_{k+1}) - V_\phi(s_k)$
最终片段： $A(seg_N) = R - V_\phi(s_N)$

其中， $V_\phi(s)$ 是价值函数（评判器），用于估计给定当前上下文的成功概率。

机制： 一次“好”的搜索会增加成功的估计概率（ $V$ 上升），产生正优势。一次“坏”的搜索或失败的提取会降低 $V$ ，产生负优势。在模型已知的问题上进行不必要的搜索会使 $V$ 保持不变，产生接近零的优势。
关键区别： 这使得同一轨迹内可以出现相反的符号（例如，正确的查询产生正优势，紧随其后的糟糕提取产生负优势），这是轨迹级方法所不具备的能力。

2.3 评判器训练与预热

评判器 $V_\phi$ 是一个附加在共享 LLM 主干上的两层多层感知机（MLP）。

训练目标： 评判器通过蒙特卡洛（MC）目标进行训练，以最小化 $V_\phi(s)$ 与终端奖励 $R$ 之间的均方误差（MSE）。
预热阶段： 为防止早期的随机梯度破坏策略，精心设计的预热阶段至关重要。评判器在由最终正确性标记的基础模型 rollout 上进行训练。问题被分类为：
- Tier 1： 超出参数能力范围（模型在没有工具的情况下失败）。
- Tier 2： 在参数能力范围内（模型在没有工具的情况下成功）。
- 在“强制工具”和“无工具”两种条件下生成轨迹，以教导评判器区分必要和不必要的工具使用。
无需外部评判者： 评判器仅从模型自身的 rollout 和二元结果中学习，确保能力边界反映特定模型的能力。

2.4 策略优化

策略使用PPO（近端策略优化）在片段级别进行更新。每个片段获得其自身的优势标量，并均匀应用于该片段内的所有 token。总损失结合了 PPO 目标和评判器的 MSE 损失。

3. 主要贡献

能力感知价值函数： 一种基于二元结果训练的价值函数，能够学会将可通过参数解决的问题与依赖工具的问题区分开来。在 7B 规模下，它在区分这些层级时达到了 0.93 的 AUC。
从单一结果推导每片段信用： 通过在结构上可观测的边界利用 SMDP 贝尔曼方程，CARL 从单一二元奖励中推导出每个片段（调用、吸收、提交）的独立优势。这使得模型能够在同一成功轨迹中，对有帮助的调用获得正向信用，对错误或不必要的调用获得负向信用。
涌现的选择性： 该方法使模型能够学会何时寻求帮助，无需明确指令或外部监督即可减少不必要的工具调用。

4. 实验结果

作者在五个基准测试（GSM8K、HotpotQA、2WikiMQA、FinQA、Musique）上评估了 CARL，使用了 3B 和 7B 规模的 Qwen2.5 模型，并与强大的 RL 基线（Search-R1 PPO 和 GRPO）进行了比较。

准确率提升： 在基于搜索的数据集上，CARL 在 7B 规模下比最佳 RL 基线（Search-R1 PPO）高出 6.7 个精确匹配（EM） 点，在 3B 规模下平均高出 9.7 个 EM 点。
- 最大的提升出现在 Musique（一个组合式多跳基准测试）上，7B 规模提升 +8.3 EM，3B 规模提升 +9.0 EM。
- 较小模型的增益不成比例地更大（3B 的提升是 7B 提升的 1.4 倍），这表明对于参数记忆有限的模型，知道何时寻求帮助至关重要。
工具使用效率：
- 在可从参数知识回答的问题（Tier 2）上，CARL 发出的工具调用比 Search-R1 PPO 少 53%。
- 尽管调用工具的频率较低，但 CARL 在这些相同问题上的准确率仍高出 约 10 个 EM 点。
- 在 7B 规模下，总 token 生成量平均减少了 23%，这主要得益于在简单问题上跳过检索。
评判器校准： 训练后的评判器能准确估计成功概率（ $V(s_0)$ $V (s_{0})$ ）。
- 在区分 Tier 1 与 Tier 2 问题时，AUC 分别为 0.93（7B） 和 0.85（3B）。
- 校准： 通过精心设计的预热，期望校准误差（ECE）为 0.043，意味着预测的成功概率与实际成功率高度吻合。
符号分歧： 评判器正确地为同一轨迹内的片段分配相反的符号（例如，好的搜索为 $+0.15$ ，坏的提取为 $-0.22$），这是轨迹级方法无法实现的行为。

5. 意义与主张

论文声称，CARL 解决了轨迹级 RL 的根本局限：无法隔离具体是哪个工具调用导致了成功或失败。通过利用工具使用轨迹的结构上可观测的边界，CARL 将单一的二元结果转化为一系列有意义的片段级优势。

作者强调，这种方法使模型能够学习自身的能力边界，而不是被指令何时使用工具。这带来了以下结果：

减少幻觉： 模型在困难问题（Tier 1）上更少编造答案，因为它学会了将这些任务路由到工具，而不是猜测。
效率： 抑制了不必要的工具调用，降低了延迟和 API 成本。
可扩展性： 这种优势在较小模型上最为显著，表明片段级信用分配是扩展参数记忆以处理长尾分布知识的一种实用替代方案。

论文结论指出，虽然检索质量仍然是性能的上限（消融研究表明更好的搜索 API 能进一步提升结果），但 CARL 的信用分配机制是提升工具增强型 LLM 选择性和准确性的主要驱动力。