🤖 machine learning

BAGEN: Are LLM Agents Budget-Aware?

该论文引入了 BAGEN，这是一个将预算感知定义为渐进式区间估计的框架，并证明了尽管前沿 LLM 智能体在准确预测或警示预算超支方面始终表现不佳，但通过监督微调和强化学习，它们进行可操作性早期停止的能力可以得到显著提升。

原作者： Yuxiang Lin, Zihan Wang, Mengyang Liu, Yuxuan Shan, Longju Bai, Junyao Zhang, Xing Jin, Boshan Chen, Jinyan Su, Xingyao Wang, Jiaxin Pei, Manling Li

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxiang Lin, Zihan Wang, Mengyang Liu, Yuxuan Shan, Longju Bai, Junyao Zhang, Xing Jin, Boshan Chen, Jinyan Su, Xingyao Wang, Jiaxin Pei, Manling Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在派遣一个机器人执行一项漫长且复杂的任务，就像一名需要穿梭于城市、取件并送货的快递员。你给机器人一个预算：也许是 1,000 个“能量点”（token），或者是一笔特定的真实资金。

目前存在的一个重大问题是，现在的智能机器人（AI Agent）在工作时非常不擅长了解自己还剩多少预算。它们通常只有在任务已经彻底失败后，才会意识到自己没钱了。

以下是这篇论文的内容拆解，通过简单的类比进行说明：

1. 核心问题：“盲目”的机器人

现在，如果你问一个机器人：“这次行程要花多少钱？”它通常只会在一开始猜一次。

缺陷： 这就像一名徒步旅行者在还没开始走之前，就去猜还要走多少英里。他们没有考虑到可能会迷路、遇到恶劣天气或走错路。
现实情况： 论文发现，即使是最聪明的机器人也是过度乐观的。它们会想：“我肯定能用剩下的钱完成这项任务！”即便实际上它们正在耗尽燃料。它们会不断把钱花在那些已经无法完成的任务上，仅仅是为了继续尝试。

2. 新的想法：具备“预算意识”的智能体 (BAGEN)

作者提出了一种新型机器人，它的行为就像一个聪明的项目经理。它不会只在开始时猜一次，而是每走一步都会检查自己的钱包。

渐进式区间估计 (Progressive Interval Estimation)： 机器人不再说“我大概还需要 500 点”，而是说“我可能还需要 400 到 600 点之间，但如果我很快找不到答案，我可能不得不停止”。
“不可能”按钮： 如果机器人意识到自己陷入了一个无法脱身的困境，它应该按下那个写着**“不可能 (IMPOSSIBLE)”**的大红按钮并立即停止，而不是浪费最后几块钱试图继续挖掘下去。

3. 研究发现（“成绩单”）

研究人员在四种不同类型的任务（如解谜、网页搜索和仓库管理）中测试了五款世界上最聪明的 AI 模型。以下是他们的发现：

聪明 $\neq$ 有预算意识： 仅仅因为一个机器人擅长解决谜题，并不意味着它擅长计算成本。事实上，两者的相关性很弱。最好的解谜高手往往是最不擅长估算成本的。
“乐观偏差”： 测试中的每一个机器人都过于乐观。它们一致地低估了自己将需要多少钱。机器人在处理任务的能力越弱，对预算的乐观程度反而越高。
为时已晚： 机器人通常只有在已经消耗了 80% 的预算后，才会意识到自己即将失败。等到它们说出“噢不，我们完蛋了”的时候，已经太晚了，无法止损。
可以被训练： 好消息是，这种技能是可以训练的。通过教导机器人（使用一种称为 SFT + RL 的方法），它们学会了更早地停止。
- 结果： 如果你告诉机器人，一旦它说出“不可能”就立即停止，那么在失败的尝试中，你可以节省 28% 到 64% 的浪费资金，而成功的任务数量仅有极微小的下降。

4. 两种类型的“预算”

论文研究了两种支出类型：

内部预算（大脑的燃料）： 这是 AI 用来思考和对话所消耗的计算能力和“token”。
外部预算（现实世界的成本）： 这是 AI 在采取行动时消耗的实际金钱、时间或物理资源（如仓库空间）。
机器人在这两者方面都遇到了困难，但“过度乐观”的问题在两者中都是一样的。

5. 总结

论文得出结论：预算意识是一项独立的技能，与智力水平无关。目前的 AI Agent 就像是那些即便油箱已空仍坚持向目的地驶去的司机，寄希望于能奇迹般地找到加油站。

解决方案不一定是要让 AI 变得更“聪明”去完成任务，而是要训练它成为一个更好的会计师。如果我们教会这些智能体在更早的时候说出“我做不到”，我们就能在几乎不损失成功率的前提下，节省大量的资源。

简而言之： 我们不应只要求 AI Agent “完成工作”，而应开始教它们在工作时时刻盯着自己的钱包。

技术摘要：BAGEN：LLM 智能体是否具备预算意识？

1. 问题陈述

当前的大语言模型（LLM）智能体正越来越多地被部署在涉及显著资源消耗的长程、高风险任务中，例如 Token 使用量（内部预算）、API 调用、货币成本或时间（外部预算）。然而，现有的评估范式主要将预算视为一种事后指标，即仅在执行完成后才测量成本。

本文指出一个关键差距：智能体缺乏预算意识。预算意识被定义为在执行过程中（而非结束后）估计剩余预算以及任务是否仍可完成的能力。由于缺乏这种能力，智能体无法做出关键的控制决策，例如中止注定失败的任务、请求额外资源或在不同子目标之间重新分配预算。此外，现有的研究通常依赖于单点估计（在任务开始时进行单次预测），这无法捕捉长程任务中不断变化的生存可能性，也无法根据观察到的进展进行渐进式优化。

2. 研究方法

2.1. 预算模态

作者形式化了两种截然不同的预算类型：

内部预算： 模型自身推理产生的计算量（例如 Token 计数）。
外部预算： 在环境中投入的成本（例如金钱、时间、库存），这类成本可以是多维且相互耦合的（例如，持有库存会增加收入，但会消耗仓库容量）。

2.2. 渐进式区间估计协议

为了解决单点估计的局限性，本文提出了渐进式区间估计。智能体不再进行单点预测，而是在轨迹 $\tau$ 的每一步 $k$ 被询问以预测：

一个区间 $[\hat{R}^{lo}_k, \hat{R}^{hi}_k]$ ，代表在任务被认为可行时的剩余预算。
如果任务在给定剩余预算下被认为不可行，则声明为不可能（impossible）。

该协议引入了三个关键属性：

不确定性： 通过区间宽度来表达。
渐进性： 随着智能体观察到部分进展，估计值会随之更新。
不可行性感知： 明确的“不可能”选项实现了早期停止。

2.3. 回放重演评估（Rollout-Replay Evaluation）

为了将预算估计能力与任务完成能力解耦，作者采用了回放重演协议：

轨迹生成（Rollout Generation）： 智能体在无预算约束的情况下执行任务，生成完整的轨迹和地面真值（ground-truth）成本。
前缀重演（Prefix Replay）： 将直到步骤 $k$ 的已记录前缀重放给智能体，随后要求其估计剩余预算和可行性。
评分： 根据实际发生的剩余成本和最终结果对预测进行评分。

2.4. 子能力指标

预算意识被分解为三个可衡量的子能力：

可行性预测： 衡量二分类（可行 vs 不可行）性能，使用 Macro-F1 指标。
早期失败检测： 识别注定失败的轨迹的能力，通过 Fail-F1（针对“不可能”类的精确率/召回率）进行衡量。
剩余预算估计： 在成功轨迹上进行区间预测的准确性，通过覆盖率（Coverage）（真实成本是否落在区间内）和紧凑度（Tightness）（惩罚过宽的区间）进行衡量。

2.5. 实验设置

本研究在四个环境中评估了五种前沿模型（GPT-5.2, Claude Opus 4.7, Claude Sonnet 4.6, Gemini 3.1 Pro, Qwen3-235B）：

内部预算： Sokoban（规划）、Search-R1（多跳检索）、SWE-bench（GitHub 问题解决）。
外部预算： Warehouse（一个具有耦合成本、时间及库存维度的供应链环境）。

3. 关键结果

3.1. 任务表现与预算意识的解耦

弱相关性： 任务成功率与预算估计质量之间的相关性较弱（ $r \approx 0.35$ ）。强大的任务执行者不一定是优秀的估计者。例如，在 Search-R1 上，Opus 取得了最高的任务成功率（75.8%），但 Sonnet 产生的区间估计效果更好（命中率 36.5% 对比 23.1%）。
无统治模型： 没有哪个模型在所有三个子能力（可行性、早期检测、区间校准）上都表现卓越。

3.2. 系统性失效

乐观偏差： 所有模型一致地低估了剩余预算（乐观偏差）。这种偏差在较弱的模型中更为显著，并贯穿于所有环境。
失败识别滞后： 智能体识别失败的时机太晚，无法采取行动。在失败的轨迹中，即使在消耗了 60% 的预算后，模型仍以 >70% 的置信度预测为“可行”。“警报”通常仅在执行过程的最后 20% 时才会触发。
不稳定性： 第一步的估计往往与后续步骤的估计不一致，且这种不一致的方向因模型和任务而异。

3.3. 训练与可操作性

二元可行性是一个校准问题： 仅通过监督微调（SFT），Qwen-7B 的可行性准确率就从 25.5% 提升到了约 90%，这表明该能力是潜在存在的，但需要格式校准。
区间估计是一个推理问题： SFT 改善了区间覆盖率，但必须加入强化学习（SFT+RL）才能将覆盖率推升至 47%。然而，若没有 SFT 热启动，仅使用 RL 会导致训练崩溃。
可操作信号： 实现一种简单的早期停止策略（当模型预测为“不可能”时终止）可以在失败的轨迹上节省 28–64% 的 Token，且对整体成功率的影响极小（仅下降 1.6–4.2 个百分点）。

4. 贡献

定义了预算意识： 将预算意识形式化为一种独立的、通过渐进式区间估计定义的独特能力，区别于任务执行能力。
评估协议： 引入了回放重演协议，以隔离估计能力与执行能力。
实证分析： 系统地证明了前沿模型存在系统性的乐观偏差和延迟失败识别问题，并且这些失败与任务表现是相互独立的。
训练洞察： 表明二元可行性是一个可以通过 SFT 解决的校准问题，而精确的区间估计是一个需要 SFT+RL 的推理瓶颈，且该信号具有即时的可操作性，可用于节省资源。

5. 意义与主张

本文主张，预算应被视为一种主动控制信号，而非被动的会计指标。作者认为，当前的智能体缺乏在长程任务中有效管理资源所需的元认知监控能力。

其意义在于证明了：

预算意识是一种可训练且可操作的能力，尽管目前的模型尚不完美。
简单的干预措施（如基于模型自我预测的早期停止）可以带来显著的资源节省。
任务表现与预算估计之间的差距表明，未来的智能体开发必须明确针对自我监控与校准进行优化，而不是假设这些能力会随着推理或任务成功率的提高而自然涌现。

文章总结道，虽然精确的区间校准仍是一个挑战（经过训练后覆盖率上限为 47%），但检测不可行性和估计成本是一项关键且独特的任务，必须对其进行开发，以使资源受限的智能体能够在现实世界的高风险环境中有效运行。