Do Agents Know What They Can't Do? Evaluating Feasibility Awareness in Tool-Using Agents
本文介绍了 FeasiGen，这是一个通过屏蔽关键工具来生成不可行工具使用代理任务的自动化流程，并利用它揭示出现有代理缺乏强大的可行性意识，往往在不可行任务上以高错误率继续执行，尽管多代理架构表现出更优的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你雇佣了一位非常聪明、充满热情的助手，来帮你完成一个复杂的项目，比如预订航班并支付费用。你给助手提供了一套可用的工具清单：搜索引擎、预订引擎和信用卡支付处理器。
现在，想象一下在助手开始工作之前，你悄悄从他们的工具箱中移除了信用卡支付处理器。
问题所在：
当今大多数 AI 助手就像那位不知道缺少工具的充满热情的助手。他们开始搜索航班，找到一笔很划算的交易，然后尝试支付。当他们意识到无法支付时，他们并不会只是说“哦，我做不到”。相反，他们会继续尝试。他们可能会再次尝试支付，尝试寻找一种不存在的其他支付方式，或者写一篇长文来解释为什么无法支付。他们在从一开始就不可能完成的任务上，浪费了巨大的时间和能量（计算能力）。
解决方案（FeasiGen）：
本文的研究人员构建了一个名为 FeasiGen（可行性生成器）的系统。把它想象成一台“现实检验”机器。
- 学习规则： 首先，他们观察了许多不同的 AI 助手成功完成任务。他们查看“足迹”（即使用的具体工具），以确定哪些工具对于每一次成功都是绝对必要的。以航班预订为例，他们注意到每一次成功的预订都使用了“支付 API"。
- 设置陷阱： 然后，他们利用这些相同的任务，悄悄移除了那些关键工具。他们将一个可解决的任务变成了一个不可能完成的任务。
- 测试： 他们将这些“损坏”的任务交给九个不同的 AI 模型，以观察这些模型是否能意识到“嘿，我缺少一个关键工具，我应该现在停止”，或者它们是否会继续在原地打转。
他们的发现：
结果有些令人惊讶，也对 AI 效率提出了一些担忧：
- 大多数 AI 仍在继续： 即使是最聪明的模型也往往未能停止。它们大约有 23% 到 74% 的时间仍在尝试解决这个不可能完成的任务。这就像一名司机因为忘记检查道路是否已经尽头，而试图开车撞穿墙壁。
- 固执的代价： 当 AI 在不可能完成的任务上持续尝试时，其消耗的计算能力（token）是如果它立即停止的 2 到 5 倍。这就像是在死胡同走到尽头并意识到迷路，与走到尽头、转身再走回来之间的区别。
- 团队协作有帮助： 当研究人员组建了一个由 AI 组成的“团队”（一个负责规划，一个负责执行）时，团队在识别缺失工具方面表现得要好得多。“规划者”会先查看工具，意识到有缺失，并在“执行者”开始工作之前就说“停止”。这显著减少了浪费的精力。
- 更深入思考有帮助（有时）： 那些在行动前被强制进行“逐步思考”的模型，通常在识别缺失工具方面表现更好，尽管这并非适用于每一个模型。
核心结论：
目前，我们主要通过观察 AI 是否能完成任务来测试它们。本文指出，这还不够。我们还需要测试它们是否知道何时不要做某事。一个知道何时放弃的 AI，与一个知道如何完成任务的 AI 同样重要。目前，大多数 AI 非常不擅长识别自己是否陷入了死胡同，这导致了大量能量和金钱的浪费。
关于局限性的说明：
研究人员承认，他们的测试仅在“封闭”环境中有效，即工具列表是固定且已知的。如果 AI 能够神奇地发明新工具或在开放互联网上找到它们，这项测试的效果就不会相同。但对于工具定义严格受限的系统而言，这种“现实检验”是一种衡量 AI 真实智能水平的关键新方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。