AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?
本文介绍了 AgentFloor，这是一个分层基准测试，表明小型开放权重模型能够有效处理智能体工作流中大多数常规、短视野的工具使用任务，仅将大型前沿模型保留用于复杂的长视野规划，从而以更低的成本实现相当的总体性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你经营着一家繁忙的快递公司。每当客户下单，你的系统都必须做出数十个微小的决策：“核对地址”、“查询价格”、“联系仓库”、“打印标签”。
长期以来，规则一直是：“对每一个决策都使用我们最昂贵、最聪明的 CEO。” 即使是像“核对地址”这样简单的事情，你也会雇佣 CEO。这确实有效，但代价高昂且耗时漫长。
论文《AgentFloor》提出了一个简单的问题：我们真的需要为每一项任务都动用 CEO 吗？或者，我们能否为常规工作雇佣聪明、快速且廉价的实习生，而只将 CEO 留给真正棘手的问题？
为了找到答案，研究人员构建了一个包含 30 个步骤的巨大障碍赛（基准测试），旨在测试不同 AI“员工”使用工具的能力。他们测试了 16 种不同规模的 AI 模型（从微小的“实习生”到庞大的"CEO"），并将其与当前的顶级 AI（GPT-5）进行了对比。
以下是他们的发现，通过几个简单的类比进行解释：
1. 难度的“梯子”
研究人员将任务组织成一个6 级梯子。随着你向上攀登，工作变得愈发困难：
- 第 1 级和第 2 级（底层）： 简单的指令和使用单一工具（例如查询电话号码）。
- 第 3 级和第 4 级（中层）： 串联两个工具，或根据结果做出决策（例如“如果价格过高，就呼叫经理”）。
- 第 5 级和第 6 级（顶峰）： 复杂的规划，需要长时间记住规则并协调多个步骤而不迷失方向。
2. 结果：谁能攀登哪一级？
研究揭示了一个清晰的“楼层”，在此之上小型模型便无法胜任工作。
- 底层（第 1 级和第 2 级）： 小型、廉价的模型（“实习生”）实际上优于或等同于昂贵的 CEO。它们能完美地遵循简单指令并使用单一工具。事实上，小型模型如此快速且廉价，以至于它们完成同等工作量所需的成本仅为1/15，速度快了2.5 倍。
- 中层（第 3 级和第 4 级）： 小型模型的表现依然出色。它们的表现非常接近 CEO。虽然研究无法以 100% 的统计确定性断言它们完全相等，但它们已足够接近，具有实用价值。
- 顶峰（第 5 级和第 6 级）： 差距在此显现。当任务需要长期规划并同时记住许多规则时，小型模型开始踉跄。它们会陷入困惑、耗尽“步数”（就像跑步者感到疲惫），或者开始编造不存在的工具。大 CEO（GPT-5）在此处依然更胜一筹，但即使 CEO 也不完美；在这些最困难的任务上，它仍然会频繁失败。
3. “魔法修复”并未奏效
研究人员试图给小型模型提供一张“作弊条”（特殊提示词），以帮助它们攀登更高的层级，希望这能让它们变得像 CEO 一样聪明。
- 结果： 这并未普遍奏效。某种能辅助特定模型的技巧，有时反而会让另一个模型表现更差。这就像给一位马拉松运动员一双特定的跑鞋；它可能帮助那位运动员，但却可能绊倒其他人。不存在单一的“魔法按钮”，能让小型模型在复杂规划方面瞬间变得与大型模型一样聪明。
4. 核心启示：“智能路由”策略
该论文提出了一种构建 AI 系统的新方法，他们称之为路由。
与其对所有事情都使用昂贵、缓慢且超聪明的 AI，不如构建一个像智能经理一样的系统：
- 将简单、常规的工作（检查数据、简单查询）发送给小型、廉价的模型。它们速度快、成本低，且在此类工作上表现同样出色。
- 仅将庞大、昂贵的 AI保留给罕见的、复杂的工作，这些工作需要深度规划和长期记忆。
结论
你不需要开法拉利去杂货店；对于那次行程，一辆可靠的自行车更快且更便宜。
该论文证明，对于绝大多数“常规”AI 任务（如检查数据库或使用单一工具），小型开源模型已经足够好。你只需要在最顶层的复杂规划中才需要庞大、昂贵的“前沿”模型，而且即使在那时，它们也尚未完美。
通过为正确的工作匹配正确的“员工”，公司可以在不降低质量的前提下节省巨额资金并加速系统运行。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。