AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

想象一个我们正在建造数字助手——这些由巨型大脑驱动的微小、隐形的机器人，它们可以为你预订机票、编写代码，或者为你寻找一款售罄球鞋的替代品。这些被称为“自主智能体”（autonomous agents）。长期以来，测试这些机器人的科学家们就像是在给作业评分的家长：他们只关心答案是否正确。“机器人找到那双鞋了吗？”找到了？太棒了，给它一个A！但在现实世界中，一个需要十分钟才能送达或耗费掉你全部零花钱才得到的完美答案是毫无用处的。这就像订了一份披萨，结果第二天送到，而且账单金额高达一百万美元；从技术上讲，你确实得到了披萨，但你根本没法吃它。

这就是所谓的“资源剖析”（resource profiling）这一新概念发挥作用的地方。你可以把它想象成一名检查赛车的机械师。他们不仅会问：“车子冲过终点线了吗？”他们还会检查：消耗了多少汽油？引擎是否过热？驾驶员是否超速了？在计算机科学领域，我们有工具来测量程序使用了多少“燃料”（如计算机内存、时间和金钱）。但直到现在，我们还没有一种方法能在检查机器人是否完成工作的同时，测量这些指标。这篇论文介绍了一种测试这些数字助手的新方法，将它们视为必须既能跑完比赛，又必须保持在燃料和时间限制内的赛车，才能被视为赢家。

这项研究背后的研究人员 Meher Bhaskar Madiraju 和 Meher Sai Preetam Madiraju 构建了一个新的测试场，名为 AGENTSLABENCH。你可以把它想象成一个专门设计的超高科技障碍赛道，旨在观察这些 AI 智能体能否在现实世界中生存，而不仅仅是在一个完美、无限资源的幻想世界里。

通常，当我们测试 AI 时，我们会让它们在无限的时间和金钱中自由驰骋。这就像让一名学生在参加考试时可以使用字典、计算器，并且拥有三个小时的时间，而实际考试只允许使用钢笔且限时十分钟。作者认为，这是准备应对现实的一种糟糕方式。因此，他们设置了 16 种不同的挑战，范围从“为我找一件这款缺货衬衫的替代品”到“制定一个严格预算内的旅行计划”。但这里有一个转折：每一个挑战都有一个严格的规则手册。智能体被告知：“你有 180 秒时间，只能使用这么多计算机内存，且不能花费超过几美分。”如果智能体试图使用更多资源，测试就会停止，并被判定为失败。

他们将两类机器人投入了测试。首先，他们尝试了“通用型”（General Purpose）智能体——这些是聪明的全能思考者，试图利用逻辑和推理解决任何问题。然后，他们尝试了“专业化”（Specialized）智能体——这些是专为特定工作构建的机器人，比如球鞋专家或旅行规划师，它们内置了针对该特定任务的捷径和规则。

结果令人震惊。通用型机器人虽然非常擅长回答简单问题，但在面对现实世界的任务时完全崩溃了。当被要求在严格的时间和金钱限制内购买衬衫或规划旅行时，它们 100% 失败了。它们要么耗时过长，要么花费过多，或者干脆陷入混乱。这就像是一位博学的哲学家试图修理一个漏水的水龙头，结果却淹没了整个房子。

另一方面，专业化智能体则是全场的明星。“零售智能体”（Retail Agent）成功找到了 83.3% 的鞋类替代品，“旅行智能体”（Travel Agent）规划了 83.3% 的行程，而“网页购物智能体”（Web Shopping Agent）则以 100% 的成功率完成了任务。至关重要的是，它们都在严格遵守时间及金钱预算的情况下完成了任务。它们不仅得到了正确的答案，而且是以真实业务所需的方式实现的：快速、廉价且可靠。

论文引入了一个新的评分标准，称为 EASR（效率调整后成功率）。你可以把它想象成一个“金星”奖章，只有当你跑完比赛且没有耗尽汽油时才能获得。如果一个智能体得到了正确答案但耗时过长或成本过高，其 EASR 得分就会降至零。这个评分揭示了在旧测试中的“获胜者”（通用型机器人）实际上会在真实的商店或办公室里造成灾难，而专业化机器人已经准备好投入工作了。

作者还确保了这项测试的公平性和可重复性。他们将测试题目锁在了一个数字保险库中，以防止任何人绕过规则，并多次运行测试以确保结果并非偶然。他们发现，虽然专业化智能体在各自的领域表现出色，但它们仍然会犯错——比如旅行智能体在复杂的预算规则面前陷入困境，或者代码生成器有时会编造虚假的指令。但通过精确测量它们在何时以及为何失败（例如耗尽时间或内存），研究人员可以帮助工程师修复这些具体问题。

简而言之，这篇论文表明，我们需要停止将 AI 智能体视为处于一个拥有无限生命和金钱的视频游戏中。为了让它们在现实世界中发挥作用，我们需要像测试汽车或飞机一样测试它们：不仅要检查它们是否有效，还要检查它们是否高效、安全，并符合现实世界的限制。研究表明，虽然通用的“聪明”大脑正面临挣扎，但那些通过特定规则和捷径构建的机器人才是真正准备好完成任务的。