DecisionBench: A Benchmark for Emergent Delegation in Long-Horizon Agentic Workflows
本文介绍了 DecisionBench，这是一个用于评估跨不同模型和任务的长程智能体工作流中涌现式委托的综合基准平台，其结果表明，尽管任务质量在不同感知条件下保持稳定，但在提升路由准确性和整体编排性能方面仍存在巨大的未开发潜力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一家繁忙厨房的经理。你有一道复杂的订单需要完成，涉及切菜、烧烤、烘焙和摆盘。你可以尝试亲自完成所有工作，但你已经筋疲力尽，而且也许你并不擅长烘焙。
DecisionBench 是一款全新的“厨房模拟器”，旨在测试一位经理（AI 智能体）在决定将工作的一部分委托给其他厨师（其他 AI 模型）而非独自包揽时，表现如何。
以下是该论文如何利用简单类比进行分解：
1. 问题所在：“全能”陷阱
过去，我们只测试单一厨师能否做出一顿饭。但在现实世界中，AI 智能体必须执行耗时数小时的漫长且复杂的任务。有时，一位更小、更便宜或更专业的厨师，在特定步骤（如切菜）上能比主厨更快、更好地完成。
核心问题是：主厨是否知道何时寻求帮助，以及他们是否向对的人求助？
2. 设置："DecisionBench"厨房
作者构建了一个受控厨房来测试这一点。他们不仅观察厨师烹饪，还制定了一套具体的规则手册：
- 任务：他们使用了三个现有的困难任务“菜单”（GAIA、τ-bench、BFCL），这些任务需要长链条的步骤。
- 厨师：他们从 7 家不同的公司（如 OpenAI、Anthropic、Google）挑选了 11 个不同的 AI 模型，作为可供求助的“同行”。
- 工具：主厨拥有两个特殊工具：
call_model：一个按钮，用于将子任务转交给另一位厨师。read_profile：一份菜单，告知主厨其他厨师擅长什么（例如，“厨师 A 擅长数学，但不擅长长文本”）。
3. 实验：我们需要多少信息？
研究人员希望观察主厨在不同信息水平下的表现。他们测试了五种场景：
- 盲选：厨师拥有求助按钮，但不知道谁擅长什么。他们只能猜测。
- 预加载感知：在班次开始前，厨师会获得一份打印好的“作弊条”（一份档案卡），描述每位其他厨师的优缺点。
- 按需感知：厨师没有作弊条，但可以在任务过程中仅在需要时查询特定厨师的档案。
- 变体：他们尝试了不同类型的作弊条：一份由人类专家撰写，一份由硬数学/统计生成，另一份由另外两个 AI 裁判撰写。
4. 重大发现（研究结果）
意外 #1：知道得更多并不一定让饭菜更美味。
即使主厨拥有其他人的完美档案，最终饭菜的质量（任务成功率）与“盲选”时几乎完全相同。
- 类比：这就像拥有一份详细的城市地图，却仍然被困在交通拥堵中。额外的信息并没有自动让行程更快或目的地更好。
意外 #2：获取信息的方式比信息本身更重要。
这是最大的发现。
- “作弊条”（预加载）失败了：当厨师被迫在开始前阅读长长的档案列表时，他们并没有很好地利用这些信息。他们的委托选择实际上比“盲选”时更差。
- “按需”工具奏效了：当厨师能够仅在特定步骤卡住时查询特定厨师的档案时，他们在决定呼叫谁方面做出了两倍多的正确选择。
- 类比：想象一个学生参加考试。如果你在考试前递给他们一本 50 页的教科书，他们可能会感到不知所措并忘记关键事实。但如果允许他们仅在遇到难题时查阅特定事实，他们解决问题的效果会好得多。交付方式（按需查询）才是英雄，而不是书本的内容。
意外 #3：我们留下了大量潜力未被利用。
研究人员计算了一个“完美上限”。这是指如果主厨能神奇地确切知道每一步的最佳助手是谁并立即呼叫他们，所能获得的分数。
- 结果：目前最好的方法仍比这个完美上限差 15% 到 31%。
- 类比：我们目前正以 60 英里/小时的速度驾驶汽车，但引擎的潜力可达 100 英里/小时。我们在未来改进任务委托方式方面，拥有巨大的“未实现的提升空间”。
意外 #4：厨师偏爱自己的品牌。
主厨倾向于向同一家公司制造的厨师求助，即使来自不同公司的厨师更适合该工作。
- 类比：这就像福特工厂的经理只向其他福特机械师求助，即使丰田机械师是镇上最适合该特定维修的人。这种“品牌偏见”在数据中是一个明显的模式。
5. 结论
该论文得出结论，DecisionBench 是衡量 AI 智能体管理团队能力的新兴且必不可少的工具。
对未来的关键启示是：不要一开始就向 AI 倾倒大量信息。 相反，应赋予他们在确切需要时查询信息的工具。如果我们改进信息交付方式，我们可能会解锁目前未被利用的巨大潜力（即 15–31% 的差距）。
作者已发布了所有“厨房食谱”、“厨师”和“记分卡”，以便其他研究人员测试他们自己管理 AI 团队的新方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。