🤖 AI

Agentick: A Unified Benchmark for General Sequential Decision-Making Agents

本文介绍了 Agentick，这是一个统一的基准测试，包含跨多种模态和难度等级的 37 个程序化生成任务，旨在促进强化学习、大语言模型、视觉语言模型、混合智能体及人类智能体在序列决策方面的公平比较并推动其进展。

原作者： Roger Creus Castanyer, Pablo Samuel Castro, Glen Berseth

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Roger Creus Castanyer, Pablo Samuel Castro, Glen Berseth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图找出世界上谁是最棒的“问题解决者”。你有三种截然不同的参赛者：

白板（The Blank Slate）：一个一无所知的机器人，必须通过试错来学习一切（就像婴儿学走路）。
百科全书（The Encyclopedia）：一台超级聪明的计算机，它几乎读遍了整个互联网，但从未在现实世界中真正做过任何事。
混合体（The Hybrid）：两者的结合。

问题在于？直到现在，我们都无法公平地比较它们。这就像试图通过让马拉松运动员、国际象棋特级大师和游泳选手都去“跑一场比赛”来比较他们。游泳选手会淹死，而国际象棋选手则会迷路。

“Agentick”登场了。

这篇论文的 authors 构建了一个新的、通用的测试平台，称为Agentick。你可以把它想象成一个巨大的、程序生成的“障碍赛”，专门设计用于让任何类型的 AI 在同一个竞技场上竞争。

障碍赛（基准测试）

Agentick 不仅仅是一个游戏；它是一个包含37 个不同迷你游戏（如迷宫、谜题和寻宝游戏）的集合，难度逐渐增加。这些游戏测试六项具体技能：

导航：你能找到路吗？
规划：你能提前思考吗？
推理：你能解决逻辑谜题吗？
记忆：你能记住 10 步之前发生的事情吗？
泛化：你能适应新规则吗？
团队协作：你能与他人合作（或对抗）吗？

通用翻译器（接口）

这里的魔法在于：Agentick 在游戏的每一刻都同时使用五种不同的语言。

对于“白板”（强化学习 RL）：它显示像素化的电子游戏屏幕（就像老式街机游戏）。
对于“百科全书”（大语言模型 LLMs）：它显示使用 ASCII 字符的文本地图（例如用 # 表示墙壁，. 表示空地）或文字描述。
对于人类：它显示 3D 风格的视图。

这确保了没有人被欺骗。“百科全书”不需要猜测像素的含义，“白板”也不需要阅读小说来理解规则。它们看到的都是完全相同的世界状态，只是以它们最擅长的格式呈现。

结果：谁赢了？

研究人员运行了超过90,000 场游戏，以查看谁表现最好。以下是他们的发现，使用了简单的类比：

没有唯一的英雄：没有“最棒”的 AI。这取决于任务。
- 白板（RL） 在规划和团队协作方面表现出色。它通过重复练习掌握了游戏的精确机制，成为了一名战术大师。
- 百科全书（LLMs） 在导航和泛化方面表现出色。因为它阅读了如此多的内容，所以它可以在没有事先练习的情况下，猜出新迷宫中的正确路径。
- 结论：即使是最聪明的 AI（GPT-5 mini）也只达到了约**30%*的“完美分数”。AI 今天能做到的与它应该*能做到的之间仍存在巨大差距。
“思考”的诀窍：你如何要求 AI 思考，比 AI 有多大更重要。
- 当研究人员让大语言模型在行动前“逐步思考”（一种称为思维链的方法）时，它们的性能提高了三倍甚至十倍。这就像告诉学生：“不要只是猜测；先把你的逻辑写下来。”突然间，他们解决谜题的能力大大提升。
简短明了更好：对于试图导航地图的 AI 来说，文本网格（ASCII） 比冗长、花哨的描述效果更好。
- 想象一下试图给某人指路。一张带有符号的简单地图（# = 墙，. = 路径）通常比一段文字更容易被计算机处理，那段文字可能会说：“你正站在一个房间里，左边有一堵墙……"紧凑的符号在空间推理方面更高效。

为什么这很重要

该论文认为，要构建真正有能力、自主的代理（可以独立做事的机器人或软件），我们需要停止将这些不同类型的 AI 视为分离的世界。Agentick 提供了共同基础，让我们可以看到每种类型在何处闪耀、在何处失败。

它表明，AI 的未来不仅仅是制造更大的模型或更长时间地训练它们；而是结合“白板”的“通过做来学习”与“百科全书”的“世界知识”，同时利用正确的“提示”（指令）来发挥它们的最佳水平。

简而言之：Agentick 是第一位公平的裁判，它能在同一个竞技场中评判国际象棋选手、游泳选手和跑步选手，证明虽然我们取得了进展，但距离构建完美的自主代理还有很长的路要走。

技术摘要：Agentick——面向通用序列决策智能体的统一基准

问题陈述

自主智能体研究涵盖广泛谱系，从从零开始学习的深度强化学习（RL）智能体，到利用预训练世界知识的基础模型（FM）智能体（大语言模型 LLM 和视觉语言模型 VLM）。尽管存在这种多样性，但一个关键缺口依然存在：尚无统一基准能够公平地跨范式进行比较。 现有基准通常专为特定智能体类型设计（例如，为 RL 设计的基于像素的环境，或为 LLM 设计的基于文本的游戏），导致无法评估“基于交互的学习”与“预训练知识”的结合是否为构建全功能智能体所必需。此外，当前基准往往缺乏支持训练的基础设施，未能将能力分解为具体维度，或未提供标准化的观察模态，从而无法避免架构偏见。

方法论：Agentick 基准

作者提出了 Agentick，这是一个从头构建的基准，旨在支持跨完整智能体设计谱系（RL、LLM、VLM、混合架构及人类智能体）的公平评估。该基准建立在四项指导原则之上：

范式通用性： 每个任务同时暴露五种同步的观察模态：
- ASCII 文本网格（供 LLM 使用）。
- 自然语言描述。
- 结构化字典。
- 512×512 等距像素渲染（供 VLM 和基于 CNN 的 RL 使用）。
- 原始 NumPy 状态数组（供程序化智能体使用）。
  这确保了没有任何智能体类型会因输入格式而处于劣势。
能力分解： 评估不再依赖单一的综合得分，而是分解为六大能力类别：
- 导航（8 个任务）
- 规划（9 个任务）
- 推理（8 个任务）
- 记忆（4 个任务）
- 泛化（3 个任务）
- 多智能体协调（5 个任务）
  这使得通过“雷达图”分析来识别具体优势和劣势成为可能。
以训练为先的设计： 该基准包含用于程序化任务交互的代码 API、所有 37 个任务的神谕参考策略，以及托管在 HuggingFace 上的预构建监督微调（SFT）数据集（12 万至 50 万条神谕轨迹）。环境支持向量化，以用于并行 RL 训练。
可控难度： 任务设有四个难度等级（从简单到专家级），并采用程序化生成以确保每个随机种子下布局的唯一性，同时扩展网格大小、约束复杂度和回合长度。

评估指标： 主要指标是神谕归一化得分（ONS）：
$ONS = \frac{\text{智能体回报} - \text{随机基线}}{\text{神谕回报} - \text{随机基线}}$
该指标将性能相对于随机基线和强参考策略（神谕）进行归一化，从而实现跨任务比较。

实验设置： 作者在 37 个任务、4 个难度等级上评估了 27 种配置，每个“任务 - 难度”对包含 25 个随机种子（总计超过 90,000 个回合）。受评估的智能体包括：

前沿 LLM： GPT-5 mini、Gemini 3.1 Flash Lite、Claude Haiku 4.5。
从零开始的 RL： 使用稠密奖励和稀疏奖励训练的 PPO 智能体。
开源权重 LLM： Qwen3 和 Qwen3.5 模型（参数量从 0.8B 到 4B）。
框架（Harnesses）： 智能体采用不同的推理策略进行测试，包括一种提示链式思维推理的“马尔可夫推理器”框架。

关键结果

评估表明，没有任何单一范式在所有能力上占据主导地位：

整体表现： GPT-5 mini 取得了最高的整体 ONS（0.309），紧随其后的是从零开始训练的 PPO（0.287）。然而，即使是最佳智能体，其表现也仅达到神谕水平的不到三分之一，表明仍有巨大的改进空间。
能力专业化：
- GPT-5 mini 在导航（0.456）和泛化（0.437）方面表现卓越，利用了预训练知识。
- PPO 在规划（0.402）和多智能体任务（0.432）中占据主导，这些任务中通过交互习得的精确、可重复控制至关重要。
- 推理任务仍是所有智能体最弱的类别，最高得分（PPO）仅为 0.191。
框架设计的影响： 提示策略的选择与模型规模同样关键。推理器框架（链式思维）使所有受测 LLM 的性能提升了3–10 倍。例如，Qwen3.5-4B 从标准马尔可夫框架切换到推理器框架后，ONS 从 0.023 跃升至 0.228。
观察模态： 对于 LLM 智能体，ASCII 观察始终优于自然语言（例如，Qwen3.5-4B 在 ASCII 上的得分为 0.228，而在语言上为 0.181），这表明紧凑、令牌高效的表示在空间推理方面更优。
模型效率： 配备更优框架的小模型优于配备较弱设置的大模型（例如，配备推理器框架的 Qwen3.5-0.8B 优于未配备该框架的 Qwen3-4B）。

意义与主张

作者声称，Agentick 提供了推动通用自主智能体发展所需的实证基础设施。其意义在于：

实现跨范式比较： 这是首个支持在相同任务上以标准化指标公平评估 RL、LLM、VLM 及混合架构智能体的基准。
推动基础模型的后训练 RL： 它作为基础模型后训练 RL的训练场，应用于真正的序列、随机和交互环境，超越了当前 RLVR（基于可验证奖励的强化学习）在数学和代码等静态领域取得的成果。
揭示根本性缺口： 结果凸显了当前方法在复杂序列决策（特别是推理和长视野规划）方面尚显不足，表明可能需要结合 FM 推理与 RL 训练控制的混合架构。
研究效用： 通过提供可组合的框架、神谕数据集和实时排行榜，Agentick 促进了关于智能体脚手架、课程学习以及观察模态对智能体性能影响的研究。

论文结论指出，虽然目前没有任何单一方法占据主导地位，但该基准成功地区分了不同范式，并凸显了构建真正通用自主智能体所面临的重大研究议程。