🤖 AI

AGI Maze as a Benchmark Framework for World-Modeling Agents

本文介绍了 AGI Maze，这是一个轻量级的基于网格的基准测试框架，旨在揭示当前的语言大模型即使在提供工作记忆机制的情况下，也无法构建解决部分可观测、具有状态性任务所需的持久且可操作的世界状态表示。

原作者： Alexey Potapov

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexey Potapov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗化解释，使用了日常类比。

核心理念：为什么“聪明”的聊天机器人会在迷宫中迷失

想象你有一个非常聪明的的朋友，他能写诗、解数学题，还能讲笑话。这位朋友就像是一个大语言模型（LLM）。他们非常擅长预测句子中下一个出现的词。

然而，这篇论文指出，如果你把这位朋友放进一个黑暗、曲折的迷宫里，且他只能看到面前的一堵墙，他就会迷失方向。他可能会猜出下一步该怎么走，但他无法在脑海中构建出一张完整的迷密图。他们擅长完成一个故事，但不擅长模拟一个世界。

为了证明这一点，作者创建了一个新的测试，叫做 AGI Maze（AGI 迷宫）。

什么是 AGI Maze？（“文字版视频游戏”）

你可以把 AGI Maze 想象成一个完全通过文字信息进行的视频游戏。

设定： 你处在一个网格中（类似于棋盘）。你有一个起点、一个宝箱、一把钥匙和一个出口。
难点： 你看不见地图。你不知道墙在哪里。你只知道自己的起点。
玩法： 你输入“向右走”。游戏回复：“你撞到了墙。”然后你输入“向下走”。游戏说：“你找到了钥匙！”
目标： 你必须弄清楚迷宫的布局，找到钥匙，打开宝箱并逃脱——在此过程中，你必须记住自己去过哪里以及墙在哪里，而你从未见过任何图像。

为什么这很难？
迷宫设置了一些“陷阱”来增加难度：

河流： 如果你踩到河流，会被自动冲向下游，但游戏不会告诉你水流的方向。你必须靠猜。
坑洞： 如果你掉进洞里，可能会出现在迷宫中完全不同的另一个地方。
时间限制： 你只有有限的步数来完成任务。如果你漫无目的地游荡，就会耗尽时间。

实验：AI 能解决它吗？

作者测试了几种流行的 AI 模型（如 GPT-4o 和 Gemini）在这些迷宫中的表现。他们将 AI 视为一名仅靠文字描述进行游戏的玩家。

结果令人惊讶：

“原生”AI： 当 AI 仅仅尝试根据聊天历史来猜测下一步动作时，它表现得非常糟糕。在小型迷宫中，它的表现往往甚至不如一个只会随机选择方向的计算机程序（即“随机游走”）。
问题所在： AI 并没有在它的“大脑”中构建一张地图。它只是根据最后几句话来猜测下一个词。它无法维持一个关于“我在哪里”以及“墙在哪里”的稳定图像。

“笔记本”技巧

作者意识到，人类在没有铅笔和纸的情况下无法解决复杂的迷宫。我们会随着探索的过程绘制地图。于是，他们给了 AI 一个“笔记本”（通过让 AI 在做出移动指令前，先在自己的聊天记录中写下笔记）。

设定： 在 AI 说“向右走”之前，它先写下一条笔记：“我在左下角。我向上走撞到了墙。我觉得钥匙在右边。”
结果： 这对较强的 AI 模型帮助很大。它们的成功率从失败提升到了能解决约 60-70% 的迷宫。
难点： 即便有了笔记本，AI 仍然很吃力。它并没有自然地构建出一张完美、结构化的地图。它写的只是些乱七八糟的笔记。而且对于那些规模较小、能力较弱的 AI 模型来说，笔记本技巧完全不起作用——它们依然会迷失方向。

这告诉了我们什么？

论文最后总结了几个关键结论：

预测 vs. 理解： 现在的 AI 非常擅长预测句子中的下一个词（比如完成一个故事），但它们不擅长模拟一个不断变化的世界（比如在迷宫中导航）。它们不会自然地建立起对现实的“心理模型”。
记忆很难： 仅仅给 AI 一长串过去的对话信息（它的“记忆”）是不够的。它需要主动地将这些信息组织成一张地图或一个计划，而它目前在这一点上还做不到。
测试是一个工具，而非最终评分： 作者并不是在说“AI 没用”。他们是在说：“这里有一个特定的工具（AGI Maze）来向我们展示 AI 究竟在哪里失败了。”它强调了，要构建真正的智能体，我们需要教它们如何构建并使用世界的内部地图，而不只是如何聊天。

类比总结

目前的 LLM 就像是一个背熟了剧本的导游。如果你问他们描述一个他们从未去过的城市，他们可以猜出词汇；但如果你让他们在蒙眼的情况下穿过迷宫，他们就会跌跌撞撞，因为他们手里没有地图。
AGI Maze 就是这个蒙眼迷宫测试。
“笔记本” 是给了这位导游一支笔和一张纸。这对他有一点点帮助，但他依然不是天生的制图师。

论文认为，要实现真正的通用人工智能（AGI），AI 需要学会如何绘制自己的地图并随着探索不断更新地图，而不仅仅是学会如何预测下一个句子。

技术摘要：AGI Maze —— 作为世界模型智能体基准测试的框架

1. 问题陈述

目前的语言大模型（LLMs）主要功能是静态的下一词预测器，而非持久的世界模拟器。虽然在“世界”由文本隐式描述的语言任务中表现出色，但 LLM 在需要以下能力的交互式环境中表现挣扎：

持久状态表示（Persistent State Representation）： 维护一个可操作、结构化的外部世界表示，并随时间演进。
部分可观测性（Partial Observability）： 当仅能观测到环境的一部分时，对隐藏状态（潜变量）进行推理。
内存效率（Memory Efficiency）： 在长程范围内追踪状态，而不依赖于脆弱且无结构的文本历史。
信念更新（Belief Updating）： 在存在不确定性的情况下维持并更新信念，而非仅仅从即时观测中推断局部规则。

现有的基准测试（如 AGI-ARC-3）往往无法测试这些特定能力，因为它们实际上是完全可观测的，或者不需要智能体构建可查询的、持久的世界状态。此外，将 LLM 扩展为具身智能体（例如视觉-语言-动作模型）的过程往往无法解决同步定位与地图构建（SLAM）问题，因为它们依赖的是视觉特征的回忆，而非构建连贯的世界模型。

2. 方法论：AGI Maze 框架

作者引入了 AGI Maze，这是一个轻量级的基于网格的框架，旨在测试语言领域的世界建模能力，同时避免了高维感官输入（像素）带来的复杂性。

2.1 环境设计

核心机制： 智能体在包含墙壁、带有单一出口的“单体（monolith）”边界、宝箱和钥匙的网格（3x3 到 8x8）中导航。
观测： 地图是隐藏的。智能体接收文本反馈（例如：“你尝试向右走，但单体挡住了去路”），必须据此推断布局、自身位置及物品位置。
动态不确定性： 为了强制进行真正的状态推理，该框架包含了破坏朴素探索机制的设计：
- 河流（Rivers）： 触发强制性的下游移动，且不揭示流向。
- 坑洞循环（Pit Cycles）： 将智能体传送至循环中的其他坑洞，从而产生歧义，使得相同的观测可能对应多个不同位置。
约束： 智能体在严格的步数预算下运行。至关重要的是，某些迷宫需要特定的动作序列（例如，跳入河流以到达钥匙），这类任务无法通过随机探索来解决。

2.2 框架结构与任务组

该框架分为五个任务组，以防止过拟合并测试泛化能力：

教程（TUTORIAL）： 开图模式，用于学习机制（不计分）。
训练（TRAINING）： 较小的迷宫，具有宽松的步数预算，用于校准和基准测试。
经典（CLASSIC）： 符合核心规则的较大迷宫，针对人类表现进行了校准。
扩展（EXTENDED）： 引入新机制（如船、手榴弹、手电筒）以测试推断新规则和策略的能力。
隐藏（HIDDEN）： 一个私有的留出集（hold-out set），包含未知的扩展内容，以验证性能并非源于数据集拟合。

2.3 API 与智能体交互

该框架提供稳定的 HTTP API，允许智能体：

获取游戏描述和参数。
提交动作（上、下、左、右等）。
接收文本观测和结构化状态更新。
智能体根据其在步数预算内解决迷宫的能力进行评估。

3. 实验设置与基准结果

本文评估了仅依赖提示词历史（游戏规则 + 动作-观测对）而无需外部工具或显式状态构建的“原生（vanilla）”LLM 智能体。

3.1 原生 LLM 表现

设置： 测试了多种模型（GPT-4o Mini, GPT-5 Mini, Gemini 3.1 Flash Light, MiniMax M2.7）在 TRAINING 迷宫上的表现。
发现：
- 测试的模型均无法可靠地解决即使是简单的迷宫。
- GPT-4o Mini 的表现系统性地差于随机游走基准。
- 虽然某些模型（如 Gemini 3.1 Flash）在小规模迷途中表现优于随机，但在面对较大网格（5x4 及以上）和具有动态不确定性（河流/坑洞）的迷宫时均告失败。
- 即便是更强的模型（GPT-5.5, Gemini 3.5 Flash），在双倍步数预算的情况下，在困难迷宫上的成功率也仅为 ~30-40%，远低于人类水平。

3.2 提示词即工作记忆（规划智能体）

为了测试显式状态追踪是否有帮助，引入了一个“规划智能体（planning agent）”。该智能体使用两阶段过程：

记笔记（Note-taking）： 它在提示词中生成笔记，以追踪坐标、探索状态和计划（充当工作记忆）。
行动（Action）： 它根据这些笔记选择动作。

结果：
- 更强的模型： 性能显著提升（例如，GPT-5.5 从 30% $\to$ 60%；Gemini 3.5 Flash 从 40% $\to$ 70%）。
- 较轻的模型： 在困难任务上表现为零提升。
- 局限性： 这种提升表明，原生 LLM 在推理过程中并不会在内部构建显式的潜在世界状态表示；它们需要将状态外部化到文本提示中才能有效利用。然而，即便有了笔记，“文本即记忆”的方法仍然脆弱且不足以实现可靠的求解。

4. 核心贡献

AGI Maze 框架： 一种新型的低带宽基准测试，专门设计用于隔离并测试世界建模能力（状态表示、信念追踪、长程规划），同时排除了视觉感知这一干扰因素。
对 LLM 局限性的实证证据： 证明了原生 LLM 无法构建持久、可操作的世界表示，在部分可观测、有状态的环境中，其表现往往不如随机基准。
区分记忆类型： 强调了内部潜在状态（LLM 在此方面表现不佳）与外部化文本记忆（虽有帮助但低效且脆弱）之间的区别。
可扩展性： 一个支持动态扩展（新物品、新机制）的框架，用于测试通过交互推断新规则而非硬编码的能力。

5. 重要性与主张

论文指出，AGI Maze 并非终极 AGI 基准，而是一个诊断工具，用于识别当前智能体架构中的特定差距。

核心主张： LLM 在 AGI Maze 中的失败支持了以下假设：即下一词预测本身并不必然导致显式、连贯的世界状态模型的构建。
启示： 鲁棒的世界建模需要超越标准推理的机制，例如显式的外部世界模型（地图、图谱、模拟器）以及更好的内存管理策略。
未来方向： 该框架旨在引导研究开发能够构建并查询外部人工制品（例如程序化模拟器）并比当前的“文本即记忆”方法更有效地处理不确定性和记忆的智能体。

作者总结道，虽然 AGI Maze 隔离了表示与推理作为主要瓶颈，但解决这些任务可能需要超越临时工具和提示工程的架构转变。