AgentOdyssey: Open-Ended Long-Horizon Text Game Generation for Test-Time Continual Learning Agents
本文介绍了 AgentOdyssey，这是一个通过程序化生成开放式文本游戏来评估并诊断测试时持续学习智能体在探索、知识获取、保持情境记忆以及长程规划方面能力的创新评估框架，研究表明，尽管性能会随模型增强而提升，但目前的智能体与人类水平的熟练度之间仍存在显著差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人玩一款非常复杂、永无止境的视频游戏。大多数针对 AI 的视频游戏就像是短跑：机器人在训练一段时间后进行一次测试，然后就结束了。而这篇论文认为，现实生活不是短跑，而是一场马拉松，你必须在奔跑的同时不断学习。
为了测试 AI 智能体是否真的能在实战中学习，研究人员创建了 AgentOdyssey。你可以把它想象成不仅仅是一个单一的游戏，而是一个游戏工厂。它使用一个聪明的计算机程序来无止境地生成新的文本冒险游戏（类似于旧式的“选择你自己的冒险”类书籍），并且每次生成的都是独一无二的。
以下是他们所做的工作和发现，使用了简单的类比：
1. 五种必备的“超能力”
研究人员认为，为了在不断变化的世界中生存并茁壮成长，AI 需要五种特定的“超能力”。他们构建的游戏正是为了测试这些能力：
- 探索 (探索者)： 智能体能否离开既定路线去寻找新的工具或线索，还是只会墨守成规？
- 情景记忆 (日记本)： 如果智能体在 200 步之前把钥匙掉在了某个房间里，它还能记得在哪里吗？还是说它表现得像一只只有 3 秒记忆的金鱼？
- 世界知识 (百科全书)： 智能体能否学习新的规则？例如，“哦，敌人会在晚上变得更强，”或者“这个特定的石头是制作剑所必需的。”
- 技能学习 (学徒)： 智能体能否学习“如何做某事”，比如写下一份食谱，这样以后制作物品时就不会忘记步骤。
- 长程规划 (建筑师)： 智能体能否规划一段长达数百步的复杂旅程，而不仅仅是对眼前的下一步做出反应？
2. “游戏工厂”引擎
靠手工创建这些游戏会耗费太长时间。因此，团队构建了一个引擎（类似于一台乐高机器）来自动构建新世界。
- 它发明新的地点、物品和角色。
- 它编写关于世界运作方式的新规则（例如：“如果你制造了太多噪音，怪物就会出现”）。
- 至关重要的一点是，它会检查自己的工作。如果机器创造出的游戏是损坏的或无法完成的，它会在 AI 看到之前进行自我修复。
3. 实验：谁赢了？
他们在这些游戏中测试了不同类型的 AI“大脑”。有些大脑拥有巨大的记忆力（长上下文），有些使用外部数据库（RAG），还有些尝试在玩耍时重构自己的大脑（测试时训练/Test-Time Training）。
重大发现：
- 记忆为王： 那些能够记住最多过去事件（比如阅读整本关于其历史的书籍）的智能体表现最好。然而，即使是最聪明的智能体，也远未达到人类水平的表现。
- “金鱼”问题： 许多智能体陷入了循环。它们会尝试打开一扇锁着的门，被告知“不行”，然后立即再次尝试打开那扇锁着的门，如此循环往复。它们无法从错误中学习。
- “短期记忆”的助力： 出人意料的是，给智能体一个小的、固定的“便签本”（短期记忆）来记录即时目标，几乎对所有人都有帮助。这就像是在你的显示器上贴了一张便利贴，上面写着“别忘了买牛奶”，同时你正在报税。
- 思考的代价： 最聪明的智能体也是最昂贵的。它们消耗了大量的计算资源（Token）来记住一切，以至于会很快耗尽预算。这就像是在解谜题的同时还要背诵整本字典；你最终能得到正确答案，但你会先耗尽能量。
4. 结论
论文得出结论，虽然 AI 在推理方面正在变得更好，但在持续学习方面仍然面临困难。
- 它们会陷入重复的循环（糟糕的情景记忆）。
- 它们会产生幻觉事实（糟糕的世界知识）。
- 它们会忘记长期目标（糟糕的规划）。
研究人员发现，短期记忆是帮助智能体在玩耍时学习的关键要素。然而，即使是当今最好的 AI 智能体，也像是一个非常聪明但一出门就会立刻忘记作业的优等生。在 AI 的学习方式与人类在现实世界中的学习方式之间，仍然存在着巨大的差距。
简而言之： AgentOdyssey 是一个让 AI 智能体练习即时学习的健身房。结果表明，虽然它们正在变得更强，但在面对漫长且复杂的游戏时，它们仍然显得笨拙、健忘且容易困惑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。