3D GameDev Arena: Benchmarking Coding Agents That Plan, Build, and Playtest extreme Long-Horizon Browser Games
本文介绍了 3D GameDev Arena,这是一个包含 108 个极长程任务的综合基准测试,旨在评估自动化编程智能体从零开始规划、构建并试玩复杂 3D 浏览器游戏的能力,研究揭示了当前的智能体在处理此类任务时表现挣扎,且代码层面的正确性并不保证玩家的偏好。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下这样一个世界:你可以向计算机描述一款电子游戏,它不仅能编写代码,还能自主设计角色、构建3D世界,并测试其趣味性。这就是人工智能的前沿领域,研究人员正在教机器扮演软件工程师的角色。一段时间以来,这些AI系统已经证明了它们能够修复现有代码中的微小错误,或构建简单的平面程序。但衡量其能力的真正考验在于从无到有创造出复杂的东西:一个感觉真实、视觉精美且真正具有可玩性的大型三维游戏。这是一个巨大的挑战,因为电子游戏不仅仅是一系列指令;它是一个物理机制、视觉效果和玩家选择必须无缝协作的生命系统。如果代码运行正常但游戏感觉僵硬或枯燥,那么它就失去了最重要的目的。
来自中国几所大学的研究团队通过创建一个名为“3D GameDev Arena”的新型测试场,接受了这一挑战。他们旨在观察当前的AI智能体是否能从一个空文件夹和一个简单的文本描述开始,从零开始构建一个完整的3D游戏。研究人员没有给AI任何预制的模板、启动代码或现成的3D模型。相反,AI必须规划整个项目,寻找或创建自己的数字资产(如角色和环境),编写让它们移动的代码,然后通过亲自玩游戏来检查是否有效。这些任务要求极高,涵盖了从赛车、格斗到角色扮演冒险在内的14种不同类型的游戏。其中一些任务需要AI运行近八个小时,为了规划、构建和修复游戏,进行了超过一千次对其“大脑”的调用。
实验结果揭示了一个令人惊讶的差距:即机器能正确完成的工作与人类认为有趣的内容之间的差距。研究人员从三个不同的维度对游戏进行了评估。首先,他们检查代码以查看游戏是否遵循规则,例如角色的生命值在受到攻击时是否会正确减少。其次,他们使用自动化智能体来玩游戏,并评判3D世界的视觉效果以及控制是否流畅。最后,他们将这些游戏放入一个公开竞技场,让真实的玩家玩两款不同版本的同一款游戏,并投票选出他们更喜欢的一个。研究结果显示,虽然AI通常能构建出符合技术规则的游戏,但通过这些规则并不保证游戏是有趣的。事实上,两个在技术测试中表现同样出色的AI系统,在人类玩家的评价中却截然不同,其中一个被偏好的频率是另一个的两倍多。
研究发现,成功开发游戏的关键不在于AI编写了多少代码,也不在于它在场景中添加了多少3D物体。一个制作出最受欢迎游戏的AI系统保持了代码库的小巧与有序;而另一个在玩家偏好方面表现挣扎的系统则编写了大量的代码,并在屏幕上填充了数十个额外的3D模型,这往往导致游戏难以导航。最关键的区别在于AI如何检查自己的工作。人类最喜欢的系统会将时间花在真实的浏览器中玩游戏,观察角色的移动并像玩家一样测试控制。而人类不喜欢的系统则主要依赖静态检查,即在纸面上验证代码看起来是否正确,而从未见过游戏实际运行。这表明,对于AI要真正掌握游戏开发这类创意任务,它必须学会体验自己的作品,而不只是验证其逻辑。
尽管有这些见解,研究人员得出结论:从头开始构建大型3D游戏远未解决。表现最好的AI系统也仅能实现大约三分之二的技术要求,且没有任何一个系统在可玩性或人类偏好方面达到高分。AI在将AI生成的3D模型整合进运行中的游戏方面仍然存在困难,经常无法让角色与世界相匹配或移动正确。此外,虽然AI在数小时的工作后仍未偏离目标,但它经常无法调整计划以使游戏感觉自然。研究人员强调,编写正确代码的能力并不等同于创造引人入胜体验的能力。随着人工智能的不断进化,下一步不仅是让机器能够遵循指令,而是要构建能够理解“游玩”这种微妙的人类感受的系统。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。