AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
本文介绍了 AceAction，这是一个涵盖多种 3D 游戏的、大规模的人类游戏数据集，它提供了层级化且时间对齐的视觉-语言-动作标注，旨在使通用智能体能够在动态环境中学习技能组合与子目标转换。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
为了教会机器如何在世界中行动，研究人员需要一个庞大的示例库，展示智能体所看到的景象、它想要达成的目标以及为实现目标而采取的具体动作之间的联系。在物理世界中，收集这类数据既缓慢、昂贵又危险；它需要机器人、人类监督员以及可能需要数年时间才能积累起来的重复设置。视频游戏提供了一个切实可行的替代方案。它们提供了丰富的三维环境，人类玩家每天在其中执行复杂的任务，并且每一个视觉场景都可以与创造该场景所使用的精确键盘和鼠标指令完美配对。科学家面临的挑战在于，虽然游戏能产生无穷无尽的数据，但要将原始的游戏过程转化为对人工智能有用的教训，不仅仅是记录视频那么简单。它需要一种方式来理解不仅是最终结果，还有导致结果的逐步思考过程：玩家如何决定移动，何时从探索切换到战斗，以及他们如何将一个大目标分解为若干个可管理的小任务。
一个研究团队通过创建一个名为 AceAction-5M 的新数据集解决了这个问题，该数据集旨在教计算机如何在许多不同的 3D 视频游戏中遵循复杂的指令。研究人员并没有仅仅记录发生了什么，而是将数千小时的人类游戏过程组织成了一个结构化的层级。他们将长时间的连续游戏过程分解为一个清晰的指挥链：一个主任务、一系列中间子目标，以及达成每个子目标所需的具体、瞬时的动作。例如，一个单一的任务可能是“穿过走廊并爬上红砖房的楼梯”。系统将其进一步分解：首先，玩家必须到达右侧的门口；然后，他们必须爬楼梯；最后，他们靠近房子。每一个步骤都与玩家看到的精确视觉场景以及他们执行该步骤时所使用的精确按键序列和鼠标移动相联系。
该数据集涵盖了各种各样的虚拟世界，包括《堡垒之夜》（Fortnite）、《我的世界》（Minecraft）、《反恐精英》（Counter-Strike）和《欧洲卡车模拟 2》（Euro Truck Simulator 2）等热门游戏。总计，该集合包含了来自 42 款不同游戏的超过 5,000 小时游戏过程，代表了超过 540 万条不同的任务指令和近 1.16 亿次单独的键盘和鼠标动作。为了构建这个数据集，研究人员将来自其自有工作室的职业选手录像与来自在线社区的公开比赛数据相结合。然后，他们使用先进的计算机视觉工具来观察游戏过程，并自动识别玩家的目标何时发生变化。如果一名玩家正在走廊行走，然后停下来射击敌人，系统就会识别出“行走”阶段已经结束，“战斗”阶段已经开始。它将这些转变标记为不同的阶段，为每个子目标分配了明确的开始和结束时间。
这项工作的一个关键部分是能够将这些阶段与特定的视觉地标联系起来。当玩家向目的地导航时，系统会识别他们到达一个可识别地点（如大门、坡道或特定房间）的时刻，并将此标记为一个路标点。这使得数据不仅显示玩家在移动，还显示他们是带着特定的目的地在移动。研究人员随后将这些路标点组合成更长的序列，以形成完整的任务描述。为了确保数据的准确性，他们采用了严格的两步检查流程。首先，人工智能模型审查了每一条标注，以验证书面描述是否与视频及记录的控制指令相匹配。随后，一个由八名成员组成的专家团队人工检查了数百条游戏轨迹。这种人工审计确认了描述的正确率达到了 95.8%，确保了语言、视觉与动作之间的联系是稳固的。
其结果是一个能够明确教导人工智能智能体如何在情况变化时切换不同技能的数据集。与以往可能仅描述最终结果或提供模糊指令的集合不同，AceAction-5M 向机器展示了何时应该停止一项活动并开始另一项活动。它捕捉了在动态环境中所需行为的全范围，从地图导航、侦察敌人到参与战斗以及在挫折后进行恢复。通过提供这种细粒度的细节，研究人员创建了一个基础，用于训练那些能够理解复杂的多阶段指令并能以人类玩家般的灵活性执行指令的智能体。这项工作证明，通过将游戏过程组织成清晰的层级化目标，可以教会机器不仅是如何移动，还有如何通过一系列动作的思考过程来实现一个复杂的任务目标。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。