DSLE: A Learning Environment for Dark Souls Boss Encounters
本文介绍了 DSLE，这是一个针对《黑暗之魂：重制版》中全部 22 个 Boss 战的 Gymnasium 式基准测试环境，并证明了由于该游戏具有高维视觉输入、稀疏奖励和复杂的战斗机制，当前的强化学习和进化算法在击败其中即使是具有代表性的部分 Boss 时也面临着巨大的挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象这样一个世界：计算机不再仅仅是进行数字运算，而是像人类一样通过观察屏幕、按下按键，并通过试错来摸索获胜之道，从而学会玩游戏。这就是**强化学习（Reinforcement Learning）**的核心——它是人工智能的一个分支，其中智能体（一个计算机程序）就像是在数字教室里的学生。这里的老师不是人，而是游戏本身。当智能体做出正确的移动时，它会获得“奖励”（就像一颗小红星）；当它犯错时，则会受到惩罚。经过数百万次的尝试，智能体希望能学会一种获胜策略。几十年来，科学家们一直在简单的棋类游戏或经典的复古街机游戏中测试这些 AI 学生，但他们一直难以教会 AI 玩那些看起来像真实生活、实时移动且会对错误进行即时惩罚的复杂现代视频游戏。一个大问题是：AI 是否能仅仅通过观察像素并感受失败的刺痛，就能学会成为一名游戏大师？或者说，这些现代游戏是否存在一个会让当前的学习方法失效的“难度陡增”？
于是，**黑暗之魂学习环境（Dark Souls Learning Environment, DSLE）**应运而生，这是研究人员为了测试这一点而创建的一种新工具。把《黑暗之魂：重制版》想象成一款以极其困难著称的视频游戏，它以残酷的 Boss 战闻名——那些巨大的、可怕的敌人，如果你不够完美，会在几秒钟内取你性命。研究人员构建了一个“容器”（一个特殊的数字盒子），让 AI 智能体能够自动挑战游戏中全部 22 场 Boss 战。他们并没有给 AI 特殊优势；他们让 AI 像人类玩家一样观察屏幕并按下相同的按键。他们设置了一个包含五场 Boss 的“入门包”，范围从缓慢、简单的教学关卡到混乱的多敌人噩梦，以此来观察是否有任何 AI 能够学会击败它们。
结果对 AI 界来说是一次现实的警示。当他们让最聪明的 AI 学生对抗这些 Boss 时，结果非常悬殊。一个简单的、预先编写的计算机脚本（一个“专家系统”）大约能在 63% 的情况下击败那个最简单的教学关卡 Boss。一种更先进的“进化”方法（它尝试数千种随机策略并保留其中最好的策略）在击败同一个简单 Boss 时成功率约为 43%。然而，两种最著名的现代 AI 学习方法（称为 PPO 和 DQN）却彻底失败了。即使在运行了数十小时并进行了数千次尝试后，这些先进的 AI 击败该教学关卡 Boss 的次数仍不超过 0.33%，并且在面对另外四个更难的 Boss 时，它们的胜场为零。事实上，它们完全没有表现出学习的迹象；它们的表现非常平庸，仿佛只是在随机乱猜。
研究人员发现，AI 在两个非常具体的方面失败了。在与那些在狭窄空间内战斗且敌人动作极快的 Boss 对战时，AI 在不到 10 秒内就死亡了，甚至连还手的机会都没有。而在与那些在充满岩浆的危险竞技场中战斗的 Boss 对战时，AI 虽然存活了超过一分钟，但几乎没有造成伤害，而是陷入了只躲避而不有效攻击的循环中。即便研究人员给 AI 一个拥有更好生命值和武器的“超级强化”角色，它仍然无法击败 22 个 Boss 中的大多数，仅能赢得极少数早期关卡的胜利。
论文的结论是，虽然我们可以教会 AI 玩简单的游戏，但《黑暗之魂》代表了一个全新的、更高的难度等级，目前的 AI 方法尚未攻克这一领域。这款游戏不仅难，它还需要结合时机、策略和适应能力，这打破了我们现有的学习算法。研究人员建议，要解决这个问题，我们可能需要新型的 AI，它们可以从人类演示中学习，或者理解游戏的深层结构，而不是仅仅通过不断尝试随机动作。目前来看，《黑暗之魂》的 Boss 们依然是人工智能面前未被征服的冠军。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。