Mastering Baghchal by Self-Play with Deep Reinforcement Learning
本文系统地评估了四种深度强化学习算法（DQN、REINFORCE、PPO 和 MuZero）通过自我博弈掌握非对称性尼泊尔棋类游戏 Baghchal 的表现，结果表明 MuZero 通过基于模型的规划实现了最高的胜率，而 PPO 则在性能与计算效率之间提供了最实用的平衡。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几十年来，人工智能领域一直痴迷于游戏，将其作为教导机器如何思考的试验场。其目标不仅仅是赢得国际象棋或围棋，而是为了理解一个智能体如何在没有人类教师告知规则的情况下，从零开始学习复杂的策略。这一过程被称为强化学习，其原理类似于数字形式的试错法。一个智能体会进行游戏，因一次妙招而获得奖励，或因一次失误而受到惩罚，并逐渐调整其内部逻辑以实现未来奖励的最大化。虽然这种方法已经攻克了双方拥有相同棋子和目标的对称性游戏，但在玩家角色存在根本差异时，它面临着更为陡峭的攀升。在这些非对称场景中，一方可能拥有少数强大的单位，而另一方则指挥着一支庞大但行动缓慢的军队，这创造了一个谜题：每个玩家通往胜利的路径看起来完全不同。理解机器如何应对这些不平等的竞争环境至关重要，这不仅是为了开发更好的游戏机器人，也是为了开发能够处理现实世界中混乱且不平等现实的人工智能。
在最近的一项研究中，来自尼泊尔加德满都大学的研究人员将注意力转向了巴格查尔（Bghachal），这是一种源自他们本土文化的传统棋类游戏，完美地体现了这种不对称性。游戏在五乘五的网格上进行，由四只敏捷的虎对阵二十只羊。老虎先行动，可以通过跳过羊来捕获它们，目标是通过移除棋盘上的五只羊来获胜。羊则是在开局阶段逐一放置在棋盘上的，它们必须通过协作来包围老虎并切断其所有的移动路径。如果羊成功困住了老虎使其无法移动，则由羊获胜。该游戏属于完全信息游戏，这意味着双方都能随时看到整个棋盘，但挑战在于截然不同的角色：老虎需要激进的短期战术来进行狩猎，而羊则需要长期的协调规划来建立防御墙。尽管具有战略深度，但巴格查尔在现代人工智能研究中却鲜有关注，因为研究者们大多集中在西方或东亚游戏上。
为了探索机器如何应对这一独特挑战，研究团队训练了四种不同类型的学习算法，让它们分别扮演游戏的双方并进行自我对抗。他们并没有为智能体编写特定的策略；相反，他们让算法与自身的副本进行数千场比赛，通过结果进行学习。研究人员测试了多种学习风格：一种通过记忆特定棋盘位置的价值进行学习；另一种通过猜测并尝试整个游戏序列进行学习；第三种在学习与稳定性之间取得平衡；第四种则通过建立游戏的内部模型来想象未来的移动。通过让每种算法都同时扮演老虎和羊，研究人员可以观察到一种单一的学习方法是否能够适应两种完全不同的思维方式，或者是否会在掌握一种角色时而在另一种角色上失败。
结果揭示了这些机器学习能力的清晰等级制度。最成功的算法是那种建立了游戏内部模型的算法，它允许智能体在做出移动之前模拟未来的场景。这种被称为“基于模型的规划”的方法使智能体能够预判数步之后的走法，这对于必须仔细规划包围圈的羊来说是一项关键技能。在模拟中，这个高级智能体在扮演老虎时赢得了86%的比赛，在扮演羊时赢得了62%的比赛。它学会了进行牺牲，例如暂时让一只羊逃脱，以便稍后布置更好的陷阱，并且擅长处理阻止老虎所需的长期协调。研究人员发现，预判能力是获胜的最主要因素，因为它允许智能体洞察其行为在遥远未来的后果。
然而，这项研究也强调了一个实际的权衡。虽然基于模型的智能体是最强的玩家，但它也是要求最高的，需要显著更多的计算能力和时间进行训练。它需要近二十五小时的连续处理才能达到巅峰性能，并且在游戏过程中决策速度较慢。相比之下，另一种通过平衡探索与稳定性进行学习的算法提供了一个极具吸引力的折中方案。它在扮演双方时都取得了很高的胜率——作为老虎时为73%，作为羊时为58%——但所消耗的计算资源要少得多，且训练时间不到一半。这表明，对于许多资源有限的现实应用场景，一个稍弱但更高效的系统可能是更好的选择。
研究人员还发现了游戏本身的性质是如何塑造学习过程的。由于奖励是即时且明确的（捕获一只羊会带来瞬间的提升），老虎的角色被证明更容易被所有算法掌握。这使得学习过程变得稳定且快速。然而，羊的角色则困难得多。羊只有在成功困住老虎时才会获得奖励，而这可能发生在初始设置后的许多步之后。这种延迟使得算法很难判断哪些早期移动是有益的，哪些是无效的。因此，依赖即时反馈的算法在扮演羊时表现得更为吃力，往往无法将二十个棋子协调成一个凝聚的防御体系。研究表明，虽然机器可以学习玩非对称游戏，但角色的难度很大程度上取决于游戏提供成功反馈的速度。
最终，这项工作证明了现代人工智能可以在没有人类指导的情况下，学习如何应对复杂的、不平等的竞争环境。研究证实，预判能力是掌握像巴格查尔这类游戏的钥匙，因为通往胜利的路径需要超越眼下的下一步进行思考。虽然最强大的系统需要大量的计算资源，但研究结果表明，高效的算法仍然可以实现高水平的技巧，使先进的游戏技术即使在硬件受限的环境中也能触手可及。通过将这些方法应用于传统的尼泊尔游戏，研究人员不仅推动了人工智能科学的发展，同时也帮助保护了文化遗产，证明了古老的策略可以教会现代机器关于合作、策略以及预判艺术的宝贵教训。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。