Mahjax: A GPU-Accelerated Mahjong Simulator for Reinforcement Learning in JAX
本文介绍了 Mahjax，这是一个基于 JAX 构建的完全向量化、GPU 加速的立直麻将环境，能够实现每秒高达 200 万步的大规模强化学习吞吐量，从而支持从零开始训练智能体，无需依赖人类对局记录。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想教一台电脑玩麻将，这是一种复杂的牌类游戏，运气在其中起着巨大作用，而且你无法看到所有人的牌。要想真正精通，电脑需要练习数百万次，尝试不同的走法并从错误中学习。这被称为“强化学习”。
问题在于，麻将就像一个巨大而混乱的交通路口。如果你试图在标准计算机处理器（普通电脑的“大脑”）上模拟它，速度太慢了。这就像试图一次只清理一辆车来疏通那个交通路口。等到电脑学会任何东西时，恐怕需要数年时间。
Mahjax 登场了。
这篇论文的 authors 构建了一个全新的超快模拟器，名为 Mahjax。你可以把它想象成从单车道公路升级到了拥有 100 条车道的巨型高速公路，并且运行在图形处理器（GPU）上——也就是高端视频游戏电脑中那种强大的芯片。
以下是他们所做工作的分解及其意义，使用简单的类比来说明：
1. “工厂”类比（向量化）
旧的模拟器就像一名工人一次组装一个玩具。如果你想训练人工智能，就必须等那名工人完成一个任务后，才能开始下一个。
Mahjax 则像是一个拥有数千个机械臂并完美同步运作的大型工厂。由于它是使用名为 JAX 的工具构建的，它可以在单个 GPU 上同时运行数千场麻将游戏。它不是玩一场游戏，而是同时玩 1,000 场，然后是 10,000 场，接着是 100,000 场。这被称为“向量化”。
2. 速度纪录
该论文在八块强大的 NVIDIA A100 GPU 上测试了这个新“工厂”（这相当于八台超级计算机协同工作）。
- 结果： Mahjax 每秒可以模拟 200 万步游戏（针对简化版规则）和 100 万步游戏（针对包含“红牌”的标准版规则）。
- 对比： 这比之前运行在标准 CPU 上的最佳模拟器快了 10 倍以上。这就像蜗牛爬行与子弹列车飞驰之间的区别。
3. 从零开始学习（Tabula Rasa）
许多现有的麻将人工智能就像只通过 memorizing 人类专家编写的教科书来学习的学生（使用“监督学习”）。它们查看人类对局的日志，并试图模仿这些对局。
作者希望看到人工智能能否 从零开始 学习（就像婴儿学步一样），而无需先查看人类日志。这就是"AlphaZero"风格的学习方式。要做到这一点，人工智能需要极其快速地玩数十亿局游戏，以便自行找出最佳走法。Mahjax 提供了必要的速度，使这种“从零开始学习”成为可能。
4. “调试器”（可视化）
学习新游戏很难，调试运行该游戏的计算机程序更难。作者包含了一个特殊工具，让你能在屏幕上像看电视转播一样观察游戏的展开过程。
- 它将复杂的日文牌面符号翻译成英文单词。
- 它帮助研究人员确切地看到人工智能在做什么，以便他们修复漏洞或理解人工智能为何会做出奇怪的走法。
5. 它奏效了吗？
团队通过使用标准学习算法（PPO）训练一个 AI 代理来测试该系统。
- 他们首先让 AI 从基本的“模仿者”策略（行为克隆）开始起步。
- 然后，他们利用新的 Mahjax 模拟器让 AI 与自己对战。
- 结果： AI 在游戏中的表现显著提升，其相对于基准对手排名有所提高。这证明了 Mahjax 足够稳定且快速，能够实际训练出高水平的人工智能代理。
总结
简而言之，这篇论文介绍了 Mahjax，这是一个将模拟麻将的缓慢、单线程过程转变为高速、并行过程的工具。它充当了一个巨大的引擎，使研究人员能够在过去处理几千个游戏场景所需的时间内，处理数百万个游戏场景，从而训练人工智能代理从零开始掌握麻将，而不仅仅是模仿人类。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。