🤖 machine learning

Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1

本文通过实证研究验证了《超级马里奥兄弟》世界1-1经典设计的教学有效性，证明了只有当关卡片段按其原始的递进顺序而非随机排列方式呈现时，蒙特卡洛强化学习智能体才能实现卓越的学习效率且实现零灾难性失败。

原作者： Jesse Ponnock, Lucas Ho

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Jesse Ponnock, Lucas Ho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人玩《超级马里奥兄弟》。你想知道两件事：

哪种学习方法效果最好？（它是应该死记硬背每一个步骤，还是应该使用一个能通过猜测模式来思考的“神经网络”大脑？）
关卡的顺序重要吗？（著名的“世界 1-1”关卡是真的旨在教你如何玩游戏，还是仅仅是一个幸运的巧合？）

这篇论文的作者构建了一个简化的、数字版的“世界 1-1”，并让四个不同的“机器人”尝试通关。以下是他们的发现，用简单的语言进行了解释。

四个机器人（算法）

研究人员测试了四种不同的机器人学习方式：

Q-Learning 和 SARSA： 把它们想象成超级记忆者。它们保留着一本巨大的笔记本，记录下如果在特定位置跳跃会发生什么。它们不靠猜测，而是靠记忆。
蒙特卡洛（Monte Carlo）： 这是讲故事的人。它不会在每走一步后都更新知识。相反，它会等到整个游戏（一个回合）结束，回顾整个旅程，然后说：“好吧，这整场表现都很棒，所以刚才走的每一步可能都是个好主意。”
DQN（深度 Q 网络）： 这是模式猜测者。它使用一个复杂的脑（神经网络）来根据它以前见过的东西来猜测该做什么。它被设计用来处理巨大且混乱的世界，但研究人员想看看对于一个简单的关卡来说，这是否属于大材小用。

三个难度等级

他们将这些机器人测试在三个不同版本的同一个关卡上：

等级 1（静态）： 只有地面、管道和坑洞。没有敌人。
等级 2（+砖块）： 增加了可破坏的砖块和问号块。
等级 3（+敌人）： 加入了板栗仔（Goombas）和乌龟（Koopas）。这是完整的、真实的关卡。

巨大的惊喜

1. “讲故事的人”赢得了比赛

当关卡变得困难（加入敌人）时，蒙特卡洛机器人成为了明显的赢家。它 95% 的情况下都能通关。

为什么？ 其他机器人（如 Q-Learning）试图寻找通往终点的最快路径。它们忽略了路上的小奖励（比如撞击问号块），因为它们专注于目标。
然而，蒙特卡洛机器人观察的是整个故事。它意识到，在途中撞击问号块可以获得额外分数并让旅程更安全。它学会了成为一名“富有”的玩家，在通关过程中收集一切，而不仅仅是一个“快速”的玩家。

2. “模式猜测者”（DQN）崩溃了

DQN 机器人通常以极其聪明而闻名，但在最简单的等级 1 上却惨败。它的胜率仅为 10%。

类比： 想象一个学生在学习数学，但每次他答错题时，都会得到一个巨大的“不及格”（高额负分），而且他很少得到“优秀”（胜利）。这个学生因为害怕那个“不及格”而变得非常胆小，以至于他停止了解题，甚至直接放弃了。
在等级 1 中，机器人不断掉入坑洞并遭受巨大的惩罚。因为它没怎么撞到问号块（这些块提供小额奖励），它的“记忆库”充满了失败。它陷入了恐惧的循环。
解决方法： 当研究人员加入问号块（等级 2）时，它突然开始赢得了 93% 的比赛。来自方块的小额奖励平衡了掉入坑洞带来的恐惧，使其能够学习。

3. 关卡设计是一场大师级的教学

论文中最令人兴奋的部分是课程实验。

设置： “世界 1-1”关卡由 6 个截然不同的部分（A、B、C、D、E、F）组成。原版游戏按顺序播放它们：A → B → C → D → E → F。这从简单开始（只有一个敌人）逐渐过渡到困难（成群的敌人）。
测试： 研究人员打乱了顺序。他们让机器人先玩难的部分（F → E → D...）或者随机顺序。
结果：
- 原始顺序 (A→F)： 机器人学得很快，几乎每次都能赢，并且从未完全失败。
- 倒序 (F→A)： 机器人表现得非常挣扎。它在开始阶段不断掉入坑洞，感到恐惧，许多机器人甚至根本没学会怎么玩。
- 随机顺序： 一些随机顺序表现尚可，但没有一个能像原始顺序那样完美。

结论：为什么顺序很重要

这篇论文证明了“世界 1-1”不仅仅是一个有趣的关卡；它是一个完美的老师。

如果你把学生扔进火堆里（先玩难的部分），他们会惊慌失措并放弃。
如果你让他们在沙坑里练习（先玩简单的部分），他们会建立信心。
等到他们面对火堆时，他们已经完全知道该如何应对了。

研究人员发现，蒙特卡洛机器人对这种顺序非常敏感，因为它通过整个故事来学习。如果故事以灾难开始，机器人就会认为整个游戏都是一场灾难。而 DQN 机器人则不在乎顺序。因为它使用一个混合了所有过去经验（无论好坏）的“记忆库”，它无法分辨一个是从易到难还是从难到易的关卡。

总结

最佳学习者： “讲故事的人”（蒙特卡洛）是通关完整游戏的最佳选择，因为它学会了享受旅程，而不只是盯着终点线。
最佳老师： 原始的“世界 1-1”设计在科学上被证明是最好的教学方式。它循序渐进地引入挑战，防止学习者感到不知所措。
启示： 在人工智能领域（以及生活中），你如何引入一个问题，与问题本身是什么同样重要。如果你从太难的地方开始，即使是最聪明的算法也会失败。

技术摘要：超级马力欧兄弟中的强化学习

问题陈述
《超级马力欧兄弟》的世界 1-1 被广泛视为游戏设计文献中关于渐进式教学的杰作，其关卡结构通过在要求整合各项机制（管道、间隙、敌人）之前，以一种安全、低风险的顺序引入这些机制。然而，这种结构究竟是构成了一个真正的、可经由经验证的教学大纲，还是仅仅是一个引人入胜的叙事，从未得到正式测试。本文旨在利用强化学习（RL）作为一种经验视角，验证世界 1-1 经典设计的教学效能。具体而言，作者研究了两个问题：(1) 哪种 RL 算法能最有效地学习该关卡，以及这种有效性是否取决于复杂度；(2) 经典的段落排序是否比随机排列能加速学习过程。

方法论
作者从零开始实现了一个完整的离散环境版本的世界 1-1，避免使用标准的游戏或 RL 库，以确保实现忠实的基于瓦片（tile-based）的表示。

环境： 该关卡为一个 212 × 14 的瓦片网格。创建了三个复杂度递增的版本：
- v1 (静态)： 地面、管道、间隙和阶梯。
- v2 (+方块)： 添加了可破坏的砖块和问号方块。
- v3 (+敌人)： 添加了 17 个敌人（板栗仔和乌龟）以及具有 NES 精确物理效果的机制，包括踩踏机制。
状态空间： 表示为包含列、行、跳跃阶段和“视口”（视窗内瓦片代码组成的元组）的元组。状态空间从 v1 的 3 维增长到 v3 的 115 维。
算法： 对四种算法进行了比较：Q-Learning、SARSA、蒙特卡洛（MC）和深度 Q 网络（DQN）。所有算法均使用带有共享衰减计划的 $\epsilon$ $ϵ$ -greedy 探索策略。
- 表格法（Q-Learning、SARSA、MC）使用精确的 Q 表（defaultdict），记录访问过的状态的值而不进行近似。
- DQN 使用了带有经验回放（50k 缓冲区）和目标网络同步功能的 PyTorch MLP（128-128-3）。
课程实验： 将关卡划分为六个经典段落（A–F）。共测试了十二种情况：经典顺序 (A→F)、反向顺序 (F→A) 以及十种随机排列。由于蒙特卡洛智能体对回合级轨迹具有敏感性，因此本实验选择了 MC 智能体。

核心贡献

自定义实现： 一个基于 Python 的、具有 NES 精确度的离散化世界 1-1 环境，包含三个复杂度等级，且未借助外部游戏引擎构建。
算法基准测试： 对 60 次训练运行（4 种智能体 × 3 个等级 × 5 个种子）进行了全面的比较，评估了表格法与函数近似法的表现。
课程验证： 通过对关卡段落的排列空间进行系统性实验（额外的 60 次运行），以测试其教学结构的假设。

结果

算法性能：
- 蒙特卡洛 (MC) 脱颖而出成为最强的智能体，在完整关卡 (v3) 上实现了 94.9% ± 1.5% 的胜率。MC 的表现优于 DQN (76.4%) 和表格 TD 方法，因为它学会了沿着获胜路径最大化中间奖励（打破方块、撞击问号方块），而非仅仅采取最直接的路径。
- DQN 表现出对“奖励密度”的依赖。它在 v1 上遭遇了灾难性失败（胜率仅 10.6%），因为其经验回放缓冲区被死亡惩罚（−50）相对于稀疏的正向信号所淹没。然而，在 v2 上它恢复了表现（胜率 93.4%），因为中间奖励（问号方块）使信号多样化。在 v3 上，DQN 取得了最低的胜率 (76.4%)，原因是过度泛化，学会了完全避开敌人而非冒险获取踩踏奖励 (+5)。
- 表格方法 在所有等级上均实现了收敛。MC 在 v1 和 v2 上收敛最快，而 SARSA 和 Q-Learning 在 v1 上由于探索保守性表现出稍慢的收敛速度。
课程学习：
- 经典顺序 (A→F) 是最快且最稳健的条件，实现了 94.7% 的胜率，且在 10 个种子中零次灾难性失败。它在大约 2,771 个回合内收敛至 50% 胜率。
- 反向顺序 (F→A) 受到了严重惩罚，胜率为 48.5%，且 10 个种子中有 4 个完全失败。
- 随机排列 聚集在两者之间（平均胜率 89.0%），但表现出高方差；没有任何单一的随机排列能同时满足经典条件的三个标准（最高胜率、最快收敛、零失败）。
敏感性机制： 课程效应特定于更新机制。DQN 显示出无效的课程效应（在经典、反向和随机顺序之间没有显著差异），因为其经验回放缓冲区均匀地采样转换，从而抹去了由易到难段落的时间顺序。而仅在完整回合后进行更新的 MC，则对段落顺序高度敏感。

意义与主张
本文首次通过经验验证了世界 1-1 的经典设计编码了一种真实的教学结构，这种结构可以显著加速学习，且无法通过偶然获得。结果表明：

教学结构是真实的： 世界 1-1 中段落的具体排序并非偶然，它优化了依赖于轨迹信号的智能体的学习效率和稳健性。
算法选择标准： 在离散且非均匀且奖励稀疏的环境中，选择表格法还是 DQN 不应仅取决于状态空间的大小。DQN 的成功取决于奖励密度以稳定其经验回放缓冲区。
更新机制的敏感性： 对课程顺序的敏感性是由更新机制驱动的。回合级学习者（MC）受益于渐进式的难度，而基于回放的学习者（DQN）由于均匀采样，对时间顺序并不敏感。

作者得出结论，世界 1-1 的设计是一个功能性的课程，而不仅仅是叙事，其有效性取决于智能体利用学习信号中时间结构的能力。