Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1

あなたはロボットに『スーパーマリオブラザーズ』の遊び方を教えていると想像してください。あなたは次の2つのことを知りたいと考えています。

1. どの学習方法が最も優れているか？（すべてのステップを丸暗記すべきか、それともパターンを推測する「ニューラルネットワーク」という脳を使うべきか？）
2. レベルの順番は重要か？（あの有名な「ワールド1-1」は、本当にプレイヤーに遊び方を教えるために設計されているのか、それとも単なる幸運な偶然なのか？）

この論文の著者たちは、簡略化されたデジタル版の「ワールド1-1」を作成し、4種類の異なる「ロボット」にそれを攻略させました。彼らが発見したことを、分かりやすく解説します。

4種類のロボット（アルゴリズム）

研究者たちは、ロボットが学習するための4つの異なる方法をテストしました。

• Q学習（Q-Learning）＆ SARSA: これらは**「超・記憶型」**です。特定の場所でジャンプしたらどうなるかを、巨大なノートに正確に書き留めていきます。彼らは推測しません。ただ覚えるのです。
• モンテカルロ法（Monte Carlo）: これは**「ストーリーテラー（物語り手）」**です。ステップごとに知識を更新するのではなく、ゲームの最後まで（エピソード終了まで）待ち、旅のすべてを振り返ってから、「よし、このラン全体は良かった。だから、取ったすべてのステップはおそらく良いアイデアだったはずだ」と判断します。
• DQN（Deep Q-Network）: これは**「パターン推測型」**です。複雑な脳（ニューラルネットワーク）を使用して、これまでに見たものに基づいて次に何をすべきかを推測します。巨大で混沌とした世界を扱うように設計されていますが、研究者たちは、単純なレベルに対してこれが過剰（オーバーキル）ではないかを確認しようとしました。

3段階の難易度

彼らはこれら4つのロボットを、3つのバージョンの同じレベルでテストしました。

1. レベル1（静的）: 地面、パイプ、穴があるだけ。敵はなし。
2. レベル2（ブロック追加）: 壊せるレンガや「？」ブロックが追加されている。
3. レベル3（敵追加）: クリボーやノコノコが登場。これが完全な、本物のレベルです。

大きな驚き

1. 「ストーリーテラー」がレースに勝った

レベルが難しくなったとき（敵が登場したとき）、モンテカルロ法のロボットが圧倒的な勝者となりました。彼は**95%**の確率でレベルをクリアしました。

• なぜか？ 他のロボット（Q学習など）は、ゴールへの「最短ルート」を見つけようとしました。彼らはゴールだけに集中していたため、道中の小さなボーナス（「？」ブロックを叩くことなど）を無視してしまいました。
• しかし、モンテカルロ法のロボットは、**「物語全体」**を見ました。彼は、道中で「？」ブロックを叩くことが追加ポイントになり、旅をより安全にすることを理解しました。彼は単なる「速い」プレイヤーではなく、道中のすべてを回収する「リッチな」プレイヤーになることを学んだのです。

2. 「パターン推測型」（DQN）がパニックを起こした

DQNは、通常は最も賢いことで有名なアルゴリズムですが、最も簡単なレベル（レベル1）で惨敗しました。彼の勝率はわずか**10%**でした。

• 例え話: 数学を学んでいる生徒を想像してください。間違えるたびに、巨大な「F（落第）」をもらい（大きなマイナス点）、なかなか「A（合格）」をもらえない（勝利）状況です。その生徒は「F」を恐れるあまり、問題を解くのをやめて諦めてしまいます。
• レベル1では、ロボットは何度も穴に落ちてしまい、大きなペナルティを受け続けました。「？」ブロック（小さな報酬を与えるもの）にほとんど当たらないため、彼の「記憶バンク」は失敗の記録でいっぱいになりました。彼は恐怖のループに陥ってしまったのです。
• 解決策: 「？」ブロックを追加したとき（レベル2）、ロボットは突然、**93%**の確率で勝ち始めました。ブロックによる小さな報酬が、穴に落ちる恐怖のバランスを取り、学習を可能にしたのです。

3. レベルデザインは「教え方」の傑作である

最もエキサイティングな部分は、この**「カリキュラム実験」**です。

• 設定: 『ワールド1-1』は6つの明確なセクション（A、B、C、D、E、F）で構成されています。オリジナルのゲームは、これらを A → B → C → D → E → F の順に再生します。これは、簡単（敵が1体）から始まり、徐々に難しく（敵のグループ）なっていく構成です。
• テスト: 研究者たちはこの順番をバラバラにしました。難しい部分を先にプレイさせたり（F → E → D...）、ランダムな順序でプレイさせたりしました。
• 結果:
  • 元の順番 (A→F): ロボットは素早く学習し、ほとんど毎回勝利し、一度も完全に失敗することはありませんでした。
  • 逆の順番 (F→A): ロボットはひどく苦戦しました。最初の方で穴に何度も落ち、恐怖を感じ、多くのロボットがプレイを学ぶことすらできませんでした。
  • ランダムな順番: いくつかのランダムな順序はそれなりに機能しましたが、オリジナルほど完璧なものはありませんでした。

なぜ順番が重要なのか（結論）

この論文は、『ワールド1-1』が単なる楽しいレベルではなく、完璧に設計された教師であることを証明しています。

• もし、生徒をいきなり火の中に投げ込んだら（難しい部分を最初にする）、彼らはパニックを起こして辞めてしまいます。
• もし、砂場の中で練習させてくれたら（簡単な部分から始める）、彼らは自信を築くことができます。
• そして、いざ火の中に到達する頃には、彼らはそれをどう扱うべきかを正確に理解しているのです。

研究者たちは、モンテカルロ法のロボットがこの順番に非常に敏感であることを発見しました。なぜなら、彼は「物語全体」から学ぶからです。もし物語が災難から始まるなら、ロボットはゲーム全体が災難であると考えてしまいます。一方で、DQNのロボットは順番を気にしませんでした。なぜなら、彼は過去の経験（良し悪し両方）を混ぜ合わせる「記憶バンク」を使用しているため、レベルが「易しい始まり」か「難しい始まり」かの区別がつかなかったからです。

まとめ

• 最高の学習者: 「ストーリーテラー」（モンテカルロ法）は、ゴールだけでなく「旅を楽しむこと」を学んだため、完全なゲームを攻略する上で最良でした。
• 最高の教師: オリジナルの『ワールド1-1』のデザインは、科学的に見て最高の教え方であることが証明されています。それは、学習者が圧倒されないように、課題を徐々に導入していきます。
• 教訓: AI（そしておそらく人生においても）、問題にどのように直面させるかは、その問題が「何であるか」と同じくらい重要です。もし最初から難しすぎると、たとえ最も賢いアルゴリズムであっても、失敗してしまう可能性があるのです。