🤖 machine learning

Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1

Este artigo valida empiricamente a eficácia pedagógica do design canônico de Super Mario Bros. World 1-1 ao demonstrar que um agente de aprendizado por reforço de Monte Carlo alcança eficiência de aprendizado superior e zero falhas catastróficas apenas quando os segmentos do nível são apresentados em sua ordem progressiva original, em vez de em permutações aleatórias.

Autores originais: Jesse Ponnock, Lucas Ho

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jesse Ponnock, Lucas Ho

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a jogar Super Mario Bros. Você quer saber duas coisas:

Qual método de aprendizado funciona melhor? (O robô deve memorizar cada passo individual ou deve usar um "cérebro de rede neural" para adivinhar padrões?)
A ordem da fase importa? (A famosa fase World 1-1 é realmente projetada para te ensinar a jogar ou isso é apenas um acidente feliz?)

Os autores deste artigo construíram uma versão digital simplificada da World 1-1 e deixaram quatro diferentes "robôs" tentarem vencê-la. Aqui está o que eles descobriram, explicado de forma simples.

Os Quatro Robôs (Algoritmos)

Os pesquisadores testaram quatro maneiras diferentes de o robô aprender:

Q-Learning & SARSA: Pense neles como super-memorizadores. Eles mantêm um caderno gigante onde anotam exatamente o que acontece se eles pularem em um ponto específico. Eles não adivinham; eles lembram.
Monte Carlo: Este é o contador de histórias. Ele não atualiza seu conhecimento após cada passo individual. Em vez disso, ele espera até o fim de todo o jogo (o episódio), olha para trás para toda a jornada e diz: "Ok, essa corrida inteira foi boa, então cada passo que dei provavelmente foi uma boa ideia".
DQN (Deep Q-Network): Este é o adivinhador de padrões. Ele usa um cérebro complexo (uma rede neural) para adivinhar o que fazer com base no que já viu antes. Ele é projetado para lidar com mundos enormes e caóticos, mas os pesquisadores queriam ver se era exagero para uma fase simples.

Os Três Níveis de Dificuldade

Eles testaram esses robôs em três versões da mesma fase:

Nível 1 (Estático): Apenas chão, canos e buracos. Sem inimigos.
Nível 2 (+Blocos): Adicionou blocos quebráveis e blocos de interrogação.
Nível 3 (+Inimigos): Adicionou Goombas e Koopas. Este é o jogo real e completo.

As Grandes Surpresas

1. O "Contador de Histórias" Venceu a Corrida

Quando a fase ficou difícil (com inimigos), o robô Monte Carlo foi o vencedor claro. Ele venceu a fase 95% das vezes.

Por quê? Os outros robôs (como o Q-Learning) tentaram encontrar o caminho mais rápido para a linha de chegada. Eles ignoraram os pequenos bônus (como bater em blocos de interrogação) porque estavam focados no objetivo.
O robô Monte Carlo, no entanto, olhou para a história inteira. Ele percebeu que bater nos blocos de interrogação ao longo do caminho dava pontos extras e tornava a jornada mais segura. Ele aprendeu a ser um jogador "rico", coletando tudo pelo caminho, em vez de apenas um jogador "rápido".

2. O "Adivinhador de Padrões" (DQN) Teve um Colapso

O robô DQN, que costuma ser o mais inteligente, falhou miseravelmente na fase mais fácil (Nível 1). Ele venceu apenas 10% das vezes.

A Analogia: Imagine um aluno tentando aprender matemática, mas toda vez que ele erra uma questão, ele recebe um "F" enorme (uma nota negativa grande) e raramente recebe um "A" (uma vitória). O aluno fica com tanto medo do "F" que para de tentar resolver os problemas e simplesmente desiste.
No Nível 1, o robô caía constantemente em buracos e recebia penalidades enormes. Como ele não batia em muitos blocos de interrogação (que dão pequenas recompensas), sua "memória" estava cheia de falhas. Ele ficou preso em um ciclo de medo.
A Correção: Quando adicionaram os blocos de interrogação (Nível 2), o robô começou de repente a vencer 93% das vezes. As pequenas recompensas dos blocos equilibraram o medo de cair, permitindo que ele aprendesse.

3. O Design da Fase é uma Aula de Mestre

A parte mais emocionante do artigo é o Experimento de Currículo.

A Configuração: A fase World 1-1 é feita de 6 seções distintas (A, B, C, D, E, F). O jogo original as reproduz na ordem: A → B → C → D → E → F. Isso começa fácil (apenas um inimigo) e vai ficando mais difícil (grupos de inimigos).
O Teste: Os pesquisadores embaralharam a ordem. Eles fizeram o robô jogar as partes difíceis primeiro (F → E → D...) ou em ordens aleatórias.
O Resultado:
- Ordem Original (A→F): O robô aprendeu rápido, venceu quase sempre e nunca falhou completamente.
- Ordem Reversa (F→A): O robô teve muita dificuldade. Ele caía em buracos constantemente no início, ficou assustado e muitos robôs nunca aprenderam a jogar.
- Ordens Aleatórias: Algumas ordens aleatórias funcionaram bem, mas nenhuma foi tão perfeita quanto a original.

A Conclusão: Por que a Ordem Importa

O artigo prova que a World 1-1 não é apenas uma fase divertida; ela é uma professora perfeitamente desenhada.

Se você joga um aluno no fogo (as partes difíceis primeiro), ele entra em pânico e desiste.
Se você deixa ele praticar em um parquinho (as partes fáceis primeiro), ele constrói confiança.
Quando ele chega ao fogo, ele sabe exatamente como lidar com ele.

Os pesquisadores descobriram que o robô Monte Carlo era muito sensível a essa ordem porque aprende a partir da história inteira. Se a história começa com um desastre, o robô acha que o jogo inteiro é um desastre. O robô DQN, no entanto, não se importou com a ordem. Como ele usa um "banco de memória" que mistura todas as suas experiências passadas (boas e ruins), ele não conseguia distinguir entre uma fase que começava fácil ou uma que começava difícil.

Resumo

Melhor Aprendiz: O "Contador de Histórias" (Monte Carlo) foi o melhor em vencer o jogo completo porque aprendeu a aproveitar a jornada, não apenas a linha de chegada.
Melhor Professor: O design original da World 1-1 é cientificamente comprovado como a melhor maneira de ensinar um jogador. Ele introduz desafios lentamente, o que evita que o aprendiz fique sobrecarregado.
A Lição: Na IA (e talvez na vida), como você introduz um problema é tão importante quanto o que o problema é. Se você começar com algo muito difícil, até os algoritmos mais inteligentes podem falhar.

Resumo Técnico: Aprendizado por Reforço em Super Mario Bros

Definição do Problema
O nível World 1-1 de Super Mario Bros é amplamente celebrado na literatura de design de jogos como uma aula magistral de ensino progressivo, onde a estrutura do próprio nível introduz mecânicas (canos, lacunas, inimigos) em uma ordem segura e de baixo risco antes de exigir sua integração. No entanto, se essa estrutura constitui um currículo pedagógico genuíno e empiricamente mensurável ou apenas uma narrativa envolvente, nunca foi formalmente testado. Este artigo busca validar a eficácia pedagógica do design canônico do World 1-1 usando o Aprendizado por Reforço (RL) como uma lente empírica. Especificamente, os autores investigam duas questões: (1) qual algoritmo de RL aprende o nível de forma mais eficaz e se isso depende da complexidade e (2) se a ordenação canônica dos segmentos acelera o aprendizado em comparação com permutações aleatórias.

Metodologia
Os autores implementaram o World 1-1 do zero como um ambiente totalmente discreto, evitando bibliotecas padrão de jogos ou de RL para garantir uma representação fiel baseada em tiles.

Ambiente: O nível é uma grade de 212 × 14 tiles. Três versões de complexidade crescente foram criadas:
- v1 (Estático): Chão, canos, lacunas e escadas.
- v2 (+Blocos): Adiciona blocos quebráveis e blocos de interrogação.
- v3 (+Inimigos): Adiciona 17 inimigos (Goombas e um Koopa) com física precisa do NES, incluindo mecânicas de pisada.
Espaço de Estados: Representado como tuplas incluindo coluna, linha, fase do pulo e um "viewport" (uma tupla de códigos de tiles dentro da janela da tela). O espaço de estados cresce de 3 dimensões em v1 para 115 dimensões em v3.
Algoritmos: Quatro algoritmos foram comparados: Q-Learning, SARSA, Monte Carlo (MC) e Deep Q-Network (DQN). Todos utilizaram exploração $\epsilon$ $ϵ$ -greedy com um cronograma de decaimento compartilhado.
- Métodos tabulares (Q-Learning, SARSA, MC) utilizaram tabelas Q exatas (defaultdict), registrando valores para estados visitados sem aproximação.
- O DQN utilizou um MLP PyTorch (128-128-3) com experience replay (buffer de 50k) e sincronização de rede alvo.
Experimento de Currículo: O nível foi particionado em seis segmentos canônicos (A–F). Doze condições foram testadas: a ordem canônica (A→F), a ordem reversa (F→A) e dez permutações aleatórias. O agente de Monte Carlo foi selecionado para este experimento devido à sua sensibilidade a trajetórias de nível de episódio.

Contribuições Principais

Implementação Customizada: Um ambiente discreto baseado em Python e fiel ao NES do World 1-1 com três níveis de complexidade, construído sem motores de jogo externos.
Benchmarking de Algoritmos: Uma comparação abrangente de 60 execuções de treinamento (4 agentes × 3 níveis × 5 sementes) avaliando métodos tabulares vs. métodos de aproximação de função.
Validação de Currículo: Um experimento sistemático (60 execuções adicionais) amostrando o espaço de permutação dos segmentos do nível para testar a hipótese da estrutura pedagógica.

Resultados

Desempenho dos Algoritmos:
- Monte Carlo (MC) emergiu como o agente mais forte, alcançando uma taxa de vitória de 94,9% ± 1,5% no nível completo (v3). O MC superou o DQN (76,4%) e os métodos TD tabulares ao aprender a maximizar recompensas intermediárias (quebrar blocos, bater em blocos de interrogação) ao longo de caminhos vencedores, em vez de seguir a rota mais direta.
- DQN exibiu uma dependência de "densidade de recompensa". Sofreu falha catastrófica em v1 (10,6% de taxa de vitória) porque o replay buffer foi inundado com penalidades de morte (−50) em relação aos sinais positivos esparsos. No entanto, recuperou-se em v2 (93,4%) quando as recompensas intermediárias (blocos de interrogação) diversificaram o sinal. Em v3, o DQN alcançou a menor taxa de vitória (76,4%) devido à supergeneralização, aprendendo a evitar inimigos inteiramente em vez de arriscar recompensas de pisada (+5).
- Métodos Tabulares convergiram em todos os níveis. O MC convergiu mais rápido em v1 e v2, enquanto o SARSA e o Q-Learning mostraram convergência ligeiramente mais lenta em v1 devido ao conservadorismo da exploração.
Aprendizado de Currículo:
- Ordenação Canônica (A→F) foi a condição mais rápida e robusta, alcançando uma taxa de vitória de 94,7% com zero falhas catastróficas em 10 sementes. Convergiu para uma taxa de vitória de 50% em aproximadamente 2.771 episódios.
- Ordenação Reversa (F→A) foi severamente penalizada, com uma taxa de vitória de 48,5% e 4 de 10 sementes falhando completamente.
- Permutações Aleatórias agruparam-se entre os dois extremos (média de 89,0% de taxa de vitória), mas exibiram alta variância; nenhuma permutação aleatória única igualou todos os três critérios da condição canônica (maior taxa de vitória, convergência mais rápida, zero falhas).
Mecanismo de Sensibilidade: O efeito de currículo foi específico ao mecanismo de atualização. O DQN mostrou um efeito de currículo nulo (sem diferença significativa entre ordens canônica, reversa e aleatória) porque seu experience replay buffer amostra uniformemente as transições, apagando a ordem temporal dos segmentos de fácil para difícil. O MC, que atualiza apenas após episódios completos, é altamente sensível à ordem dos segmentos.

Significância e Alegações
O artigo fornece a primeira validação empírica de que o design canônico do World 1-1 codifica uma estrutura pedagógica genuína que acelera mensuravelmente o aprendizado e não pode ser replicada por acaso. Os resultados demonstram que:

A Estrutura Pedagógica é Real: A ordenação específica dos segmentos no World 1-1 não é arbitrária; ela otimiza a eficiência e a robustez do aprendizado para agentes que dependem de sinais baseados em trajetória.
Critérios de Seleção de Algoritmo: A escolha entre métodos tabulares e DQN não deve depender apenas do tamanho do espaço de estados. Em ambientes discretos e não uniformes com recompensas esparsas, métodos tabulares (especificamente o MC) podem superar o DQN. O sucesso do DQN é contingente à densidade de recompensa para estabilizar o experience replay buffer.
Sensibilidade do Mecanismo de Atualização: A sensibilidade à ordenação do currículo é impulsionada pelo mecanismo de atualização. Aprendizes de nível de episódio (MC) beneficiam-se da dificuldade progressiva, enquanto aprendizes baseados em replay (DQN) são insensíveis à ordenação temporal devido à amostragem uniforme.

Os autores concluem que o design do World 1-1 é um currículo funcional, não apenas uma narrativa, e que sua eficácia é contingente na capacidade do agente de utilizar a estrutura temporal do sinal de aprendizado.