🤖 machine learning

Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1

Dit artikel valideert empirisch de pedagogische effectiviteit van het canonieke ontwerp van Super Mario Bros. World 1-1 door aan te tonen dat een Monte Carlo reinforcement learning-agent superieure leerefficiëntie en nul catastrofale fouten bereikt wanneer de segmenten van het niveau in hun oorspronkelijke, progressieve volgorde worden gepresenteerd in plaats van in willekeurige permutaties.

Oorspronkelijke auteurs: Jesse Ponnock, Lucas Ho

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jesse Ponnock, Lucas Ho

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om Super Mario Bros te spelen. Je wilt twee dingen weten:

Welke leermethode werkt het best? (Moet de robot elke stap uit het hoofd leren, of moet hij een "neuraal netwerk"-brein gebruiken dat patronen raadt?)
Maakt de volgorde van het level uit? (Is het beroemde World 1-1 level echt ontworpen om je te leren hoe je moet spelen, of is dat gewoon een gelukkig toeval?)

De auteurs van dit paper bouwden een vereenvoudigde, digitale versie van World 1-1 en lieten vier verschillende "robots" proberen dit te verslaan. Dit is wat ze vonden, eenvoudig uitgelegd.

De Vier Robots (Algoritmen)

De onderzoekers testten vier verschillende manieren waarop de robot kan leren:

Q-Learning & SARSA: Denk aan deze als super-geheugens. Ze houden een gigantisch schrift bij waarin ze precies opschrijven wat er gebeurt als ze op een specifieke plek springen. Ze raden niet; ze onthouden.
Monte Carlo: Dit is de verhalenverteller. Deze robot werkt zijn kennis niet na elke stap bij. In plaats daarvan wacht hij tot het einde van de hele ronde (de episode), kijkt terug op de gehele reis en zegt: "Oké, die hele run was goed, dus elke stap die ik heb gezet was waarschijnlijk een goed idee."
DQN (Deep Q-Network): Dit is de patroon-rader. Het gebruikt een complex brein (een neuraal netwerk) om te raden wat te doen op basis van wat het eerder heeft gezien. Het is ontworpen voor enorme, chaotische werelden, maar de onderzoekers wilden zien of het overdreven (overkill) was voor een simpel level.

De Drie Moeilijkheidsgraden

Ze testten deze robots op drie versies van hetzelfde level:

Level 1 (Statisch): Alleen grond, pijpen en gaten. Geen vijanden.
Level 2 (+Blokken): Voegde breekbare bakstenen en vraagtekensblokken toe.
Level 3 (+Vijanden): Voegde Goombas en Koopa's toe. Dit is de echte, volledige ervaring.

De Grote Verrassingen

1. De "Verhalenverteller" Won de Race

Toen het level moeilijker werd (met vijanden), was de Monte Carlo-robot de duidelijke winnaar. Hij versloeg het level 95% van de tijd.

Waarom? De andere robots (zoals Q-Learning) probeerden het snelste pad naar de finish te vinden. Ze negeerden de kleine extraatjes (zoals het raken van vraagtekensblokken) omdat ze gefocust waren op het doel.
De Monte Carlo-robot keek echter naar het hele verhaal. Hij realiseerde zich dat het raken van vraagtekensblokken onderweg hem extra punten opleverde en de reis veiliger maakte. Hij leerde een "rijke" speler te zijn die alles onderweg verzamelt, in plaats van alleen een "snelle" speler.

2. De "Patroon-rader" (DQN) Had een Meltdown

De DQN-robot, die normaal gesproken bekend staat als de slimste, faalde jammerlijk op het makkelijkste level (Level 1). Hij won slechts 10% van de tijd.

De Analogie: Stel je een student voor die probeert te leren rekenen, maar elke keer als hij een fout maakt, krijgt hij een enorme "F" (een grote negatieve score), en krijgt hij zelden een "A" (een overwinning). De student wordt zo bang voor de "F" dat hij stopt met het oplossen van problemen en gewoon opgeeft.
Op Level 1 bleef de robot in gaten vallen en kreeg hij enorme strafpunten. Omdat hij weinig vraagtekensblokken raakte (die kleine beloningen geven), zat zijn "geheugenbank" vol met mislukkingen. Hij kwam vast te zitten in een lus van angst.
De Fix: Toen ze vraagtekensblokken toevoegden (Level 2), begon de robot plotseling met 93% van de tijd te winnen. De kleine beloningen van de blokken balanceerden de angst om te vallen uit, waardoor hij kon leren.

3. Het Level Design is een Meesterwerk in Onderwijzen

Het meest opwindende deel van het paper is het Curriculum Experiment.

De Opstelling: Het World 1-1 level bestaat uit 6 duidelijke secties (A, B, C, D, E, F). Het originele spel speelt ze in deze volgorde af: A → B → C → D → E → F. Dit begint makkelijk (slechts één vijand) en wordt steeds moeilijker (groepen vijanden).
De Test: De onderzoekers door elkaar gehusseld de volgorde. Ze lieten de robot eerst de moeilijke delen spelen (F → E → D...) of willekeurige volgordes.
Het Resultaat:
- Originele Volgorde (A→F): De robot leerde snel, won bijna elke keer, en nooit volledig gefaald.
- Omgekeerde Volgorde (F→A): De robot had enorme moeite. Hij viel in het begin constant in gaten, raakte bang, en veel robots leerden het spel nooit helemaal spelen.
- Willekeurige Volgordes: Sommige willekeurige volgordes werkten redelijk, maar geen enkele was zo perfect als de originele.

De Les: Waarom de Volgorde Ertoe Doet

Het paper bewijst dat World 1-1 niet zomaar een leuk level is; het is een perfect ontworpen leraar.

Als je een student in een vuurwerp gooit (de moeilijke delen eerst), raakt hij in paniek en geeft hij op.
Als je hem in een zandbak laat oefenen (de makkelijke delen eerst), bouwt hij zelfvertrouwen op.
Tegen de tijd dat hij het vuur bereikt, weet hij precies hoe hij ermee om moet gaan.

De onderzoekers ontdekten dat de Monte Carlo-robot erg gevoelig was voor deze volgorde omdat hij leert van het hele verhaal. Als het verhaal met een ramp begint, denkt de robot dat het hele spel een ramp is. De DQN-robot gaf echter niet om de volgorde. Omdat hij een "geheugenbank" gebruikt die al zijn ervaringen uit het verleden (goed en slecht) mengt, kon hij het verschil niet zien tussen een level dat makkelijk begon en een level dat moeilijk begon.

Samenvatting

Beste Leerling: De "Verhalenverteller" (Monte Carlo) was de beste in het verslaan van het volledige spel omdat hij leerde om van de reis te genieten, niet alleen van de finishlijn.
Beste Leraar: Het originele ontwerp van World 1-1 is wetenschappelijk bewezen de beste manier om een speler te onderwijzen. Het introduceert uitdagingen langzaam, wat voorkomt dat de leerling overweldigd raakt.
De Les: In AI (en misschien wel in het leven) is hoe je een probleem introduceert even belangrijk als wat het probleem is. Als je te moeilijk begint, kunnen zelfs de slimste algoritmen falen.

Technische Samenvatting: Reinforcement Learning in Super Mario Bros

Probleemstelling
Super Mario Bros. World 1-1 wordt in de game design-literatuur breed gevierd als een meesterwerk van progressief onderwijs, waarbij de levelstructuur zelf mechanismen (pijpen, gaten, vijanden) introduceert in een veilige, laag-risico volgorde voordat er een verlangen naar integratie van deze elementen ontstaat. Echter, of deze structuur een werkelijke, empirisch meetbare pedagogische curriculum vormt of slechts een boeiend narratief, is nooit formeel getest. Dit artikel beoogt de pedagogische effectiviteit van de canonieke vormgeving van World 1-1 te valideren met behulp van Reinforcement Learning (RL) als een empirische lens. Specifiek onderzoeken de auteurs twee vragen: (1) welk RL-algoritme leert het level het meest effectief en hangt dit af van complexiteit, en (2) of de canonieke segmentvolgorde het leren versnelt vergeleken met gerandomiseerde permutaties.

Methodologie
De auteurs hebben World 1-1 vanaf nul geïmplementeerd als een volledig discrete omgeving, waarbij standaard game- of RL-libraries zijn vermeden om een getrouwe, op tegels gebaseerde representatie te garanderen.

Omgeving: Het level is een 212 × 14 tegelgrid. Drie versies van toenemende complexiteit zijn gemaakt:
- v1 (Statisch): Grond, pijpen, gaten en trappen.
- v2 (+Blocks): Voegt breekbare bakstenen en vraagtekensblokken toe.
- v3 (+Enemies): Voegt 17 vijanden (Goomba's en een Koopa) toe met NES-getrouwe fysica, inclusief stampmechanieken.
Toestandsruimte (State Space): Gerepresenteerd als tupels inclusief kolom, rij, sprongfase en een "viewport" (een tupel van tegelcodes binnen het schermvenster). De toestandsruimte groeit van 3 dimensies in v1 naar 115 dimensies in v3.
Algoritmen: Vier algoritmen werden vergeleken: Q-Learning, SARSA, Monte Carlo (MC) en Deep Q-Network (DQN). Allemaal gebruikten $\epsilon$ $ϵ$ -greedy exploratie met een gedeeld vervalregime (decay schedule).
- Tabulaire methoden (Q-Learning, SARSA, MC) gebruikten exacte Q-tabellen (defaultdict), waarbij de waarden van bezochte toestanden werden geregistreerd zonder benadering.
- DQN maakte gebruik van een PyTorch MLP (128-128-3) met experience replay (50k buffer) en target netwerk synchronisatie.
Curriculum Experiment: Het level werd verdeeld in zes canonieke segmenten (A–F). Twaalf condities werden getest: de canonieke volgorde (A→F), de omgekeerde volgorde (F→A) en tien willekeurige permutaties. De Monte Carlo-agent werd voor dit experiment gekozen vanwege de gevoeligheid voor episode-niveau trajecten.

Belangrijkste Bijdragen

Custom Implementatie: Een Python-gebaseerde, NES-getrouwe discrete omgeving van World 1-1 met drie complexiteitsniveaus, gebouwd zonder externe game-engines.
Algoritme Benchmarking: Een uitgebreide vergelijking van 60 trainingruns (4 agenten × 3 niveaus × 5 seeds) waarbij tabulaire versus functie-benaderingsmethoden worden geëvalueerd.
Curriculum Validatie: Een systematisch experiment (60 aanvullende runs) waarbij de permutatieruimte van de levelsegmenten wordt gesampled om de hypothese van de pedagogische structuur te testen.

Resultaten

Algoritme Prestaties:
- Monte Carlo (MC) kwam naar voren als de sterkste agent, met een winrate van 94,9% ± 1,5% op het volledige level (v3). MC presteerde beter dan DQN (76,4%) en tabulaire TD-methoden door te leren de tussenliggende beloningen (het breken van blokken, het raken van vraagtekensblokken) te maximaliseren langs winnende paden, in plaats van de meest directe route te nemen.
- DQN vertoonde een "beloningsdichtheid"-afhankelijkheid. Het leed onder catastrofaal falen op v1 (10,6% winrate) omdat de replay buffer werd overspoeld met doodstrafpunten (−50) relatief aan de schaarse positieve signalen. Echter, het herstelde op v2 (93,4%) wanneer tussenliggende beloningen (vraagtekensblokken) het signaal diversifieerden. Op v3 behaalde DQN de laagste winrate (76,4%) door over-generalisatie, waarbij het leerde vijanden volledig te vermijden in plaats van het risico te nemen voor stamp-beloningen (+5).
- Tabulaire Methoden convergeerden op alle levels. MC convergeerde het snelst op v1 en v2, terwijl SARSA en Q-Learning iets tragere convergentie vertoonden op v1 door conservatisme in exploratie.
Curriculum Leren:
- Canonieke Volgorde (A→F) was de snelste en meest robuuste conditie, met een winrate van 94,7% en nul catastrofale fouten over 10 seeds. Het convergeerde naar een winrate van 50% in ~2.771 episodes.
- Omgekeerde Volgorde (F→A) werd zwaar gestraft, met een winrate van 48,5% en 4 van de 10 seeds die volledig faalden.
- Willekeurige Permutaties clusterden tussen de twee extremen (gemiddelde winrate van 89,0%) maar vertoonden een hoge variantie; geen enkele willekeurige permutatie voldeed aan alle drie de criteria van de canonieke conditie (hoogste winrate, snelste convergentie, nul fouten).
Mechanisme van Gevoeligheid: Het curriculum-effect was specifiek voor het update-mechanisme. DQN vertoonde een null curriculum-effect (geen significant verschil tussen canonieke, omgekeerde en willekeurige volgordes) omdat de experience replay buffer overgangen uniform sampleert, waardoor de temporele ordening van makkelijk-naar-moeilijk segmenten wordt uitgewist. MC, dat pas na volledige episodes wordt bijgewerkt, is zeer gevoelig voor de volgorde van segmenten.

Significantie en Claims
Het paper biedt de eerste empirische validatie dat de canonieke ontwerp van World 1-1 een echte pedagogische structuur codeert die het leren meetbaar versnelt en niet door toeval kan worden gereproduceerd. De resultaten tonen aan dat:

Pedagogische Structuur is Echt: De specifieke ordening van segmenten in World 1-1 is niet willekeurig; het optimaliseert de leer-efficiëntie en robuustheid voor agenten die vertrouwen op traject-gebaseerde signalen.
Algoritme Selectie Criteria: De keuze tussen tabulaire methoden en DQN moet niet enkel gebaseerd zijn op de grootte van de toestandsruimte. In discrete, niet-uniforme omgevingen met schaarse beloningen kunnen tabulaire methoden (specifiek MC) beter presteren dan DQN. Het succes van DQN is afhankelijk van de beloningsdichtheid om de experience replay buffer te stabiliseren.
Update Mechanisme Gevoeligheid: De gevoeligheid voor curriculum-volgorde wordt gedreven door het update-mechanisme. Agenten op episode-niveau (MC) profiteren van progressieve moeilijkheid, terwijl replay-gebaseerde leerders (DQN) ongevoelig zijn voor de temporele ordening vanwege uniforme sampling.

De auteurs concluderen dat het ontwerp van World 1-1 een functionele curriculum is, en niet slechts een narratief, en dat de effectiviteit afhankelijk is van het vermogen van de agent om de temporele structuur van het leersignaal te benutten.