🤖 machine learning

Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis

Dit artikel introduceert Q-Learning Lab, een browsergebaseerde educatieve tool die het onderwijs in tabelvormige Q-learning verbetert door live Bellman-updates te ontsluiten en studenten in staat te stellen hun eigen agent-traces te exporteren en te analyseren, waardoor passieve visualisatie wordt getransformeerd in een actieve, datagestuurde leerervaring die gevalideerd is door algoritmische correctheid en pedagogisch ontwerp.

Oorspronkelijke auteurs: Ekkachai Jueng

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ekkachai Jueng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een goocheltruc kijkt waarbij een robot leert te navigeren door een doolhof. Meestal wijst de goochelaar (de leraar) naar de robot en zegt: "Kijk! Hij heeft het pad gevonden!" Je ziet de robot bewegen, je ziet de kleuren op de kaart veranderen, maar het eigenlijke denken vindt plaats in een zwarte doos. Je ziet nooit de wiskunde, de fouten of de "Aha!"-momenten in de hersenen van de robot.

Dit artikel introduceert Q-Learning Lab, een hulpmiddel dat die zwarte doos openbreekt. Het is alsof je een röntgenbril krijgt waarmee je in realtime, stap voor stap, naar de hersenen van de robot kunt kijken.

De Goocheltruc: De Wiskunde Live Zien

De meeste leermiddelen laten je de resultaten van het leren zien. Dit hulpmiddel laat je het recept zien terwijl het wordt gekookt.

Elke keer dat de robot een stap zet, herschrijft een speciaal paneel op het scherm de beroemde "Bellman-vergelijking" (de wiskundige formule die de robot leert) met de werkelijke getallen van dat exacte moment. Het is alsof je een chef ziet opschrijven: "Voeg 10 punten toe voor het doel, trek 0,1 af voor de stap, vermenigvuldig met 0,95 voor de toekomst..." recht voor je ogen. Je kunt precies zien waarom de robot besloot om linksaf te slaan in plaats van rechtsaf, en of hij dapper was (verkennend) of voorzichtig (het benutten van wat hij al wist).

De "Doe-het-zelf" Dataloop

Dit is het coolste deel: het hulpmiddel laat je niet alleen kijken; het laat je een detective worden.

Draai de Robot: Je speelt met de robot in een 5x5 rasterwereld. Er zijn kuilen (slecht), muren (vastgelopen) en een doel (goed).
Exporteer de Aanwijzingen: Wanneer je klaar bent, klik je op één knop om een "trace"-bestand te downloaden. Dit is niet zomaar een video; het is een enorme spreadsheet met elke gedachte, fout en beslissing die de robot heeft genomen.
Los het Mysterie Op: Je opent dat bestand in een spreadsheetprogramma en maakt je eigen grafieken. Je kunt precies zien waar de robot vastliep, hoe zijn zelfvertrouwen groeide en waarom hij soms tegen een muur aanliep.

De auteurs noemen dit de learn–export–analyze loop (leer–export–analyse loop). In plaats van alleen naar een show te kijken, ben jij degene die het bewijs analyseert. Het verandelt een passieve film in een actieve investigatie.

Wat het Papier Bewijst (en Wat Niet)

De auteurs hebben niet alleen een mooi speeltje gebouwd; ze hebben het door een strenge stresstest gehaald om er zeker van te zijn dat het de waarheid spreekt.

Het is Wiskundig Correct: Ze hebben het brein van de robot vergeleken met een "perfecte" wiskundige oplossing (genaamd value iteration). In deze simulaties kwam het geleerde pad van de robot in 98,5% van de gevallen overeen met het perfecte pad. De kleine fouten die overbleven, gebeurden alleen op plekken die de robot zelden bezocht, wat precies is wat je in het echte leven zou verwachten.
De Lessen zijn Echt: Ze hebben elke claim in hun lesplan getest. Ze lieten bijvoorbeeld zien dat als je de robot vertelt om alleen om de onmiddellijke beloning te geven (door een specifiek getal op 0 te zetten), hij "myopic" (kortzichtig) wordt en er niet in slaagt het doolhof op te lossen. De simulaties bewezen dat dit elke keer gebeurt.
De "Valstrik"-test: Ze deden een slim experiment waarbij ze de beloningen aanpasten om de robot te misleiden.
- Scenario A: Ze maakten een kuil iets aantrekkelijker dan hij was. De robot viel erin. De auteurs toonden aan dat dit niet kwam omdat de robot "slecht" was of het systeem probeerde te "hacken"; het kwam omdat de robot simpelweg niet genoeg had verkend om het echte doel te vinden.
- Scenario B: Ze maakten de kuil zo goed dat erin vallen eigenlijk de slimste zet was. De robot viel er opnieuw in, maar dit keer deed hij het juiste in een kapotte wereld.
- De Les: Het hulpmiddel helpt studenten het verschil te zien tussen een robot die lui is (niet genoeg verkend) en een robot die correct de slechte instructies volgt.

Wat het Papier Uitsluit

De auteurs zijn zeer duidelijk over wat dit hulpmiddel niet is.

Het is geen studie naar menselijke studenten. Ze geven expliciet aan dat ze dit nog niet op echte klaslokalen hebben getest. Ze hebben nog niet gemeten of de cijfers van studenten zijn gestegen. Dat bewaren ze voor een toekomstige studie.
Het is geen hulpmiddel voor complexe, real-world AI. Het gaat niet over robots met camera's, zelfrijdende auto's of multi-agent games. Het is strikt bedoeld voor een eenvoudige, deterministische rasterwereld. De auteurs beargumenteren dat het toevoegen van complexiteit juist de wiskunde die ze willen onderwijzen, zou verbergen.
Het is geen "magische oplossing" voor alle leerproblemen. Het artikel suggereert dat hoewel het hulpmiddel geweldig is voor het begrijpen van de basis, het de moeilijkere problemen van AI-alignment of deep learning niet op zichzelf oplost.

De Kernboodschap

Q-Learning Lab is een single-file, tweetalig (Thais/Engels) hulpmiddel dat in elke webbrowser draait zonder dat er iets geïnstalleerd hoeft te worden. Het verandert de abstracte wiskunde van reinforcement learning in een tastbaar, inspecteerbaar spel.

Het artikel suggereert dat door studenten hun eigen data te laten genereren en analyseren, we kunnen overgaan van "kijken naar een robot die leert" naar "begrijpen hoe leren werkt". De simulaties bevestigen dat het hulpmiddel accuraat is en dat de lessen die het leert echte eigenschappen van het algoritme zijn, en geen toevallige animaties. Het is een stap naar het zichtbaar maken van de onzichtbare logica van AI, één spreadsheet tegelijk.

Technische Samenvatting: Q-Learning Lab

Probleemstelling
Reinforcement learning (RL) staat steeds meer centraire aandacht in de onderwijscurricula voor bachelorstudenten, maar de introductie van tabelvormige Q-learning leunt vaak op abstracte presentaties van de Bellman-updatevergelijking. Studenten observeren doorgaans beleidsconvergentie (bijv. gekleurde rastercellen en pijlen) zonder de mechanische details van waarde-berekening of actie-selectie te zien. Bestaande onderwijstools, variërend van de Berkeley CS188-suite tot moderne browsergebaseerde playgrounds, visualiseren de uitkomst van het leren, maar houden het updateproces verborgen binnen de code. Deze ondoorzichtigheid verhindert dat leerlingen specifieke mechanische vragen kunnen begrijpen, zoals welke Q-waarden werden geïnspecteerd vóór een beweging, of een actie exploratief of greedily was, of hoe specifieke toestands-transities (zoals botsingen met muren) de temporal-difference (TD) fout beïnvloeden.

Methodologie
De auteurs presenteren Q-Learning Lab, een single-file, browsergebaseerde, tweetalige (Thais/Engels) tool die ontworpen is om het Q-learning algoritme volledig inspecteerbaar te maken. Het systeem werkt op een deterministische 5×5 gridworld met een starttoestand, een doel, kuilen en muren. De methodologie wordt gedefinieerd door drie kernontwerpcategorieën:

Live Bellman Substitutie: Een specifiek paneel rendert de Bellman-updatevergelijking bij elke stap met werkelijke numerieke waarden gesubstitueerd voor variabelen ( $r$ , $\gamma$ , $Q(s', a')$ , etc.). Dit toont expliciet de TD-fout, de bootstrap-term, en hoe terminale toestanden of muurbotsingen (waarbij $s' = s$ ) de update veranderen.
Besluit-volledige Trace Logging: Elke transitie wordt gelogd met veertien velden, inclus�# van de volledige pre-actie Q-rij, de greedy argmax, de exploratie-flag (die aangeeft of de actie willekeurig of greedy was onder $\epsilon$ -greedy), de TD-target, en de pre/post-update Q-waarden. Dit log fungeert als een menselijk leesbare replay buffer.
Leer–Exporteer–Analyseer Lus: Leerlingen kunnen de volledige trace exporteren als een CSV-bestand. Dit stelt studenten in staat om hun eigen datasets te genereren om leercurves, waarde-heatmaps en visitatiekaarten te plotten, waardoor het leerproces transformeert van passieve observatie naar reflectief onderzoek gebaseerd op door de leerling gegenereerde data.

De tool is geïmplementeerd als een enkele HTML-file (~600 regels) zonder externe afhankelijkheden, wat garandeert dat het offline in elke moderne browser draait.

Belangrijkste Bijdragen

Epistemische Verschuiving: Het artikel stelt een verschuiving voor in de relatie van de leerling met het algoritme: van een "toeschouwer van een convergerend proces" naar een "analist van een geregistreerd proces".
Pedagogisch Instrument: De tool operationaliseert constructivistische en ervaringsgerichte leertheorieën door een tastbaar artefact (de trace-dataset) te bieden waarmee studenten kunnen bouwen, inspecteren en analyseren.
Technische Validatie zonder Menselijke Proefpersonen: In plaats van een gebruikersstudie valideren de auteurs de tool via drie technische evaluaties:
1. Correctheid: De geleerde waarden en policies worden vergeleken met een value-iteration grondwaarheid op de identieke MDP.
2. Reproduceerbaarheid: Hyperparameter-sweeps ( $\alpha$ , $\gamma$ , $\epsilon$ ) worden uitgevoerd om te verifiëren dat pedagogische claims (bijv. het effect van myope korting) reproduceerbare eigenschappen van het algoritme zijn.
3. Diagnostisch Vermogen: Een reward-editing studie demonstreert het vermogen van de tool om twee gedragsmatig identieke maar diagnostisch tegengestelde faalmodi te onderscheiden: exploratie-falen (voortijdige convergentie) versus genuante belonings-mispecificatie.

Resultaten

Algoritmische Correctheid: Tegenover een value-iteration grondwaarheid ( $V^*$ ) bereikte de Q-learning implementatie een gemiddelde overeenkomst van 98,5% op niet-terminale toestanden over 10 willekeurige seeds. De maximale absolute fout in waardeschatting bedroeg gemiddeld 0,34, waarbij residuele fouten beperkt bleven tot zelden bezochte off-path toestanden, wat de off-policy aard van het algoritme accuraat weerspiegelt.
Hyperparameter Reproduceerbaarheid: Experimenten bevestigden dat $\gamma=0$ de taak niet oplost (myope gedrag), terwijl $\epsilon=1$ (pure exploratie) nog steeds convergeert naar de optimale policy, wat de off-policy leercapaciteit van Q-learning demonstreert.
Diagnostisch Onderscheid: De reward-editing studie maakte succesvol onderscheid tussen twee regimes waarbij de agent in een kuil eindigt:
- Regime A ( $R_{pit}=+5$ ): De agent eindigt in een kuil door exploratie-falen (voortijdige convergentie naar een lokaal optimum), niet omdat de kuil optimaal is. De value-iteration grondwaarheid bevestigt dat het pad naar het doel superieur blijft.
- Regime B ( $R_{pit}=+20$ ): De agent eindigt in een kuil omdat de beloningsspecificatie de kuil gen truly optimaal maakt. De geleerde policy komt overeen met de grondwaarheid optimale policy voor de bewerkte MDP.
  Dit onderscheid benadrukt dat het diagnosticeren van RL-agents vereist dat gedrag wordt vergeleken met een berekende optimum, en niet enkel het observeren van gedrag.

Betekenis en Claims
Het artikel claimt dat Q-Learning Lab de RL-educatie herformuleert van een animatie om naar te kijken naar een instrument dat data produceert om te analyseren. De significantie ligt in het vermogen van de tool om de "black box" van de Bellman-update transparant te maken en een mechanisme te bieden voor leerlingen om betrokken te zijn bij reflectieve analyse van hun eigen experimenten.

De auteurs stellen expliciet dat het doel van het artikel technische en pedagogische ontwerpvalidatie is, en niet de meting van leerwinst. Zij betogen dat technische verificatie van de claims van de tool een vereiste is voor toekomstige klaslokale studies. De tool wordt gepositioneerd, niet als een concurrent voor geavanceerde multi-agent onderzoeksinfrastructuur, maar als een fundamentele voorbereiding die de mechanica van updates, exploratie en reward-auteurschap leert voordat studenten de complexiteit van multi-agent systemen tegenkomen. De auteurs blijven bescheiden en merken op dat de tool beperkt is tot tabelvormige Q-learning op een deterministische gridworld en dat toekomstig werk zal bestaan uit klaslokale evaluaties met menselijke proefpersonen.