Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis

Résumé Technique : Q-Learning Lab

Énoncé du Problème
L'apprentissage par renforcement (RL) occupe une place de plus en plus centrale dans les programmes de premier cycle, pourtant l'introduction du Q-learning tabulaire repose souvent sur des présentations abstraites de l'équation de mise à jour de Bellman. Les étudiants observent généralement la convergence de la politique (par exemple, des cellules de grille colorées et des flèches) sans pour autant être témoins des détails mécanistes du calcul des valeurs ou de la sélection des actions. Les outils pédagogiques existants, allant de la suite Berkeley CS188 aux plateformes modernes basées sur le navigateur, visualisent l' résultat de l'apprentissage mais maintiennent le processus de mise à jour caché au sein du code. Cette opacité empêche les apprenants de comprendre des questions mécanistes spécifiques, telles que quelles valeurs Q ont été inspectées avant un mouvement, si une action était exploratoire ou gourmande (greedy), ou comment des transitions d'état spécifiques (comme les collisions avec un mur) influencent l'erreur de différence temporelle (TD).

Méthodologie
Les auteurs présentent Q-Learning Lab, un outil unique, basé sur un navigateur, bilingue (thaï/anglais) et contenu dans un seul fichier, conçu pour rendre l'algorithme de Q-learning entièrement inspectable. Le système opère sur un monde de grille déterministe de 5×5 avec un état de départ, un objectif, des fosses et des murs. La méthodologie est définie par trois caractendesign fondamentales :

1. Substitution de Bellman en direct : Un panneau dédié affiche l'équation de mise à jour de Bellman à chaque étape avec les valeurs numériques réelles substituées aux variables ($r$, $\gamma$, $Q(s', a')$, etc.). Cela montre explicitement l'erreur TD, le terme de bootstrap, et comment les états terminaux ou les collisions avec les murs (où $s' = s$) modifient la mise à jour.
2. Journalisation de décision complète (Decision-Complete Trace Logging) : Chaque transition est enregistrée avec quatorze champs, incluant la ligne Q complète pré-action, l'argmax gourmand, le drapeau d'exploration (indiquant si l'action était aléatoire ou gourmande sous $\epsilon$-greedy), la cible TD, ainsi que les valeurs Q pré et post-mise à jour. Ce journal fonctionne comme un tampon de relecture (replay buffer) lisible par l'humain.
3. Boucle Apprendre–Exporter–Analyser : Les apprenants peuvent exporter la trace complète sous forme de fichier CSV. Cela permet aux étudiants de générer leurs propres jeux de données pour tracer des courbes d'apprentissage, des cartes de chaleur de valeurs (value heatmaps) et des cartes de visitation, transformant le processus d'apprentissage d'une observation passive en une enquête réflexive basée sur des données générées par l'apprenant.

L'outil est implémenté sous la forme d'un seul fichier HTML (~600 lignes) sans dépendances externes, garantissant qu'il fonctionne hors ligne dans n'importe quel navigateur moderne.

Principales Contributions

• Changement Épistémique : Le papier propose un changement dans la relation de l'apprenant avec l'algorithme, passant de « spectateur d'un processus de convergence » à « analyste d'un processus enregistré ».
• Instrument Pédagogique : L'outil opérationnalise les théories de l'apprentissage constructionniste et expérientiel en fournissant un artefact tangible (le jeu de données de la trace) que les étudiants peuvent construire, inspecter et analyser.
• Validation Technique sans Sujets Humains : Au lieu d'une étude utilisateur, le papier valide l'outil par trois évaluations techniques :
  1. Exactitude : Les valeurs et politiques apprises sont comparées à une vérité de terrain par itération de valeur (value-iteration) sur le même MDP.
  2. Reproductibilité : Des balayages d'hyperparamètres ($\alpha$, $\gamma$, $\epsilon$) sont effectués pour vérifier que les affirmations pédagogiques (par exemple, l'effet d'un rabais myope) sont des propriétés reproductibles de l'algorithme.
  3. Capacité de Diagnostic : Une étude de modification de récompense démontre la capacité de l'outil à distinguer deux modes de défaillance comportementalement identiques mais diagnostiquement opposés : l'échec de l'exploration (convergence prématurée) versus une véritable spécification erronée de la récompense.

Résultats

• Exactitude Algorithmique : Par rapport à une vérité de terrain d'itération de valeur ($V^*$), l'implémentation du Q-learning a atteint un accord moyen de 98,5 % sur les états non terminaux sur 10 graines aléatoires. L'erreur absolue maximale dans l'estimation de la valeur a été en moyenne de 0,34, les erreurs résiduelles étant confinées aux états rarement visités hors trajectoire, reflétant fidèlement la nature off-policy de l'algorithme.
• Reproductibilité des Hyperparamètres : Les expériences ont confirmé que $\gamma=0$ échoue à résoudre la tâche (comportement myope), tandis que $\epsilon=1$ (exploration pure) converge toujours vers la politique optimale, démontrant la capacité d'apprentissage off-policy du Q-learning.
• Distinction Diagnostique : L'étude de modification de récompense a réussi à différencier deux régimes où l'agent finit dans une fosse :
  • Régime A ($R_{pit}=+5$) : L'agent finit dans une fosse en raison d'un échec d'exploration (convergence prématurée vers un optimum local), et non parce que la fosse est optimale. La vérité de terrain par itération de valeur confirme que le chemin vers l'objectif reste supérieur.
  • Régime B ($R_{pit}=+20$) : L'agent finit dans une fosse parce que la spécification de la récompense rend la fosse véritablement optimale. La politique apprise correspond à la politique optimale de terrain pour le MDP modifié.
    Cette distinction souligne que le diagnostic des agents de RL nécessite de comparer le comportement par rapport à un optimum calculé, et non simplement d'observer le comportement.

Signification et Revendications
Le papier affirme que Q-Learning Lab recadre l'enseignement du RL, passant d'une animation à regarder en un instrument produisant des données à analyser. La signification réside dans la capacité de l'outil à rendre transparent le « black box » de la mise à jour de Bellman et à fournir un mécanisme permettant aux apprenants de s'engager dans une analyse réflexive de leurs propres expériences.

Les auteurs déclarent explicitement que l'objectif du papier est la validation de la conception technique et pédagogique, et non la mesure des gains d'apprentissage. Ils soutiennent que la vérification technique des affirmations de l'outil est un prérequis aux futures études en classe. L'outil ne se positionne pas comme un concurrent des infrastructures de recherche multi-agents avancées, mais comme une préparation fondamentale qui enseigne les mécanismes de mise à jour, d'exploration et d'auteur de récompense avant que les étudiants ne soient confrontés à la complexité des systèmes multi-agents. Les auteurs restent modestes, notant que l'outil est limité au Q-learning tabulaire sur un monde de grille déterministe et que les travaux futurs impliqueront une évaluation en classe avec des sujets humains.