Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis

Sintesi Tecnica: Q-Learning Lab

Definizione del Problema
L'apprendimento per rinforzo (RL) è sempre più centrale nei programmi accademici di primo livello, eppure l'introduzione del Q-learning tabulare si basa spesso su presentazioni astratte dell'equazione di aggiornamento di Bellman. Gli studenti osservano tipicamente la convergenza della policy (ad esempio, celle della griglia colorate e frecce) senza però assistere ai dettagli meccanicistici del calcolo dei valori o della selezione delle azioni. Gli strumenti didattici esistenti, che vanno dalla suite Berkeley CS188 ai moderni playground basati su browser, visualizzano l'esito dell'apprendimento mantenendo però il processo di aggiornamento nascosto all'interno del codice. Questa opacità impedisce agli studenti di comprendere domande meccanicistiche specifiche, come quali valori Q siano stati ispezionati prima di un movimento, se un'azione sia stata esplorativa o greedy, o come transizioni di stato specifiche (come le collisioni con le pareti) influenzino l'errore di differenza temporale (TD error).

Metodologia
Gli autori presentano Q-Learning Lab, uno strumento monofile, basato su browser e bilingue (Thai/Inglese), progettato per rendere completamente ispezionabile l'algoritmo di Q-learning. Il sistema opera su un mondo a griglia deterministico 5×5 con uno stato iniziale, un obiettivo, buche e pareti. La metodologia è definita da tre caratteristiche di design fondamentali:

1. Sostituzione di Bellman in Tempo Reale: Un pannello dedicato renderizza l'equazione di aggiornamento di Bellman ad ogni passo, sostituendo le variabili con i valori numerici effettivi ($r$, $\gamma$, $Q(s', a')$, ecc.). Questo mostra esplicitamente l'errore TD, il termine di bootstrap e come gli stati terminali o le collisioni con le pareti (dove $s' = s$) alterino l'aggiornamento.
2. Log di Traccia Completo sulle Decisioni: Ogni transizione viene registrata con quattordici campi, inclusi la riga Q pre-azione completa, l'argmax greedy, il flag di esplorazione (che indica se l'azione è stata casuale o greedy sotto una politica $\epsilon$-greedy), il target TD e i valori Q pre e post-aggiornamento. Questo log funge da buffer di riproduzione leggibile dall'uomo.
3. Ciclo Learn–Export–Analyze: Gli studenti possono esportare la traccia completa come file CSV. Ciò consente agli studenti di generare i propri dataset per tracciare curve di apprendimento, mappe di calore dei valori e mappe di visitazione, trasformando il processo di apprendimento da osservazione passiva a indagine riflessiva basata su dati generati dallo studente stesso.

Lo strumento è implementato come un singolo file HTML (~600 righe) senza dipendenze esterne, garantendo l'esecuzione offline in qualsiasi browser moderno.

Contributi Chiave

• Spostamento Epistemico: Il saggio propone uno spostamento nel rapporto dello studente con l'algoritmo, da "spettatore di un processo di convergenza" ad "analista di un processo registrato".
• Strumento Pedagogico: Lo strumento operazionalizza le teorie dell'apprendimento costruttivista ed esperienziale fornendo un artefatto tangibile (il dataset di traccia) con cui gli studenti possono costruire, ispezionare e analizzare.
• Validazione Tecnica senza Soggetti Umani: Invece di uno studio sugli utenti, il saggio valida lo strumento attraverso tre valutazioni tecniche:
  1. Correttezza: I valori e le policy apprese vengono confrontati con una verità fondamentale (ground truth) di iterazione del valore su un MDP identico.
  2. Riproducibilità: Vengono condotte analisi degli iperparametri ($\alpha$, $\gamma$, $\epsilon$) per verificare che le affermazioni pedagogiche (ad esempio, l'effetto del discounting miope) siano proprietà riproducibili dell'algoritmo.
  3. Capacità Diagnostica: Uno studio di editing della ricompensa dimostra la capacità dello strumento di distinguere tra due modalità di fallimento comportamentalmente identiche ma diagnosticamente opposte: il fallimento dell'esplorazione (convergenza prematura) rispetto alla genuina misspecification della ricompensa.

Risultati

• Correttezza Algoritmica: Rispetto a una verità fondamentale di iterazione del valore ($V^*$), l'implementazione di Q-learning ha raggiunto un accordo medio del 98,5% sugli stati non terminali su 10 seed casuali. L'errore assoluto massimo nella stima del valore è stato mediamente di 0,34, con errori residui confinati a stati off-path raramente visitati, riflettendo accuratamente la natura off-policy dell'algoritmo.
• Riproducibilità degli Iperparametri: Gli esperimenti hanno confermato che $\gamma=0$ non riesce a risolvere il compito (comportamento miope), mentre $\epsilon=1$ (esplorazione pura) converge comunque alla policy ottimale, dimostrando la capacità di apprendimento off-policy di Q-learning.
• Distinzione Diagnostica: Lo studio di editing della ricompensa ha differenziato con successo due regimi in cui l'agente termina in una buca:
  • Regime A ($R_{pit}=+5$): L'agente termina in una buca a causa di un fallimento dell'esplorazione (convergenza prematura a un ottimo locale), non perché la buca sia ottimale. La verità fondamentale dell'iterazione del valore conferma che il percorso verso l'obiettivo rimane superiore.
  • Regime B ($R_{pit}=+20$): L'agente termina in una buca perché la specifica della ricompensa rende la buca genuinamente ottimale. La policy appresa corrisponde alla policy ottimale della MDP editata.
    Questa distinzione evidenzia che diagnosticare gli agenti RL richiede il confronto del comportamento rispetto a un ottimo calcolato, non solo l'osservazione del comportamento.

Significatività e Rivendicazioni
Il saggio sostiene che Q-Learning Lab riformula l'educazione al RL da un'animazione da guardare a uno strumento che produce dati da analizzare. La significatività risiede nella capacità dello strumento di rendere trasparente la "scatola nera" dell'aggiornamento di Bellman e di fornire un meccanismo per consentire agli studenti di impegnarsi in un'analisi riflessiva dei propri esperimenti.

Gli autori dichiarano esplicitamente che l'obiettivo del saggio è la validazione del design tecnico e pedagogico, non la misurazione dei guadagni di apprendimento. Argomentano che la verifica tecnica delle affermazioni dello strumento è un prerequisito per futuri studi in classe. Lo strumento è posizionato non come un competitore per l'infrastruttura di ricerca avanzata multi-agente, ma come una preparazione fondamentale che insegna la meccanica degli aggiornamenti, dell'esplorazione e dell'autorialità della ricompensa prima che gli studenti si approccino alla complessità dei sistemi multi-agente. Gli autori mantengono un tono modesto, notando che lo strumento è limitato al Q-learning tabulare su un mondo a griglia deterministico e che il lavoro futuro comporterà la valutazione in classe con soggetti umani.