Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis

Resumo Técnico: Q-Learning Lab

Definição do Problema
O aprendizado por reforço (RL) é cada vez mais central nos currículos de graduação, mas a introdução do Q-learning tabular frequentemente depende de apresentações abstratas da equação de atualização de Bellman. Os alunos tipicamente observam a convergência da política (ex: células de grade coloridas e setas) sem testemunhar os detalhes mecanísticos do cálculo de valores ou da seleção de ações. As ferramentas de ensino existentes, que variam desde o conjunto Berkeley CS188 até modernos playgrounds baseados em navegador, visualizam o resultado do aprendizado, mas mantêm o processo de atualização oculto dentro do código. Essa opacidade impede que os alunos compreendam questões mecanísticas específicas, como quais valores Q foram inspecionados antes de um movimento, se uma ação foi exploratória ou gananciosa (greedy), ou como transições de estado específicas (como colisões com paredes) influenciam o erro de diferença temporal (TD).

Metodologia
Os autores apresentam o Q-Learning Lab, uma ferramenta de arquivo único, baseada em navegador e bilíngue (Tailandês/Inglês), projetada para tornar o algoritmo de Q-learning totalmente inspecionável. O sistema opera em um mundo de grade (gridworld) determinístico de 5×5 com um estado inicial, um objetivo, buracos (pits) e paredes. A metodologia é definida por três características de design principais:

1. Substituição de Bellman em Tempo Real: Um painel dedicado renderiza a equação de atualização de Bellman a cada passo com valores numéricos reais substituídos para as variáveis ($r$, $\gamma$, $Q(s', a')$, etc.). Isso mostra explicitamente o erro TD, o termo de bootstrap e como estados terminais ou colisões com paredes (onde $s' = s$) alteram a atualização.
2. Log de Rastro Completo de Decisão: Cada transição é registrada com quatorze campos, incluindo a linha Q pré-ação completa, o argmax ganancioso, a flag de exploração (indicando se a ação foi aleatória ou gananciosa sob $\epsilon$-greedy), o alvo TD e os valores Q pré e pós-atualização. Este log funciona como um buffer de replay legível por humanos.
3. Ciclo Aprender–Exportar–Analisar: Os alunos podem exportar o rastro completo como um arquivo CSV. Isso permite que os estudantes gerem seus próprios conjuntos de dados para plotar curvas de aprendizado, mapas de calor de valores e mapas de visitação, transformando o processo de aprendizado de uma observação passiva em uma investigação reflexiva baseada em dados gerados pelo próprio aluno.

A ferramenta é implementada como um único arquivo HTML (~600 linhas) sem dependências externas, garantindo que funcione offline em qualquer navegador moderno.

Principais Contribuições

• Mudança Epistêmica: O artigo propõe uma mudança na relação do aluno com o algoritmo de "espectador de um processo de convergência" para "analista de um processo registrado".
• Instrumento Pedagógico: A ferramenta operacionaliza as teorias de aprendizagem construcionista e experiencial ao fornecer um artefato tangível (o conjunto de dados de rastro) para que os alunos construam, inspecionem e analisem.
• Validação Técnica sem Sujeitos Humanos: Em vez de um estudo com usuários, o artigo valida a ferramenta através de três avaliações técnicas:
  1. Corretude: Os valores e políticas aprendidos são comparados contra uma verdade fundamental (ground truth) de iteração de valor no mesmo MDP.
  2. Reprodutibilidade: Varreduras de hiperparâmetros ($\alpha$, $\gamma$, $\epsilon$) são conduzidas para verificar que as afirmações pedagógicas (ex: o efeito do desconto míope) são propriedades reprodutíveis do algoritmo.
  3. Capacidade Diagnóstica: Um estudo de edição de recompensa demonstra a capacidade da ferramenta de distinguir entre dois modos de falha comportamentalmente idênticos, mas diagnosticamente opostos: falha de exploração (convergência prematura) versus especificação incorreta de recompensa genuína.

Resultados

• Corretude Algorítmica: Contra uma verdade fundamental de iteração de valor ($V^*$), a implementação de Q-learning alcançou um acordo médio de 98,5% em estados não terminais ao longo de 10 sementes aleatórias. O erro absoluto máximo na estimativa de valor foi de média 0,34, com erros residuais confinados a estados fora do caminho raramente visitados, refletindo com precisão a natureza off-policy do algoritmo.
• Reprodutibilidade de Hiperparâmetros: Experimentos confirmaram que $\gamma=0$ falha em resolver a tarefa (comportamento míope), enquanto $\epsilon=1$ (exploração pura) ainda converge para a política ótima, demonstrando a capacidade de aprendizado off-policy do Q-learning.
• Distinção Diagnóstica: O estudo de edição de recompensa diferenciou com sucesso dois regimes onde o agente termina em um buraco:
  • Regime A ($R_{pit}=+5$): O agente termina em um buraco devido a uma falha de exploração (convergência prematura para um ótimo local), não porque o buraco seja o ótimo. A verdade fundamental de iteração de valor confirma que o caminho para o objetivo permanece superior.
  • Regime B ($R_{pit}=+20$): O agente termina em um buraco porque a especificação da recompensa torna o buraco genuinamente ótimo. A política aprendida corresponde à política ótima da verdade fundamental para o MDP editado.
    Esta distinção destaca que diagnosticar agentes de RL requer comparar o comportamento contra um ótimo computado, não apenas observar o comportamento.

Significância e Alegações
O artigo afirma que o Q-Learning Lab reformula o ensino de RL de uma animação para ser assistida em um instrumento que produz dados para serem analisados. A significância reside na capacidade da ferramenta de tornar transparente a "caixa preta" da atualização de Bellman e de fornecer um mecanismo para os alunos se envolverem em análise reflexiva de seus próprios experimentos.

Os autores declaram explicitamente que o objetivo do artigo é a validação do design técnico e pedagógico, não a medição de ganhos de aprendizagem. Eles argumentam que a verificação técnica das reivindicações da ferramenta é um pré-requisito para futuros estudos de sala de aula. A ferramenta é posicionada não como um competidor para infraestruturas de pesquisa multiagente avançadas, mas como uma preparação fundamental que ensina a mecânica de atualizações, exploração e autoria de recompensas antes que os alunos encontrem a complexidade dos sistemas multiagentes. Os autores permanecem modestos, observando que a ferramenta é limitada ao Q-learning tabular em um mundo de grade determinístico e que o trabalho futuro envolverá avaliação em sala de aula com sujeitos humanos.