Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis

Resumen Técnico: Q-Learning Lab

Planteamiento del Problema
El aprendizaje por refuerzo (RL) es cada vez más central en los currículos de pregrado, sin embargo, la introducción del Q-learning tabular suele depender de presentaciones abstractas de la ecuación de actualización de Bellman. Los estudiantes suelen observar la convergencia de la política (por ejemplo, celdas de cuadrícula coloreadas y flechas) sin presenciar los detalles mecánicos del cálculo de valores o la selección de acciones. Las herramientas de enseñanza existentes, que van desde la suite CS188 de Berkeley hasta los modernos entornos de juego basados en el navegador, visualizan el resultado del aprendizaje pero mantienen el proceso de actualización oculto dentro del código. Esta opacidad impide que los alumnos comprendan preguntas mecánicas específicas, tales como qué valores Q fueron inspeccionados antes de un movimiento, si una acción fue exploratoria o codiciosa (greedy), o cómo las transiciones de estado específicas (como las colisiones con paredes) influyen en el error de diferencia temporal (TD).

Metodología
Los autores presentan Q-Learning Lab, una herramienta de archivo único, basada en el navegador y bilingüe (tailandés/inglés), diseñada para que el algoritmo de Q-learning sea totalmente inspeccionable. El sistema opera en un mundo de cuadrícula (gridworld) determinista de 5×5 con un estado inicial, una meta, pozos y paredes. La metodología se define por tres características de diseño principales:

1. Sustitución de Bellman en Vivo: Un panel dedicado renderiza la ecuación de actualización de Bellman en cada paso con valores numéricos reales sustituidos por las variables ($r$, $\gamma$, $Q(s', a')$, etc.). Esto muestra explícitamente el error TD, el término de bootstrap y cómo los estados terminales o las colisiones con paredes (donde $s' = s$) alteran la actualización.
2. Registro de Trazas Completas de Decisión: Cada transición se registra con catorce campos, incluyendo la fila completa de Q previa a la acción, el argmax codicioso, la bandera de exploración (que indica si la acción fue aleatoria o codiciosa bajo $\epsilon$-greedy), el objetivo TD y los valores Q pre y post-actualización. Este registro funciona como un búfer de repetición (replay buffer) legible por humanos.
3. Ciclo Aprender–Exportar–Analizar: Los alumnos pueden exportar la traza completa como un archivo CSV. Esto permite a los estudiantes generar sus propios conjuntos de datos para graficar curvas de aprendizaje, mapas de calor de valores y mapas de visitación, transformando el proceso de aprendizaje de una observación pasiva en una indagación reflexiva basada en datos generados por el alumno.

La herramienta está implementada como un único archivo HTML (~600 líneas) sin dependencias externas, lo que garantiza que se ejecute sin conexión en cualquier navegador moderno.

Contribuciones Clave

• Cambio Epistémico: El artículo propone un cambio en la relación del alumno con el algoritmo, de ser un "espectador de un proceso de convergencia" a un "analista de un proceso registrado".
• Instrumento Pedagógico: La herramienta operacionaliza las teorías de aprendizaje construccionista y experiencial al proporcionar un artefacto tangible (el conjunto de datos de la traza) para que los estudiantes construyan, inspeccionen y analicen.
• Validación Técnica sin Sujetos Humanos: En lugar de un estudio con usuarios, el artículo valida la herramienta a través de tres evaluaciones técnicas:
  1. Corrección: Los valores y políticas aprendidos se comparan con una verdad de terreno (ground truth) de iteración de valor en el mismo MDP.
  2. Reproducibilidad: Se realizan barridos de hiperparámetros ($\alpha$, $\gamma$, $\epsilon$) para verificar que las afirmaciones pedagógicas (por ejemplo, el efecto del descuento miópico) son propiedades reproducibles del algoritmo.
  3. Capacidad Diagnóstica: Un estudio de edición de recompensas demuestra la capacidad de la herramienta para distinguir entre dos modos de falla conductualmente idénticos pero diagnósticamente opuestos: el fallo de exploración (convergencia prematura) frente a la especificación errónea de la recompensa genuina.

Resultados

• Corrección Algorítmica: Frente a una verdad de terreno de iteración de valor ($V^*$), la implementación de Q-learning logró un acuerdo promedio del 98.5% en estados no terminales a través de 10 semillas aleatorias. El error absoluto máximo en la estimación de valor promedió 0.34, con errores residuales confinados a estados fuera de la ruta raramente visitados, lo que refleja con precisión la naturaleza off-policy del algoritmo.
• Reproducibilidad de Hiperparámetros: Los experimentos confirmaron que $\gamma=0$ no logra resolver la tarea (comportamiento miópico), mientras que $\epsilon=1$ (exploración pura) aún converge a la política óptima, demostando la capacidad de aprendizaje off-policy de Q-learning.
• Distinción Diagnóstica: El estudio de edición de recompensas diferenció con éxito dos regímenes donde el agente termina en un pozo:
  • Régimen A ($R_{pit}=+5$): El agente termina en un pozo debido a un fallo de exploración (convergencia prematura a un óptimo local), no porque el pozo sea óptimo. La verdad de terreno de iteración de valor confirma que la ruta hacia la meta sigue siendo superior.
  • Régimen B ($R_{pit}=+20$): El agente termina en un pozo porque la especificación de la recompensa hace que el pozo sea genuinamente óptimo. La política aprendida coincide con la política óptima de la verdad de terreno para el MDP editado.
    Esta distinción resalta que diagnosticar agentes de RL requiere comparar el comportamiento contra un óptimo computado, no solo observar el comportamiento.

Significancia y Reivindicaciones
El artículo afirma que Q-Learning Lab redefine la educación en RL de una animación para ser observada a un instrumento que produce datos para ser analizados. La significancia reside en la capacidad de la herramienta para hacer transparente la "caja negra" de la actualización de Bellman y proporcionar un mecanismo para que los alumnos participen en un análisis reflexivo de sus propios experimentos.

Los autores declaran explícitamente que el objetivo del artículo es la validación del diseño técnico y pedagógico, no la medición de las ganancias de aprendizaje. Argumentan que la verificación técnica de las afirmaciones de la herramienta es un prerrequisito para futuros estudios de aula. La herramienta se posiciona no como un competidor de la infraestructura avanzada de investigación multi-agente, sino como una preparación fundamental que enseña la mecánica de las actualizaciones, la exploración y la autoría de recompensas antes de que los estudiantes se encuentren con la complejidad de los sistemas multi-agente. Los autores se mantienen modestos, señalando que la herramienta se limita al Q-learning tabular en un mundo de cuadrícula determinista y que el trabajo futuro implicará la evaluación en el aula con sujetos humanos.