Q-Learning Lab: Teaching Reinforcement Learning Through Learner-Generated Trace Analysis

技術要約：Q-Learning Lab

問題提起
強化学習（RL）は学部教育のカリキュラムにおいて中心的な役割を担いつつあるが、テーブル型Q学習の導入は、多くの場合、ベルマン更新式の抽象的な提示に依存している。学生は通常、ポリシーの収束（例：色付けされたグリッドセルや矢印）を目にするものの、価値計算や行動選択のメカニズムの詳細を目撃することはない。Berkeley CS188スイートから現代のブラウザベースのプレイグラウンドに至る既存の教育ツールは、学習の「結果」を可視化するが、更新プロセス自体はコードの中に隠されたままである。この不透明さは、学習者が「どのQ値が移動前に参照されたのか」「選択された行動は探索的なものか、それとも強欲（greedy）なものか」、あるいは「壁への衝突（$s' = s$ の場合）のような特定の状態遷移が時間差（TD）誤差にどのように影響するか」といった具体的なメカニズムに関する疑問を解明することを妨げている。

手法
著者らは、Q学習アルゴリズムを完全に検査可能にするために設計された、シングルファイルかつブラウザベースのバイリンガル（タイ語/英語）ツールであるQ-Learning Labを提案する。本システムは、スタート状態、ゴール、ピット（落とし穴）、および壁を備えた決定論的な5×5グリッドワールド上で動作する。その手法は、以下の3つのコア設計機能によって定義される。

1. ライブ・ベルマン代入（Live Bellman Substitution）: 専用パネルが、ステップごとに実際の数値（$r, \gamma, Q(s', a')$ など）を変数に代入したベルマン更新式を描画する。これにより、TD誤差、ブートストラップ項、および終端状態や壁への衝突（$s' = s$）が更新をどのように変化させるかが明示的に示される。
2. 決定論的完全トレースログ（Decision-Complete Trace Logging）: すべての遷移が14のフィールド（全事前アクションQ行、強欲なargmax、探索フラグ（$\epsilon$-greedyにおけるランダムか強欲かの判定）、TDターゲット、更新前後のQ値を含む）と共に記録される。このログは、人間が読み取り可能なリプレイバッファとして機能する。
3. 学習・エクスポート・分析ループ（Learn–Export–Analyze Loop）: 学習者は完全なトレースをCSVファイルとしてエクスポートできる。これにより、学生は自らデータセットを生成し、学習曲線、価値ヒートマップ、および訪問マップをプロットすることが可能となり、学習プロセスを受動的な観察から、生成されたデータに基づく内省的な探究へと変容させる。

本ツールは、外部依存関係のない単一のHTMLファイル（約600行）で実装されており、あらゆるモダンなブラウザでオフラインでの実行を保証している。

主な貢献

• 認識論的転換（Epistemic Shift）: 本論文は、学習者とアルゴリズムの関係を「収束するプロセスの観客」から「記録されたプロセスの分析者」へと転換することを提案している。
• 教育的インストゥルメント（Pedagogical Instrument）: 本ツールは、学生が構築、検査、分析できる具体的なアーティファクト（トレースデータセット）を提供することで、構成主義および経験学習理論を具現化している。
• 人間を対象としない技術的検証（Technical Validation without Human Subjects）: ユーザー調査の代わりに、本論文では以下の3つの技術的評価を通じてツールの検証を行っている。
  1. 正確性（Correctness）: 学習された価値およびポリシーを、同一のMDPにおける価値反復法（Value Iteration）のグラウンドトゥルースと比較した。
  2. 再現性（Reproducibility）: ハイパーパラメータのスイープ（$\alpha, \gamma, \epsilon$）を実施し、教育的な主張（例：近視眼的割引の影響）がアルゴリズムの再現可能な特性であることを検証した。
  3. 診断能力（Diagnostic Capability）: 報酬編集研究により、行動的には同一だが診断的には対照的な2つの失敗モード（探索の失敗 vs 真の報酬誤設定）を区別できる本ツールの能力を実証した。

結果

• アルゴリズムの正確性: 価値反復法のグラウンドトゥルース（$V^*$）に対し、Q学習の実装は10個のランダムシードにわたって非終端状態において平均98.5%の一致率を達成した。価値推定の最大絶対誤差は平均0.34であり、残留誤差は訪問頻度の低いオフパスの状態に限定されていた。これは、オフポリシー的な性質を正確に反映している。
• ハイパーパラメータの再現性: 実験により、$\gamma=0$ ではタスクの解決に失敗する（近視眼的挙動）一方で、$\epsilon=1$（純粋な探索）でも最適なポリシーに収束することが確認され、Q学習のオフポリシー学習能力が示された。
• 診断的区別: 報酬編集研究により、エージェントがピットに陥る2つのレジームを判別することに成功した。
  • レジームA ($R_{pit}=+5$): エージェントは、ピットが最適であるためではなく、探索の失敗（局所最適への早期収束）によってピットに陥っている。価値反復法のグラウンドトゥルースは、ゴールへの経路が依然として優れていることを示している。
  • レジームB ($R_{pit}=+20$): エージェントは、報酬設定によってピットが真に最適となったためにピットに陥っている。学習されたポリシーは、編集されたMDPにおけるグラウンドトゥルースの最適ポリシーと一致している。
    この区別は、RLエージェントの診断には、単なる行動の観察ではなく、計算された最適解との比較が必要であることを浮き彫りにしている。

意義と主張
本論文は、Q-Learning LabがRL教育を「見るためのアニメーション」から「分析するためのデータを生み出すインストゥルメント」へと再定義すると主張している。その意義は、ベルマン更新という「ブラックボックス」を透明化し、学習者が自身の実験に対する内省的な分析に従事するためのメカニズムを提供できる点にある。

著者らは、本論文の目的は技術的および教育的設計の検証であり、学習効果の測定ではないことを明示している。彼らは、ツールの主張に対する技術的検証が、将来の教室での研究に向けた前提条件であると考えている。本ツールは、高度なマルチエージェント研究インフラの競合相手としてではなく、学生がマルチエージェントシステムの複雑さに直面する前に、更新、探索、および報酬設計のメカニズムを教えるための基礎的な準備段階として位置づけられている。著者らは、本ツールが決定論的なグリッドワールド上のテーブル型Q学習に限定されていることを認め、謙虚な姿勢を維持しており、今後の課題として人間を対象とした教室での評価を挙げている。