技術要約：フェーズ認識型知識追跡（PAKT）

問題提起

知識追跡（Knowledge Tracing: KT）は、過去のインタラクション・シーケンスに基づき、進化する学生の知識状態をモデル化することで、将来のパフォーマンスを予測することを目的としている。DKT、SAINT、AKTといった既存のディープラーニングベースのKT手法は大きな進展を遂げているが、それらは主に、生のインタラクション・シーケンスを単一の行動プロセスとして扱っている。この統一されたパラダイムは、すべてのインタラクションが知識状態の進化に対して同様の方法で寄与するという、学習のフェーズ固有の性質を見落とした、一様なプロセスであることを暗黙のうちに仮定している。

著者らは、学生の学習行動がステージによって大きく異なることを指摘している。初期のインタラクションは主に能力構築（概念の初期的な習得と理解）を反映する一方、後期のインタラクションは習熟度（習得後のスキルの自動化、流暢さ、および一貫性）を反映する。これらの異なるフェーズを単一の均質なシーケンスとして扱うことは、複雑な学習信号を絡み合わせ、混同バイアス（confounding bias）を引き起こし、知識状態の動的な進化を精密に特徴付ける能力を制限することにつながる。

手法：フェーズ認識型知識追跡（PAKT）

これらの限界に対処するため、著者らは、学生のインタラクション・シーケンスを、フェーズ固有のモデリングのために「能力（Ability）」と「習熟度（Proficiency）」の異なるフェーズへと分解するフレームワークであるPAKTを提案する。本手法は、以下の3つのコアコンポーネントで構成される。

1. 学習行動認識型シーケンス分解

核心となる革新は、各知識概念（KC）に対する学生の回答履歴を、正解数の累積数に基づいて分割する分解メカニズムである。

• メカニズム: しきい値 $k$ を用いて、バイナリ・フェーズ指標関数 $\delta(s, c, t)$ が定義される。ステップ $t$ における学生 $s$ の概念 $c$ に対する累積正解数が $k$ 未満である場合、そのインタラクションは**能力フェーズ（Ability Phase）に割り当てられる。正解数が $k$ に達するか、あるいは $k$ を超えると、それ以降のインタラクションは習熟度フェーズ（Proficiency Phase）**に割り当てられる。
• 出力: このプロセスにより、元の完全なシーケンスを保持しつつ、元のシーケンスを能力サブシーケンスと習熟度サブシーケンスに分割する2つの分解マスク行列（$M^{A}$ および $M^{F}$）が生成される。

2. マルチブランチ・トランスフォーマー・バックボーン

PAKTは、分解されたシーケンスを処理するためにマルチブランチ・トランスフォーマー・アーキテクチャを採用している。

• 3つの入力ブランチ:
  1. 能力ブランチ（Ability Branch）: $M^{A}$ によってマスクされたインタラクションを処理し、内在的な認知能力と初期の習得を捉える。
  2. 習熟度ブランチ（Proficiency Branch）: $M^{F}$ によってマスクされたインタラクションを処理し、練習による自動化と一貫性を捉える。
  3. 完全ブランチ（Complete Branch）: 分解されていない元のシーケンスを処理し、学習軌跡の全体像を維持する。
• 2段階の学習: バックボーンは2段階のデコーダ・メカニズムを利用する。第1段階では、すべてのブランチで共有トランスフォーマー・デコーダを使用し、普遍的なシーケンシャル特徴を効率的に学習する。第2段階では、各ブランチに対して独立したデコーダを採用し、フェーズ固有の特化を可能にする。

3. タイプ認識型リードアウト・モジュール

3つのブランチからの表現を統合するために、タイプ認識型リードアウト・モジュールが設計されている。

• 適応型融合: 能力（$H_A$）と習熟度（$H_F$）の表現は、学習可能な係数 $\alpha$ を通じて融合される：$H_{AF} = \alpha \cdot H_A + (1-\alpha) \cdot H_F$。
• 差分ゲイン: 練習によって駆動されるパフォーマンスの向上を明示的に捉えるために、差分ベクトル $H_{\Delta} = H_F - H_A$ が計算される。
• 最終表現: 最終的な学生の表現 $H_S$ は、融合された能力・習熟度ベクトル、完全ブランチの表現（$H_C$）、および差分ゲインベクトルを結合することで構築される：$H_S = [H_{AF} \parallel H_C \parallel H_{\Delta}]$。
• 予測: この表現はターゲットとなる問題の特徴量と結合され、MLPを通過して正解の確率を予測する。

因果分析

論文では、構造的因果モデル（SCM）を用いた因果分析が提供されている。従来のKTモデルでは、学生の潜在的な能力（$A$）と獲得された習熟度（$F$）が、観測されたインタラクション履歴（$D$）を通じて絡み合い、潜在的な学生の表現（$S$）に影響を与える混同バイアスを生じさせていると仮定している。$A$ と $F$ を明示的に分離して個別にモデリングすることにより、PAKTはこの偽相関を打破し、予測結果に対する各因子の真の寄与をより正確に推定することを可能にする。

主な貢献

1. 分解メカニズムの開発: 累積正解数に基づいてインタラクション・シーケンスを能力フェーズと習熟度フェーズに分割する、新しい学習行動認識メカニズムの開発。
2. モデル・アーキテクチャ: フェーズ固有および全体的な知識状態を共同で捉えるための、タイプ認識型リードアウト・モジュールを備えたマルチブランチ・トランスフォーマー・バックボーンの提案。
3. 実証的検証: 6つの公開データセットにおいて、代表的なベースラインに対して一貫した改善を示す広範な実験。
4. 理論的洞察: フェーズ非認識型モデルにおける混同バイアスを明らかにし、学習行動を分離する必要性を正当化する因果分析。

実験結果

著者らは、6つの公開ベンチマーク（Algebra05, ASSISTments09, ASSISTments17, Ed-Net, Slepemapy, Spanish）でPAKTを評価した。

• パフォーマンス: PAKTは、これら6つのデータセットすべてにおいて、AUC（ROC曲線下の面積）およびACC（精度）の両方の指標で最高の性能を達成した。
• 改善率: 本手法は強力なベースラインに対して一貫した利得を示し、平均AUC利得は0.82%、最大AUC利得は1.33%（Spanishデータセット）であった。
• 比較: 以前の分解手法であるDisKTも競争力のある結果を示したが、その性能は不安定であった。PAKTの微細なフェーズベースの分解は、より堅牢で普遍的に効果的であることが証明された。
• 感度分析: しきい値パラメータ $k$ に関する感度分析により、最適なパフォーマンスは一般に低い値（$k \le 5$）で発生することが示された。具体的な最適値は、データセットの特性（概念密度やインタラクション量など）によって異なる。
• アブレーション解析: 「完全（Complete）」ブランチを取り除くと最大の性能低下が発生し、全体像を見る必要性が確認された。一方で、両方のフェーズ固有ブランチは補完的な洗練を提供していた。

意義と限界

本論文は、PAKTが「均質なモデリング・パラダイム」を超え、能力の獲得からスキルの定着への時間的遷移を明示的にモデル化することで、分野を前進させると主張している。このアプローチは、学習の行動的意味論により適合しており、混同バイアスを軽減する。

しかし、著者らは以下の特定の限界も認めている。

• データの疎性（Data Sparsity）: 学生が概念に対してしきい値 $k$ に達するほど十分なインタラクションを行っていない場合、習熟度ブランチへの信号がほとんど、あるいは全く入らず、その有効性が弱まる可能性がある。
• ハイパーパラメータ調整: 最適なしきい値 $k$ は手動で調整する必要があり、データセットごとに異なる。これは、将来的な自動分解戦略の必要性を示唆している。
• 短いシーケンス: フェーズの遷移が観察できないような、非常に短いインタラクション・シーケンスでは、本手法は苦戦する可能性がある。

本研究は、中国国家自然科学基金および様々な大学改革プロジェクトの支援を受けている。