技術要約：問題解決プロセスを通じた数学的習熟度の追跡

問題提起

従来の知識追跡（Knowledge Tracing: KT）手法は、インテリジェント・チュータリング・システムにおいて、生徒の知識状態をモデル化し将来のパフォーマンスを予測することを目的としている。しかし、既存のアプローチには説明可能性と深度に関する根本的な限界がある。これらは主に、結果中心の監督（正誤の二値判定：正解または不正解）と、限定的なメタデータ（例：問題の難易度、回答時間、または知識概念）に依存している。この最終的な答えへの依存は、問題解決プロセス（Problem-Solving Process: PSP）を「ブラックボックス」として扱うため、生徒の実際の理解のニュアンスを捉えることができない。

対照的に、現実世界の教育者は、推論ステップ、中間計算、および戦略的選択を観察することで、問題解決プロセスを通じて理解度を評価する。現在のKTデータセットやモデルは、特に大規模なスケールでPSPを捉えることが困難な数学領域において、この豊かな情報をほとんど無視している。その結果、既存のモデルは、なぜ生徒が成功したのか、あるいは失敗したのかという解釈可能な洞察を提供することに苦慮しており、履歴となるインタラクション・データが少ないコールドスタート・シナリオにおいても性能が低下することが多い。

手法：KT-PSP および STATUSKT

これらのギャップに対処するため、著者らは新しいタスク定式化と、対応するフレームワークを提案している。

1. 問題解決プロセスを用いた知識追跡 (KT-PSP)

著者らは、生徒の問題解決プロセスをインタラクション・シーケンスに明示的に組み込むことで、KTタスクを再定義する。

• 従来のKT: 入力シーケンス $S_{conv} = \{(q_t, c_t, r_t)\}$。ここで $r_t$ は二値の正誤である。
• KT-PSP: 入力シーケンス $S_{new} = \{(q_t, c_t, r_t, p_t)\}$。ここで $p_t$ は詳細なPSP（ステップごとの推論、中間計算など）を表す。
  目的は依然として将来の正誤 $P(r_{t+1}=1 | \dots)$ を予測することであるが、現在は過去のパフォーマンスと基礎となる解決戦略の両方を利用する。

2. KT-PSP-25 データセット

この新しい領域の研究を促進するため、著者らは以下の内容を含む新しいデータセット KT-PSP-25 を公開した。

• タブレットベースの数学プラットフォームからの 22,289 件の生徒と問題のインタラクション。
• 490 の知識コンポーネントにわたる 2,696 個の問題を解いた 1,343 人の生徒。
• 手書きのPSP: 従来のデータセットとは異なり、これには実際の筆記による解答の痕跡が含まれており、それらは数学的論理を保持したまま構造化されたテキストに変換するために、OCRパイプライン（GPT-5を使用）を通じて処理されている。
• プライバシー: 生徒および問題のIDは匿名化されており、データの品質とプライバシーを確保するためにOCR出力は精査されている。

3. STATUSKT フレームワーク

核心となる貢献は、教師・生徒・教師のLLMパイプラインを用いて、生のPSPから数学的習熟度 (Mathematical Proficiency: MP) シグナルを抽出する、プロセス認識型KTフレームワークである STATUSKT である。このパイプラインは、非構造化テキストを構造化され解釈可能な中間シグナルへと変換する。

パイプラインは以下の3つのステージで動作する：

1. 指標抽出 (Teacher LLM): 問題のテキストとその知識コンポーネントが与えられると、Teacher LLM は一連の MP指標 を生成する。これらは、数学的習熟度の4つの観察可能な次元（Findell et al., 2001に基づく）を対象とした具体的な問いである：
   • 概念的理解 (Conceptual Understanding: CU)
   • 戦略的コンピテンシー (Strategic Competence: SC)
   • 手順的流暢さ (Procedural Fluency: PF)
   • 適応的推論 (Adaptive Reasoning: AR)
     (注：生産的構え [Productive Disposition] は、テキストによる評価が困難であるため除外されている。)
2. 応答生成 (Student LLM): Student LLM は実際の生徒のプロキシ（代理）として機能する。これは生徒の手書きのPSPを分析し、MP指標に対する回答を生成する。決定的なのは、Student LLM が回答を修正するのではなく、生徒本来の推論（誤りを含む）を保持することである。
3. 習熟度評価 (Teacher LLM): Teacher LLM は、生徒が各特定の次元において習熟を示したかどうかを判断するために、元の指標に対して Student LLM の回答を評価する。

統合:
このパイプラインの出力は、各次元における MP比率（満たされた指標の割合）である。これらの比率は、KTバックボーンモデルへの補助的な入力として機能する。モデルは、以下の複合損失関数を用いて訓練される：
$$L = BCE(r_{gt}, r_{pred}) + \alpha \sum_{i \in P} MSE(m_{gt}^i, m_{pred}^i)$$
この二重目的のアプローチにより、モデルは最終的な正誤と基礎となる習熟パターンを共に学習することが強制され、予測精度と解釈性の両方が向上する。

主な貢献

1. 新しいタスク定式化 (KT-PSP): インタラクション・シーケンスに問題解決プロセスを統合した、KTの正式な定義であり、プロセス認識型のモデリングを可能にする。
2. KT-PSP-25 データセット: すべてのインタラクションに対して、実世界のOCR転写された手書きの問題解決プロセスを含む、最初の大規模な数学的KTデータセット。
3. STATUSKT フレームワーク: 生のPSPを解釈可能なMPシグナルへと蒸留するために、3段階のLLMパイプラインを利用する新しいアーキテクチャであり、これらは標準的なKTモデルに統合される。
4. 実証的検証: STATUSKT が既存のディープラーニングを用いたKT (DLKT) ベースラインを上回り、微細で解釈可能な学習に関する洞察を提供することを実証する包括的な実験。

実験結果

実験は、様々なベースラインアーキテクチャ（DKT, DKVMN, SAKT, SAINT, AKT など）を用いて KT-PSP-25 上で行われた。

• 全体的なパフォーマンス (RQ1): STATUSKT は、標準的なベースラインおよび「Baseline+PSP」（単に生のテキスト埋め込みを結合したもの）の両方と比較して、ほとんどのアーキテクチャにおいて予測性能（AUCおよび精度）を一貫して向上させた。著者らは、生のテキスト埋め込み単体ではしばしばノイズを導入するか、あるいは性能向上に失敗するが、STATUSKT における構造化されたMP蒸留は、プロセス情報を効果的に活用できると指摘している。
• コールドスタートへの堅牢性 (RQ2): 限られたデータ（生徒あたり最初の5回のインタラクションのみ）があるシナリオにおいて、STATUSKT はベースラインを大幅に上回った。MPシグナルは、履歴となる正誤データが乏しい場合に知識状態の推定を安定させる情報的な事前分布を提供した。
• MPの影響分析 (RQ3): ケーススタディにより、MPシグナルが正誤を特定の基礎的なスキルと一致させることで、「MPによる助け（MP-help）」となるケースにおいて予測を修正することが明らかになった。しかし、著者らは、過度に豊かすぎる、あるいは整合性の取れていない指標が性能を低下させる「MPによる阻害（MP-hurt）」のケースも特定しており、指標生成におけるスコープ制御の重要性を強調している。

意義と主張

本論文は、生徒の問題解決プロセスに反映されている推論を取り入れることが、より正確で、解釈可能で、教育学的に意味のあるモデリングへとKTを進展させるために不可欠であると主張している。

• 解釈可能性: 「ブラックボックス」的な予測とは異なり、STATUSKT は明示的な習熟度シグナル（例：「生徒は手順的流暢さは高いが、適応的推論は低い」）を提供し、学習の進捗に関する微細な洞察を与える。
• 教育学的適合性: このフレームワークは、人間が単に答えを見るのではなく、プロセスを見ることで生徒を評価するという方法を模倣しており、自動化されたシステムと教育理論との間の溝を埋めるものである。
• 限界: 著者らは、データセットの相対的な規模の小ささ、数学領域への限定、およびOCRへの依存（これにより認識エラーが生じたり、視覚的な推論要素［図解など］が失われたりする可能性があること）を含む限界を謙虚に認めている。彼らは、このフレームワークがさらなる適応なしにすべての科目に普遍的に適用可能であるとは主張していない。