Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

技術概要：コーディング問題における自動化された知識コンポーネント生成と解釈可能な知識追跡

問題定義
学生モデリングにおいて、知識コンポーネント（KC）は、微細なスキル習熟度の評価、個別化されたフィードバックの提供、適応型学習システムの駆動に不可欠です。従来の KC は、人間によるドメイン専門家が問題に対して作成しタグ付けを行いますが、このプロセスは労働集約的で、バイアスが生じやすく、スケーリングが困難です。先行研究では多肢選択問題に対する自動化された KC 生成が探求されてきましたが、特にプログラミングにおける自由記述式の問題は未研究の領域です。自由記述式のコーディング問題には固有の課題が存在します。学生の回答には著しい多様性が見られ、エラーは多様な形で発生し、複数の有効な解決アプローチが存在する可能性があり、それぞれが異なる KC のセットを網羅します。既存の自動化手法は、この複雑さを捉えきれないか、多様な学生の提出物には不適切な硬直的な構文構造に依存する傾向があります。

手法
著者は二部構成のフレームワークを提案します。一つは大規模言語モデル（LLM）を用いて KC を生成およびタグ付けする自動化パイプライン、もう一つはこれらの生成された KC を活用する新しい知識追跡（KT）手法、KCGen-KTです。

1. 自動化 KC 生成パイプライン:

   • 初期生成: 各プログラミング問題に対し、システムは CodeBERT 埋め込みを用いてクラスタリングし多様性を確保した、代表的な正解の学生コード提出物の多様なセットを選択します。GPT-4o に数ショット例と思考連鎖（chain-of-thought）推論をプロンプトし、問題を解決するために必要な微細な KC を特定させ、既存のトピックタグを自然言語記述に変換します。
   • クラスタリングと抽象化制御: 粒度を管理するため、生成された KC のテキスト記述を Sentence-BERT で埋め込みます。階層的凝集クラスタリング（HAC）を適用して、意味的に類似した KC を統合します。クラスタ数を調整することで、システムは抽象化レベルを制御し、特定の関数レベルのスキルから広範な概念的グループ化へと移行させます。
   • ラベリング: GPT-4o にプロンプトを送り、各クラスタを単一の情報豊富なラベルに要約させます（既存の KC を選択するか、新しい記述を合成するか）。最後に、各問題を対応する要約された KC にマッピングする Q 行列を構築します。

2. KCGen-KT（知識追跡フレームワーク）:

   • アーキテクチャ: このモデルは、マルチタスク学習のバックボーンとして Llama 3（80 億パラメータ）を使用し、次の学生の提出物の二値正誤と、実際のコードをトークン単位で予測します。
   • 学生状態モデリング: 標準的な LSTM が、過去の問題テキスト、コード、正誤に基づいて学生の潜在知識状態（$h_t$）を更新します。この状態は、各固有の KC における習熟度を表す習熟ベクトル（$m_t$）に投影されます。
   • ソフトトークン変換: 習熟度を LLM の入力空間に統合するため、モデルは離散的な習熟値を「ソフトトークン」に変換します。KC $j$ に対する習熟レベル $m^j_t$ は、「真」と「偽」のトークンの埋め込みの重み付き組み合わせに変換されます：$s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + (1 - m^j_t) \cdot \text{emb}_{\text{false}}$。これにより、訓練中に習熟パラメータを通じて勾配が流れるようになります。
   • 解釈可能性: モデルは、個々の KC の習熟度を総合的な習熟スコアに集約する補償モデルを採用しており、特定の KC における知識の向上が、正解の確率の上昇と相関することを保証します。
   • 訓練目的: システムは、コード生成損失（交差エントロピー）、正誤予測損失（二値交差エントロピー）、および KC 習熟度と正誤の間の単調性を強制する正則化損失を含む、結合された損失関数を最小化します。

主要な貢献

• 自由記述式コーディングにおける初の自動化パイプライン: 本論文は、学生のコード提出物の多様性と複雑さに対処し、自由記述式のプログラミング問題に特化して KC を生成およびタグ付けできる初の LLM ベースのパイプラインを提示します。
• ソフトトークンを用いた解釈可能な KT: 著者は、テキストベースの KC 記述に対する学生の習熟度を明示的にモデル化する KCGen-KT を導入します。新しいソフトトークン変換メカニズムにより、LLM は連続的な習熟レベルを入力として利用でき、潜在的学生状態とテキスト生成の間のギャップを埋めます。
• 実証的検証: このフレームワークは、数千件の学生提出物を含む 2 つの実世界データセット（CodeWorkout および FalconCode）で評価されました。

結果

• 性能: KCGen-KT は、既存の最先端の KT 手法（TIKTOC や Code-DKT など）および人間が作成した KC を使用したベースラインを上回りました。具体的には、LLM 生成 KC を使用したバージョンは、両データセットにおいて AUC、F1 スコア、精度、およびコード生成における CodeBLEU において統計的に有意な改善を達成しました。
• 粒度分析: KC の抽象化レベルを変化させた実験により、過度に抽象化された KC（高レベルのクラスタ）は性能を低下させることが示されました。一方、中程度から低レベルの抽象化（より細かい粒度）が最良の結果をもたらしました。これは、正確な学生モデリングには十分な詳細が重要であることを示唆しています。
• 学習曲線: 生成された KC は、人間が作成した KC と比較して、練習に伴うエラー率の減少という練習の法則とよりよく一致しました。学習曲線モデルに適合させた際、重み付き $R^2$（0.21 対 0.18）がより高い値を示しました。
• 人間による評価: 講師は、LLM 生成 KC を非常に解釈可能と評価しました（98.6% 対、人間ベースラインの 94.6%）。また、問題と KC のマッピングは高い精度（93.2%）を持ち、カバレッジも高く（ケースの 96% で人間ベースライン以上）、高い精度とカバレッジを有することが判明しました。

意義と主張
本論文は、高品質で自動的に生成された KC と正確なタグ付けが、下流の学生モデリング性能の向上に不可欠であると主張しています。著者は、LLM が自由記述式のコーディングタスクにおいて微細なスキルを効果的に特定できることを実証しており、予測力や認知学習原則との整合性において、人間が作成したタグを上回る場合が多いことを示しました。

この研究は、データ利用の制約（大規模かつ縦断的な自由記述式の学生回答データが必要であること）により、コンピュータサイエンス教育に限定された範囲で進められました。著者は、現在のパイプラインがコンテキスト内例に依存していることを認め、今後の研究では、人間の介入による改善、学習曲線適合のための直接最適化、数学や科学などの他の分野への応用を探るべきであると述べています。彼らは、このアプローチが人間の判断を代替するものではなく、教員の負担を軽減して支援することを意図しており、実際の教育環境での展開前には専門家によるレビューを推奨しています。