技術概要：KASER（知識整合型学生誤りシミュレーター）

問題定義

オープンエンドなコーディング課題はコンピュータサイエンス教育において普遍的であり、学生の知識に関する豊富なデータを提供する。しかし、大規模言語モデル（LLM）を学生回答のシミュレーション、特に学生が犯す誤りを予測するように訓練することには、重大な課題が存在する。既存のアプローチはしばしばモード崩壊に悩まされ、モデルが過度に均質または正しいコードを生成し、実際の学生提出物に見られる構文、スタイル、解決アプローチの多様性を捉え損なう。さらに、多くの既存手法は学生知識との明示的な結びつきを欠いており、特定の誤解を診断する上で教育的有用性が低い。現在の最先端手法は、正しいコードを生成する傾向がある教師あり微調整（SFT）に依存するか、あるいは個々の学生への誤りパターンの一般化に苦労するコンテキスト内学習やペルソナベースのプロンプトを使用している。

手法：KASER

著者は、シミュレートされた学生誤りをその背後にある知識プロファイルと整合させるように設計されたフレームワーク、KASER（Knowledge-Aligned Student Error Simulator）を提案する。この手法は以下の 3 つの主要コンポーネントから構成される。

1. 学生知識推定器（KE）

KASER はまず、知識追跡（KT）モデルを用いて、学生の一連の知識コンポーネント（KC）に対する習熟度を推定する。

• 入力: 学生の過去のコード提出履歴。
• 処理: モデルは学生の知識状態を習熟度ベクトル $m_t \in [0, 1]^k$ に圧縮する。ここで、各次元は特定の KC の習熟レベルを表す。
• 出力: コード生成を導くために使用される解釈可能な知識プロファイル。

2. 学生コード予測器

大規模言語モデル（具体的にはQwen2.5-Coder 7B Instruct）が、問題文（$p$）と学生の習熟度ベクトル（$m_t$）を条件として、次のコード提出（$c_{t+1}$）を予測するように訓練される。

• プロンプト: プロンプトには、問題テキストと、その問題に関連する KC の特定の習熟レベルが含まれる。
• 初期訓練: モデルは知識を条件としたコード生成のベースラインタスクを学習するために、教師あり微調整（SFT）を受ける。

3. ハイブリッド報酬を用いた強化学習（GRPO）

モード崩壊を克服し、誤りを知識と整合させるために、KASER は**グループ相対方策最適化（GRPO）**を利用する。標準的な SFT の代わりに、モデルは 3 つの異なるコンポーネントからなるハイブリッド報酬関数 $R$ を用いてさらに訓練される。

• コード類似度報酬（$R_{Sim}$）: CodeBLEUを用いて、生成されたコードと真の学生コードとの間の構文および意味的類似度を測定する。
• 誤り一致報酬（$R_{Error}$）: モデルが真のコードに含まれる誤りと一致する誤りを予測することを明示的に促す。これは、LLM-as-a-judge によって識別された誤りセット（構文、ランタイム、論理誤り）のJaccard 係数（IoU）を計算することで算出される。このコンポーネントは、単なる表面的な類似度よりも、誤りのタイプの一致を優先する。
• コード多様性報酬（$R_{Div}$）: バッチ内の生成されたコードが互いに類似しすぎている場合にモデルにペナルティを与える、グループレベルの報酬である。これは、グループ内の他のサンプルに対する $1 - \max(\text{CodeBLEU})$ として計算され、モード崩壊を防ぎ、多様な解決アプローチを促進する。

誤り注釈パイプライン

誤り一致能力の訓練と評価のために、著者は自動化された誤り注釈パイプラインを開発した。

1. 生成: LLM（o4-mini）が学生コードの誤り注釈を生成し、構文、ランタイム、論理誤りを網羅する。
2. クラスタリング: 誤り記述を Sentence-BERT 埋め込みと階層的凝集クラスタリングを用いてクラスタリングし、類似した誤りをグループ化する。
3. 要約: 各クラスタに対して、代表的で一般化された誤りラベルを生成する。
   人間の評価により、LLM ジャッジと人間の注釈者との間で実質的な一致（F1 $\approx$ 0.75–0.92）が確認された。

主要な貢献

1. 知識整合型シミュレーション: 入力された学生知識プロファイルと予測された学生誤りを明示的に整合させる GRPO ベースの手法の開発。表面的なコード予測を超えたアプローチ。
2. ハイブリッド報酬設計: コード類似度、誤り重複（IoU）、生成多様性のバランスを取り、モード崩壊を防ぐ 3 部構成の報酬関数の導入。
3. 包括的評価: 2 つのレベルでの広範な定量的評価。
   • 学生 - 問題ペアごと: 特定の学生インスタンスに対する予測精度と誤り一致の評価。
   • 問題ごと: 集団全体において多様な誤りを網羅し、多様なコードを生成するモデルの能力の評価。

結果

実験は 2 つの実世界データセット、CodeWorkout（Java）とFalconCode（Python）で行われた。

• 学生 - 問題レベル: KASER は、すべての指標においてすべてのベースライン（PersonaPrompt、In-Context Learning、ParaStudent、Student SFT を含む）を上回った。特に、**誤り一致（IoU）とコード類似度（CodeBLEU）**において統計的に有意な改善を達成した。例えば、CodeWorkout において、KASER は IoU@1 で 0.157 を達成し、最強のベースライン（Student SFT）の 0.115 を上回った。
• 問題レベル: KASER は優れた誤り網羅性とコード多様性を示した。ベースラインが正しい解決策や反復的な誤りパターンに収束することが多かったのに対し、KASER はより広範な固有の誤りを予測し、より多様なコード解決策を生成することに成功した。
• 定性的分析: ケーススタディにより、KASER は特定の KC における低い習熟度に対応する特定の誤りタイプ（例：誤った比較演算子、欠落した return 文）をシミュレートできることが示された。一方、Student SFT などのベースラインは、シミュレートされた知識プロファイルに関係なく、正しいコードを生成する傾向があった。

意義と主張

本論文は、KASER が特定の知識不足と整合し、解釈可能な学生誤りのシミュレーションを可能にすることにより、教育 AI において重要な前進を遂げたと主張する。

• 教育的有用性: 誤りを知識コンポーネントと整合させることで、このシステムは指導者が学生の誤解をより正確に診断し、個別化されたフィードバックを提供するのを支援できる。
• モード崩壊の克服: ハイブリッド報酬アプローチは、LLM が正しいコードまたは均質なコードのみを生成する傾向を効果的に緩和し、学習に内在する「葛藤」をシミュレートする際の重要な限界を克服する。
• 限界: 著者は控えめに、モデルは論理誤りやランタイム誤りにおいて優れているが、LLM の構文的に有効なコードへの事前学習バイアスに起因すると考えられる、特定の構文誤り（例：括弧のバランスが崩れているなど）の生成には依然として苦労していると指摘する。また、誤り注釈はテストケースにアクセスできない LLM に依存しており、これが誤り分類の粒度を制限する可能性があることも認めている。

結論として、KASER は、明示的な知識追跡を強化学習および多様性促進報酬と統合することで、LLM がオープンエンドなコーディング課題において人間の学生が示す微妙で多様な誤りパターンをよりよくシミュレートできることを示している。