CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems

技術概要：CodeGENCAT

問題定義
既存のコンピュータ適応型テスト（CAT）フレームワークは、主に学生が正解する予測確率に基づいて質問を選択するために、項目反応理論（IRT）に依存しています。このパラダイムでは、学生の回答は正誤という二値ラベル（正解/不正解）に圧縮されます。この抽象化は、自由記述式回答に内在する豊富な診断情報を失わせるものであり、プログラミング教育において特に顕著な限界です。コーディング課題において、2 人の学生がどちらも同じ質問に失敗したとしても、そのコード提出物は全く異なる理解度を示す可能性があります。一方は minor な構文エラーを示し、他方は根本的な概念の欠如を示す場合があるからです。両方を単に「不正解」として扱うことは、エラーの具体的な性質を無視し、システムが概念理解とコーディング能力を正確にモデル化する能力を阻害します。

手法
著者らは、二値の結果ではなく、予測された自由記述式の学生コード回答に基づいて質問を選択するフレームワークであるCodeGENCAT（自由記述式コーディング問題のための生成型コンピュータ適応型テスト）を提案します。この手法は、以下の 3 つの中核コンポーネントで構成されます。

1. 生成型項目反応理論（GIRT）モデル:

   • 知識表現: 学生の知識は、潜在ベクトル $z_i$ として表現され、多層パーセプトロン（MLP）を介して特定の知識コンポーネント（KC）に対する明示的な習熟度（$\theta_i$）に投影されます。
   • コード生成: 質問テキストと学生の推定された知識を条件として、LLM が予測されたコード回答を生成します。スカラーの習熟度レベルと LLM の入力との間のギャップを埋めるため、著者らは「ソフトプロンプティング」という手法を採用します。習熟度レベルは、「TRUE」と「FALSE」の事前学習済み埋め込み間で線形補間され、プロンプトに注入される連続的な埋め込みを作成します。
   • トレーニング戦略: モデルは 2 段階のトレーニングプロセスを経ます。
     • 教師あり微調整（SFT）: モデルは、負の対数尤度を最小化しながら知識を条件としたコードの生成を学習します。補助損失関数は、平均予測習熟度を真の正解スコアと整合させます。
     • 直接選好最適化（DPO）: モード崩壊（モデルが入力知識に関係なく同一のコードを生成する現象）に対処するため、強化学習段階が導入されます。選好ペアは、現在の学生の知識を考慮した場合に他の学生の回答よりも可能性が低い回答と比較して、実際の学生の回答から形成されます。DPO は、生成された回答が入力知識状態に基づいて意味的に変化するようモデルを洗練させます。

2. 質問選択アルゴリズム:
   CodeGENCAT は、候補となる質問に対して $N$ 個の潜在的なコード回答を GIRT モデルからサンプリングします。次の質問を決定するために、以下の 3 つの選択基準が提案されます。

   • 不確実性ベース: 予測された平均正解スコアが 0.5 に最も近い質問を選択し、正解確率に関する情報利得を最大化します。
   • 多様性ベース: サンプリングされたコード回答が最も高い意味的多様性（CodeBERT 埋め込みのペアワイズコサイン類似度で測定）を示す質問を選択し、学生がどのように回答する可能性があるかについての不確実性が高いことを示します。
   • フィッシャー情報ベース: フィッシャー情報行列のトレースを最大化する質問を選択し、学生の潜在知識ベクトルに関する不確実性を最も顕著に減少させることを目指します。

3. 適応型テストサイクル:
   システムは、集団の事前分布を用いて学生の潜在知識を初期化します。各ステップにおいて、候補質問に対して GIRT モデルから回答をサンプリングし、選択アルゴリズムを使用してスコアリングを行い、最高スコアの質問を管理し、実際の回答に基づいて勾配降下法を用いて学生の潜在知識を更新します。

主要な貢献

• 生成型 CAT フレームワーク: 自由記述式コーディング問題のために特別に設計された最初の CAT フレームワークであり、質問選択に学生の予測コード回答を利用し、二値の正誤を超えて進歩しました。
• GIRT モデル: 潜在知識表現と LM 駆動のコード生成を組み合わせ、SFT と DPO でトレーニングされ、生成された回答が推定された学生の知識と整合するように設計された新規モデル。
• 新規選択アルゴリズム: 自由記述式回答の文脈において質問の情報量を評価するために、生成能力を活用する 3 つの異なるアルゴリズム（不確実性、多様性、情報）。

実験結果
このフレームワークは、2 つの実世界データセットで評価されました。CodeWorkout（Java 提出物）とProgFeed（Python 提出物）です。

• 性能: CodeGENCAT は、学生知識の推定において、AUC（曲線下面積）と精度で測定された、強力なベースライン（1PL IRT、BOBCAT、NCAT、LACAT）を一貫して上回りました。
• 初期段階での利益: 最も顕著な改善は、テストの初期段階（$t=1$ から $t=7$）で発生しました。CodeWorkout において、多様性ベースの選択アルゴリズムは、最初の段階で最強のベースラインに対して4.32% の AUC 改善を達成しました。
• アルゴリズムの分散: 最適な選択アルゴリズムは、データセットとテスト段階によって異なりました。多様性は CodeWorkout の初期段階で最も良好に機能しましたが、情報ベースの選択は ProgFeed 全体と CodeWorkout の後期段階で一貫して優位でした。
• テストセキュリティ: CodeGENCAT は、競争力のあるテストセキュリティ指標（質問露出率と重複率）を維持し、効率性とセキュリティ要件のバランスが取れていることを示しました。
• アブレーション研究: この研究は、DPO 整合がモデルが多様で知識条件付きの回答を生成するために不可欠であることを確認しました。より大規模なバックボーンモデル（3B 対 1B）はデータセット依存の利益を示し、サンプリングされた回答数（$N$）を 10 から 3 に減らすことは、精度の低下を最小限に抑えながら大幅な時間節約をもたらしました。

意義と主張
本論文は、CodeGENCAT が自由記述式コードに含まれる豊富な情報を活用することで、プログラミング教育における適応型テストにおいて重要な進歩を遂げたと主張しています。「学生が失敗するかどうか」から「学生がどのように失敗する可能性があるか」へと焦点を移すことで、このフレームワークは二値モデルが見逃す特定の誤りや誤概念を捉えます。著者らは、このアプローチが、特にテストの重要な初期段階において、より正確で効率的な知識推定につながることを主張しています。現在の評価は入門レベルのコンピュータサイエンスに限定されていますが、適切なデータセットが利用可能であれば、このフレームワークは理論上、他の自由記述式ドメインに適応可能であると指摘しています。この研究は、学生生成コンテンツのニュアンスを捨てることなく、心理計測モデルを強化する生成モデルの可能性を浮き彫りにしています。