Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

技術的サマリー：大規模言語モデル（LLM）の公開後のインストラクターの授業設計と学生学習の変化の測定

問題定義
2022 年末における大規模言語モデル（LLM）の広範な一般公開は、高等教育に変革をもたらしたが、学生学習行動、教員のコース設計、および従来の成績評価指標の有効性への影響に関する実証的証拠は依然として不足している。著者らは、重要な方法論的ギャップを特定している。すなわち、成績といった従来の指標は、学習の代理指標としてますます信頼性が損なわれているという点である。この歪みは、以下の 3 つの要因に起因する。(1) インストラクターが LLM 耐性のある課題に再設計を行う「猫とネズミ」の駆け引きにより、時系列比較が不可能になること。(2) 検出されない LLM の使用が、対応する学習の獲得なしに成績を人為的に引き上げること。(3) LLM 使用が発覚した学生が、実際の概念的理解があったにもかかわらず落第となること。したがって、「ポスト LLM 時代」における学習動向を評価するために、過去の成績記録と教員および学生の両方の定性的認識を組み合わせた三角測量データが存在しない。

方法論
本研究は、マサチューセッツ大学ボストン校（UMass Boston）において実施された、混合研究法を用いた複数コース設計によるものである。研究は 3 つの異なるデータソースを三角測量している。

1. 回顧的定量分析: 大学事務長から、約 15 のコースにわたる 10 年間の歴史的成績データが取得された。このデータにより、ポスト LLM 時代（2023 年春以前）とポスト LLM 時代（2023 年春以降）の間の平均 GPA、中退率、および落第率の比較が可能である。
2. インストラクター調査: コース構造、課題設計、評価基準の変化を記録するため、教員を対象に調査票が配布された。18 名のインストラクターが研究調査を完了した。調査は、リッカート尺度と自由回答質問を用いて、教育的適応の程度と性質を把握した。
3. 学生調査: 学生（主にコンピューター関連プログラム出身）に対して匿名調査を実施し、自己申告による LLM 使用頻度、学習行動、概念的理解、および成績の妥当性に対する認識を評価した。社会的望ましさバイアスに対処するため、本研究は二重のアプローチを採用した。すなわち、個人の使用に関する直接質問と、同僚の使用に関する間接質問を行い、「過少申告指数」を算出するものである。

本研究では、定性データに対してテーマ分析（Braun & Clarke）を、定量データに対して統計分析（スピアマン相関、ウェルチの t 検定）を用いた。調査ツールの内容妥当性は、5 名の大学教授による専門家レビューを通じて確立され、項目の精緻化後に 94.00% の全体的合意率を達成した。

主要な貢献

• 三角測量された証拠: 高等教育における LLM 現象を分析するために、成績データ、教員の認識、学生の自己申告を同時に検討した最初の研究である。
• 教育的シフトの定量化: 本研究は、コース再設計の具体的なタイムラインと規模を文書化し、LLM の利用可能性と重要な教員の適応の間に存在する遅延を特定している。
• 過少申告指数: 個人と同僚の使用推定値を比較することで、自己申告と実際の LLM 使用の間のギャップを推定する方法論的アプローチを提供している。
• 成績と学習の不一致: 本研究は、コースの再設計の欠如と人為的に引き上げられた成績との関連を示す実証的証拠を提供しており、変更されていないコースでは、LLM へのアクセスがより高い成績と関連するが、潜在的に真の学習は低下している可能性を示唆している。

結果

• インストラクターの適応: 回答したインストラクターの 86.7% が GenAI に対応してコースを変更した。最も一般的な変化は、授業内作業、授業内評価、概念的推論課題への移行であった（図 3）。再設計の深刻度は 2023 年春以降に著しく増大し、多くのインストラクターが課題の 20〜40% 以上を変更した。
• 成績の動向: ポスト LLM 時代において、学生の平均 GPA は 2.96 から 3.00 にわずかに増加した（統計的に有意だが、効果量は Cohen's d = 0.04 で無視できる程度）。中退率と落第率もわずかに減少した。
• 「変更なし」コースの異常: コース設計に変更がないと報告した 2 名のインストラクターに関する重要な発見が浮き彫りになった。彼らのコースでは、課題を再設計したインストラクターが教えるコース（+0.01 ポイント）と比較して、平均 GPA が大幅に増加（+0.25 ポイント）した。また、変更されていないコースでは中退率がより急激に低下した。
• 学生の行動と認識: 学生は、成績評価付きの課題における個人の LLM 使用を、同僚の使用の推定値と比較して過少申告した。自己申告による LLM 使用の増加は、成績が学習を正確に反映しているという信念の低下と相関していた。しかし、このサンプルでは、自己申告による LLM 使用は GPA、学習時間、または概念的理解（ConCal）スコアと統計的に有意な相関を示さなかった。
• 学生の懸念: 学生は、使用していなくても AI 使用に対して罰せられることへの不安、および同僚が AI を使用してより高い成績を達成するシステムの公平性について、顕著な懸念を表明した。AI 使用に関する機関のガイダンスやワークショップへの強い、自発的な要望があった。

意義と主張
著者らは、この作業をより広範な機関研究と政策を情報提供することを意図したパイロット研究として位置づけている。本論文は、その主な意義が、三角測量データを用いた学習動向のエビデンスに基づく評価を提供することにあり、これが大学が GenAI 政策を navigated するために必要であると主張している。

本研究は、大多数の教員が AI への依存を軽減するためにコースを積極的に再設計している一方で、適応していない教員は自らのクラスで大幅な成績インフレーションを目撃していることを結論づけている。これは、教育的適応がなければ、LLM へのアクセスは AI を使用しない学生にとって競争上の不利を生み出すと同時に、学生学習の真の状態を曖昧にする可能性があることを示唆している。著者らは、現在のデータが大学レベルの政策と学生向けのガイダンスの必要性を支持しており、既存の機関リソースは現在、ほぼ独占的に教員に焦点を当てていると指摘している。本論文は、単一サイトかつ便宜抽出サンプルであるため、広範な一般化を明示的に避け、これらの知見がより大規模な多機関研究の基盤となるよう促している。