Generative AI Availability, Grades, and Student Satisfaction at a Large University
13万8,000人以上の学生を対象とした大規模な差の差分析を用いた本研究は、生成AIの利用可能性が、AIによる代替が容易な科目において成績を不当に膨張させたり、学生の満足度を低下させたりしたという証拠は見いだせず、それによって、学生が学習することなくAIに認知的努力を肩代わりさせているという懸念を和らげている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
魔法のように賢いロボットの助手が、一晩にして現れた世界を想像してみてください。このロボットは、人間よりも速くエッセイを書き、数学の問題を解き、コードをドラフトすることができます。すると突然、あらゆる学校で大きな疑問が浮かび上がりました。もし学生が宿題をするためにこのロボットを使ったら、彼らは本当に教材の内容を学ぶことができるのでしょうか？それとも、教科書を一度も開くことなく、ただ完璧な成績を手にするだけなのでしょうか？これが、教育科学の世界における論争の核心です。研究者たちは、この「ロボットによる助け」が学習を促進する有用なツールなのか、それとも思考という大変な作業をスキップさせてしまう「認知的な近道」なのかを突き止めようとしています。これが重要なのは、成績は未来へのシグナルであり、大学や雇用主に対して学生が何を知っているかを伝えるものだからです。もし全員がロボットを使ったために成績の価値が下がってしまったら、学生を仕事やキャリアへと振り分けるシステム全体が狂ってしまう可能性があります。
さて、視点を移して、アメリカの中西部にある巨大な大学が行った、この謎を解明しようとする大規模な研究に注目してみましょう。研究者たちは、特定の種類の「手品」を探している探偵のようでした。彼らは、すべての授業が同じではないことを知っていました。ある授業は、自分の部屋でノートパソコンを使って一人で作業できる「持ち帰りテスト」のようなものであり、これらはロボットの助けを受けやすい「影響を受けやすい」クラスです。一方、他の授業は、先生の前でリアルタイムにスキルを見せなければならない「ライブパフォーマンス」や、クローズドブック形式の試験のようなものであり、これらはロボットが偽装するのが非常に困難です。
チームは、膨大なデータを集めました。2022年末に有名なAIチャットボット（ChatGPT）が登場する前後の数年間を対象に、13万8千人以上の学生、数千のクラスにわたるシラバス、成績、そして学生へのアンケート調査を収集しました。彼らは「差の差分析（difference-in-differences）」と呼ばれる巧妙な統計的手法を用いました。これは、二組のランナーを比較することに似ています。一組は電動スクーターを使えるトラックを走っているグループ（影響を受けやすいクラス）、もう一組は徒歩で走らなければならないトラックを走っているグループ（影響を受けにくいクラス）です。彼らは、スクーターが登場した後、スクーターのグループが突然、徒歩のランナーよりもずっと速くゴールし始めたかどうかを確認したかったのです。
ここにひねりがあります。研究の結果、スクーターのグループが突然猛スピードで追い抜いていくことはありませんでした。実際、研究者たちは、AIを容易に利用できるクラスとそうでないクラスの間で、最終成績に有意な差は見られなかったことを発見しました。学生がトップパフォーマーであろうと、普段苦労している学生であろうと、AIが魔法のような成績アップをもたらすことはなかったようです。「ロボット」は成績のインフレを引き起こしませんでした。
研究者たちはまた、学生が自分の授業についてどのように感じているかも確認しました。自分たちが教材を理解できなくなったと感じているのか？興味を失ったのか？作業が簡単だと感じているのか？ここでも、答えはほとんどの場合「ノー」でした。パンデミックによる混乱した時期（すでに学校の仕組みを変えてしまっていた時期）を考慮に入れたとしても、AIの導入によって学生のエンゲージメントや満足度が低下したようには見えませんでした。
では、結論はどうでしょうか？この研究は、学生が自分の努力を「代替」して簡単なAを取るためにAIを使っているという懸念は、少なくともこの大規模な大学の設定においては、誇張されている可能性があることを示唆しています。AIは間違いなく使われていますが、それが成績付けのシステムを壊したり、学生の学習を止めてしまったりしたわけではありません。成績という「シグナル」は、依然としてかつてと同じ意味を持っているようです。研究者たちは、これがAIに「全く影響がない」ことを意味するのではないと慎重に述べていますが、ロボットのせいで成績が今や無意味であるという恐ろしい考えは、彼らが収集したデータからは支持されない、ということです。成績は上がらず、学生は離脱せず、学習のシグナルは維持されています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。