Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

毎年、世界中の大学は静かな危機に直面しています。それは、学位を修了する前に多くの学生が退学してしまうという問題です。これは、就職の機会や所得の低下に直面することになる学生にとっての損失であるだけでなく、教育機関にとっても大きな経済的打撃となります。数十年にわたり、研究者たちは、どの学生が中退しそうかを特定できるコンピュータープログラムを構築することで、この謎を解こうとしてきました。これらのプログラムは「機械学習モデル」と呼ばれ、学生の成績、経済状況、背景といった履歴を分析して、その将来を予測します。その目的は、常に、手遅れになる前にリスクのある学生を早期に発見し、支援を提供することにありました。しかし、こうした取り組みには、ある決定的な欠陥がつきまとっていました。コンピューターは予測を行うことはできますが、その予測をどの程度信頼すべきかを学校側に伝えることはほとんどありませんでした。モデルはある学生を「リスクあり」と判定しても、その警告が確かな事実なのか、それともあやふやな推測なのかを知る術はありません。予測の信頼性が分からなければ、学校は実際には問題のない学生に対してリソースを浪ей費してしまうリスクを負うか、あるいは、より深刻なケースとして、本当に助けを必要としている学生を見逃してしまうことになるのです。

ケンタッキー大学の研究者であるカジ・サビール・アフマド・ナヒンによる新しい研究は、予測の提供方法を変えることで、この問題に取り組んでいます。コンピューターに「この学生は中退する」あるいは「この学生は卒業する」といった単一で決定的な答えを求める代わりに、この研究では「コンフォーマル予測（conformal prediction）」と呼ばれる手法を用いています。このアプローチでは、コンピューターに対し、その結果のセット（集合）とともに、そのセットがどの程度の頻度で正しいかという保証を提示するよう求めます。これは、文脈なしに「明日は雨が降る」と言う気象予報士と、「95パーセントの確率で雨が降る。もし外れる場合は、この特定の範囲内に収まる」と言う予報士の違いのようなものです。研究者は、この手法をポルトガルの大学における4,400人以上の学生のデータに適用し、学生が卒業するか、中退するか、あるいは単に在籍し続けるかを最もよく予測できるのはどのタイプのコンピューターモデルであるかを、6種類の異なるモデルを用いて検証しました。

研究の結果、コンピューターモデルは、学位を修了する学生と去っていく学生を区別することにおいて、非常に優れていることが分かりました。高度な技術を用いてデータから学習した最良のモデルは、卒業か中退かの2つの最終結果のみを見ている場合、約90パーセントのケースで結果を正しく特定しました。しかし、真のブレイクスルーは、そこに「不確実性」という層を加えた時に起こりました。モデルに対して高い信頼性（具体的には95パーセントの確率で正しいこと）を求めたとき、モデルはすべての学生に対して単一の答えを強制することはありませんでした。その代わりに、約9から12パーセントの学生に対して、「卒業」と「中退」の両方を含むセットを返したのです。これはコンピューターの失敗ではなく、新しい手法の成功でした。つまり、これらの特定の学生については、利用可能な証拠ではどちらの未来を選ぶべきか判断できないことを、コンピューターが正直に認めたということです。

この不確実性は、研究者が「まだ在籍中であるが卒業はしていない」という第3のカテゴリーを含めた場合に、より顕著になりました。このより複雑なシナリオにおいて、モデルは、学生の約40パーセントについて、複数の未来の可能性を示唆していることが判明しました。「まだ在籍中」という状態は、学生の進路がまさに未決定である移行期を表しています。以前の研究では、これらの学生に対して単一のラベルを強制することで、予測が不安定であるという事実を隠してしまっていた可能性があります。しかし、新しいフレームワークは、この曖昧さを可視化しました。それは、多くの学生にとって進路はまだ明確ではなく、コンピューターは最終的な結果を自信を持って予測できないことを示しました。これは、不確かな推測を確かな事実と同じ重みで扱うことを防ぐため、大学の管理者にとって極めて重要な区別となります。

不確実性を測定するだけでなく、この研究は、何がこれらの予測を動かしているのかについても調査しました。コンピューターの意思決定プロセスを分解する手法を用いることで、研究者は、最も強力なシグナルが学生の学業の進捗から来ていることを発見しました。具体的には、合格した科目の数と、第2セメスターの成績が、将来を示す最も強力な指標でした。また、経済的なストレスも大きな役割を果たしており、授業料の支払いが遅れていたり、負債を抱えていたりする学生は、リスクが高いと判定される可能性が高くなっていました。これらの知見は、なぜ学生が学校を去るのかという長年の理論と一致しており、学業への適応と経済的な安定の両方が、継続のための重要な柱であることを裏付けています。この研究は、これらの要因が中退を「引き起こす」と主張しているのではなく、これらがトラブルを察知するためにコンピューターが利用できる最も信頼できる手がかりであると述べています。

この研究の意義は、大学がどのようにリソースを管理するかという点において、実用的かつ直接的です。研究は、これらの予測に基づいて行動するための階層的なシステムを提案しています。もし予測セットが「中退」のみを含んでいる場合、学校は、個別指導や経済カウンセリングといった即時的かつ集中的な支援のために、その学生を優先することができます。もしセットが「卒業」のみを含んでいる場合は、不必要な干渉を受けることなく、学生はそのまま学習を継続できます。しかし、予測セットに複数の結果が含まれている学生、つまりコンピューターが判断を下せない学生については、別の方法が提案されています。彼らは、より詳細な検討を行うために、人間のアドバイザーに紹介されるべきです。カウンセラーは、学生と話をしたり出席状況を確認したりするなど、より多くの情報を収集することで、決定を下す前に不確実性を解消することができます。これにより、コンピューターは最終的な審判ではなく、人間の判断が最も必要とされる場所を照らし出す、有用なツールへと変わります。

結局のところ、この研究は、学生支援の未来とは、常に正しいコンピューターを作ることではなく、自身が不確実であるときにそれを正直に伝えるシステムを作ることにあると示唆しています。不確実性を定量化することで、学校は推測をやめ、情報に基づいた意思決定を行うことができます。限られたリソースを最も必要としている学生に集中させると同時に、結果が明確であるケースにおける偏見や無駄を避けることができるのです。研究は、機械学習は学生のデータからパターンを見つけ出す強力なツールであるが、それは信頼性を測定する方法と組み合わされなければならないと結論づけています。そうして初めて、これらのシステムは、すべての学生がゴールラインを越えるのを助けるという目標を真にサポートすることができるのです。