Which CS1 Students Will Fail? Identifying Digital Markers from Learning Analytics in Computer Systems and Architecture Using Weighted Academic Momentum and Interaction Logs

現代の教育という広大な風景の中で、教室を管理するデジタルシステムの中に静かな革命が起きている。何十年もの間、教師は学生がどの程度順調に進んでいるかを判断するために成績や出席表に頼ってきたが、こうした伝統的な指標は、苦戦している学習者を助けるには到着が遅すぎることが多い。今日、大学がコースのオンライン化を進めるにつれ、あらゆるクリック、あらゆるログイン、そしてデジタルプラットフォーム上で過ごすあらゆる瞬間が痕跡を残している。研究者たちは、これらの痕跡を「デジタルマーカー」と呼んでいる。それらは学生の日常におけるコース内での足跡であり、最終試験が書かれるずっと前の段階で、彼らの習慣、エンゲージメント、そして潜在的な苦境を垣間見せてくれるものである。この新しい研究分野を突き動かしている問いは、単純だが深遠である。すなわち、私たちはこれらのデジタルの足跡を読み解くことで、失敗しそうな学生を特定できるのか、そしてその軌道を変えるために十分早い段階でそれができるのか、ということである。

これは、ザンビア大学の研究チームが直面した課題である。彼らは、非常に難しい一年次の科目である「コンピュータ・システムとアーキテクチャ」に注目した。このクラスでは、歴史的に約40パーセントの学生が合格できず、その割合は多くの優秀な精神が本格的な学習を開始する前に取り残される状況を生んでいる。講師たちは何かがおかしいとは分かっていたが、手遅れになるまで誰がリスクにさらされているかを特定する方法を持っていなかった。これを解決するために、チームは最終成績の先を見据え、代わりに4年間にわたって学生が残してきたデジタルのパン屑（デジタル・ブレッドクラム）を調査することにした。彼らは、約300人の学生から、基本的な背景情報、初期のクイズやテストのスコア、そして大学のオンライン学習システムとのやり取りの生ログを組み合わせたデータを収集した。彼らの目標は、早期警告システムとして機能し、失敗する可能性が高い学生をフラグ立てして、教師が事態を好転させるためのサポートを提供できる時間があるうちに介入できるようにするモデルを構築することであった。

研究者たちはまず、そのコースを最もよく知る人々、すなわち講師、チューター、そして学生自身の声に耳を傾けることから始めた。インタビューや調査を通じて、彼らは時間管理、モチベーション、学生がコンピュータを所有しているかどうかなど、成功に影響を与えると思われる10の要因を特定した。そして、これらの人間的な洞察をデータポイントへと翻訳し、テストするための包括的な特徴リストを作成した。彼らは「加重学術的モメンタム（weighted academic momentum）」と呼ばれる特別なスコアを設計した。これは、最初のクイズやテストの成績に着目し、より包括的な内容となる後半の初期アセスメントにより高い重要性を与えるものである。また、学生がオンラインシステムに一度でもログインしたことがあるかどうか、および何日間の異なるアクティビティがあったかも追跡した。これらすべての情報をコンピュータモデルに投入することで、どの要因の組み合わせが失敗する人物を最もよく予測できるかをテストした。

彼らが発見したことは、驚くべきものであると同時に、安心させるものでもあった。失敗の最も強力な予測因子は、学生のモチベーションに関する複雑な調査やコンピュータに関する事前経験ではなく、むしろ、3つの要素の単純な組み合わせであった。それは、初期の学術的モメンタム、基本的な背景、そしてオンライン学習システムに一度でも触れたことがあるかという単一の「はい・いいえ」の質問であった。モデルは、最初の数週間のアセスメントにおけるパフォーマンスが、将来の成功を示す最も強力なシグナルであることを突き止めた。しかし、このシグナルは、デジタルの存在感に関する単純なチェックと組み合わせたとき、さらに説得力を持つものとなった。もし学生が高い初期スコアを持ちながら、オンラインシステムに一度もログインしていなければ、その学生は依然として重大なリスクにさらされていることになる。これは、一部の学生が自然な能力や既習知識に頼り、オンラインで利用可能なサポート体制に気づいていないか、あるいはオンラインでの学習活動なしに合格できるという過信を持っている可能性を示唆していた。

研究者たちが、まだ見たことのない未知の学生グループに対して最終的なモデルをテストした際、それは本来の任務において極めて効果的であることが証明された。システムは、最終的にコースに失敗した学生の87パーセントを正しく特定した。この高い成功率にはトレードオフが存在した。モデルは、合格するはずの学生をもリスクがあるとフラグ立てしてしまい、その結果、誤報率は41パーセントに達した。研究者たちは、教育現場においてはこれは許容できる代償であると主張している。必要のない学生に余計な助けを申し出るよりも、静かに苦しみ、失敗しようとしている学生を見逃してしまうことの方がはるかに問題だからである。モデルは、学期の開始からわずか5週間時点のデータを用いることで、この成果を達成した。この期間は、講師にとって介入のための極めて重要な窓口となる。

また、この研究は、より複雑なデータを追加しても必ずしも予測が改善されるわけではないことも明らかにした。学生の感情や具体的な学習量に関する詳細な調査回答を含めても、モデルの精度は向上しなかった。実際、最も単純なアプローチ、すなわち初期の成績と基本的なオンライン活動のチェックに焦点を当てることが、最も効果的であった。このことは、この特定のコースにおいては、最初の数週間に学生が行う行動が、自己申告による感情や背景の詳細よりも信頼できる指標であることを示唆している。研究者たちは、モデルがなぜそのような決定を下したのかを理解するためにSHAP分析という手法を用いたが、これにより、加重学術的モメンタムが単一の最も重要な要因であり、それに続いてモメンタムとオンラインシステムへの関与との相互作用が重要であることが確認された。

この取り組みは、大学がすでに持っているデータをどのように活用して学生を支援できるかという、実践的なブループリント（設計図）を提示している。単純で早期のデジタルマーカーに焦点を当てることで、教育者は「失敗への反応」から「失敗の防止」へと移行することができる。研究者たちは、これらの知見をライブ・ダッシュボードへと展開する計画である。これにより、学生がトラブルの兆候を示した際に自動的に講師へ通知が行われ、講師が的確な支援を提供できるよう、警告の明確な理由が提示されるようになる。この研究はザンビアの一つの大学で行われたものだが、そのアプローチは普遍的な真理を示唆している。すなわち、デジタル時代においては、学生の現れ方、たとえそれがどんなに小さなことであっても、彼らの背景や初期の自信よりも雄弁に物語ることがある、ということである。成功への道は、必ずしも複雑な統計の中に隠されているのではなく、時には、対面でもオンラインでも、授業に「出席する」という静かで一貫したリズムの中に隠されているのである。