How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education
大規模なデータセットに対してダブル機械学習を用いた本研究は、提出前のオンライン・エンゲージメントが学業成績を予測する一方で、その生の関連性のほぼ半分は既習到達度などの交絡因子に起因することを示しており、学習アナリティクスにおいて予測信号と因果効果を区別することの極めて高い重要性を浮き彫りにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の大学において、学生生活の膨大な量はデジタル・フットプリントとして残される。学習者がコースのウェブサイトにログインしたり、リンクをクリックしたり、ドキュメントをダウンロードしたりするたびに、記録が作成される。教育者や研究者は、長年これらのデジタルの痕跡を、学生の成功を知るための窓口として扱ってきた。その論理は極めて単純である。もし学生がオンライン上で活動的であれば、彼らは意欲的に取り組んでいる可能性が高く、意欲的に取り組んでいれば、クラスで良い成績を収める可能性が高いというものだ。この信念は、クリック数を数えることで苦戦している学生を特定しようとするダッシュボードや早期警告システムの構築を推進してきた。しかし、一つの決定的な問いが未解決のまま残されている。すなわち、活動そのものが良い成績をもたらす原因なのか、それとも良い成績は、すでに準備が整い、意欲を持っていた学生の単なる兆候に過ぎないのか、という問いである。この違いは極めて重要である。もし活動が単に成功の「症状」に過ぎないのであれば、学生にボタンをもっとクリックさせるよう強制しても、学習には役立たない。しかし、もし活動が学習の真の「原動力」であるならば、より多くの相互作用を促すことは、改善のための強力なツールとなり得る。
研究チームは、イギリスのオープン・ユニバーシティ（Open University）から得られた膨大なデータを用いて、この関係性を解明しようと試みた。彼らは、22種類の異なるオンライン・コース・プレゼンテーションに参加した2万1千人以上の学生の記録を調査した。このデータセットは非常に豊かであり、学生の背景、過去のアカデミックな実績、そして仮想学習環境における1,000万回を超えるインタラクションの詳細を含んでいた。研究者たちは、特に学生が課題を提出するまでの期間に焦点を当てた。彼らは、課題の提出期限前の数日間に発生したクリック数やアクティビティをカウントし、課題が提出された後に発生した活動はカウントされないようにした。この入念なタイミングの設定は、結果が判明する前の行動を見ていることを確実にするために不可欠であった。
研究はまず、標準的なレポートによく現れる、単純な関連性を示す生データ（raw numbers）の観察から始まった。彼らは強い結びつきを発見した。オンライン活動の量が標準的な単位分増加するごとに、評価スコアは約3.25ポイント上昇したのである。この数値は、典型的なダッシュボードが「活動量が増えればパフォーマンスが上がる」と示唆するために強調するであろう数値である。しかし、研究者たちは、この生の数値にはおそらく多くの他の要因の影響が含まれていることを知っていた。過去に成績が良かった学生は、自信があるために自然とクリック数が増えるのかもしれないし、あるいは、すでにその主題に精通しているためにクリック数が増えるのかもしれない。活動そのものの真の効果を見出すために、研究者たちは、こうした既存の差異を取り除くように設計された高度な統計的手法を用いた。彼らは、活動期間が始まる前に判明していた、学生の過去の成績、人口統計学的な背景、およびプラットフォームの使用履歴を含むあらゆる情報を考慮して、データを調整した。
研究者がこの調整を適用したとき、物語は大きく変化した。活動と成績の間の結びつきは消失こそしなかったものの、大幅に縮小した。過去の経歴を考慮に入れた後、活動量の増加に対するスコアの上昇は、3.25ポイントから1.75ポイント弱へと減少した。これは、クリックとスコアの間の元の関連性のほぼ半分が、活動そのものではなく、実際には学生の背景や過去のパフォーマンスによるものであったことを意味している。残された結びつきは、依然として実在し統計的に有意ではあるものの、生の数値が示唆していたものよりもはるかに小さかった。これは、オンラインでの活動が学生の状況に関する有用な情報を持っている一方で、調整されていない数値に頼ることは、単にクリック数を増やすことがどれほど学生の成績を向上させるかを、機関が過大評価することにつながることを示している。
研究者たちはまた、この調整された関係性が、異なるタイプの学生や異なる種類の課題によって異なるかどうかについても調査した。その結果、人間であるチューターによって採点される記述式の自由回答を必要とする課題の方が、コンピュータによって採点される選択式問題よりも、結びつきが強いことが判明した。このことは、課題の種類が重要であることを示唆している。つまり、デジタルの活動は、迅速な自動クイズよりも、エッセイ形式のタスクに求められる深い思考により密接に関連している可能性があるということである。また、彼らは、この結びつきが過去の成績が低かった学生においてより強いことも発見した。これらの学習者にとって、オンライン活動は現在のパフォーマンスを示すより信頼できるシグナルとなっていた。対照的に、恵まれない背景を持つ学生や障害を公表している学生に基づいた明確な差は見られなかったが、データが小さな差異を完全に排除できるほど精密ではなかった。
こうした発見にもかかわらず、研究者たちは活動が成績の原因であると断定することについては慎重であった。測定できない隠れた要因をテストするために、彼らは特定のチェックを行った。具体的には、現在のオンライン活動が、現在の活動が始まる前にすでに完了していた「以前の課題」の成績を予測できるかどうかを検証した。論理的に言えば、将来のクリックが過去の成績を変えることはできない。しかし、データによれば、現在のウィンドウ内でより多くクリックした学生は、すべての調整を行った後でも、その以前の課題において高いスコアを得ていた。この結果は、まだ目に見えない力が働いていることを示唆している。おそらく、一部の学生は、デジタルシステムの外側に存在する、より高いモチベーションや優れた学習習慣を持っており、それがオンライン活動と成績の両方を駆動しているのである。このため、研究者たちは、調整された結びつきは実在するものの、クリックを増やすよう強制する介入が、必ずしも調整された数値の全額分だけスコアを自動的に引き上げるという保証はない、と結論付けた。
この研究は、大学が学生をサポートするためにデータをどのように活用すべきかについて、明確な教訓を与えている。学習者が残すデジタルの痕跡は価値があるものだが、それらは学習をオンにする単純なスイッチではない。活動と成功の間の生の関連性は強いが、それはその学生が誰であり、これまで何を成してきたかに大きく左右される。教育者が誰に助けが必要かを判断するためにこれらの数値を用いる際、その数値は因果関係ではなく、相関関係の物語を語っているのだということを理解しなければならない。活動量が少ない学生にはサポートが必要かもしれないが、もし根本的な問題が事前の知識不足やモチベーションの欠如にあるのであれば、単に「もっとクリックするように」と伝えるだけでは問題の解決にはならないだろう。最も効果的なアプローチは、これらの行動シグナルを会話と診断のためのきっかけとして使い、活動は結果を強制するためのレバーではなく、学生の状態を示す「道標」であると認識することである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。