How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education
本研究通过在大型数据集上应用双重机器学习发现，尽管提交前的在线参与度确实可以预测学术表现，但近一半的原始关联可归因于先前成就等混杂因素，这凸显了在学习分析中区分预测信号与因果效应的紧迫性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代大学中，大量的学生生活留下了数字足迹。每当学习者登录课程网站、点击链接或下载文档时，都会产生一条记录。长期以来，教育工作者和研究人员一直将这些数字痕迹视为观察学生成功的窗口。其逻辑似乎非常直观：如果一名学生在网上很活跃，那么他们很可能参与度很高；而如果他们参与度高，那么他们很可能取得优异的成绩。这种信念驱动了仪表盘和预警系统的创建，旨在通过统计点击次数来识别表现挣扎的学生。然而，一个关键问题一直悬而未决：究竟是活动本身导致了好的成绩，还是好的成绩仅仅是学生原本就具备准备充分和积极主动的表现？这两者的区别至关重要。如果活动仅仅是成功的征兆，那么强迫一名学生多点几次按钮并不会帮助他们学习。然而，如果活动是学习的真正驱动力，那么鼓励更多的互动将成为一种强大的改进工具。
一个研究小组试图利用来自英国开放大学的大量数据来理清这种关系。他们检查了参加了 22 门不同在线课程演示的 21,000 多名学生的记录。该数据集非常丰富，包含了关于学生背景、过往学术表现以及超过 1,000 万次虚拟学习环境交互的细节。研究人员特别关注了学生提交作业之前的这段时期。他们统计了在提交截止日期前几天内发生的点击和活动次数，确保不计算作业提交后的任何活动。这种细致的时间控制至关重要，以确保他们观察的是在结果产生之前发生的行为。
研究首先观察了原始数字，即那种经常出现在标准报告中的简单关联。他们发现了一个强烈的联系：在线活动量每增加一个标准单位，评估分数就会上升约 3.25 分。这个数字正是典型仪表盘可能会强调的内容，用以暗示更多的活动意味着更好的表现。然而，研究人员知道，这个原始数字可能包含了许多其他因素的影响。过去表现优秀的学生可能会因为自信而自然地点击更多，或者可能因为他们已经擅长该学科而点击更多。为了找到活动本身的真实效应，研究人员使用了一种复杂的统计方法，旨在消除这些预先存在的差异。他们调整了数据，以解释他们在活动窗口开启前所了解到的关于学生的一切信息，包括他们之前的成绩、人口统计背景以及使用该平台的历史。
当研究人员应用这种调整后，情况发生了显著变化。活动与成绩之间的联系并未消失，但大幅缩小了。在考虑了过往历史之后，成绩的增幅从 3.25 分降至略低于 1.75 分（对应于相同的活动增量）。这意味着，在原始关联中，近一半的点击与得分之间的联系实际上是由学生的背景和过往表现造成的，而非活动本身。剩余的联系虽然仍然存在且在统计学上显著，但比原始数字所暗示的要小得多。这表明，虽然在线活动确实携带了有关学生表现的有用信息，但依赖未经调整的数字会导致机构高估仅仅增加点击次数能在多大程度上提高学生的成绩。
研究人员还观察了这种调整后的关系在不同类型的学生或不同类型的作业中是否有所不同。他们发现，对于需要人类导师进行评分的文字类、开放式答案的作业，这种联系比对于计算机评分的多选题更强。这表明作业类型很重要；数字活动可能与撰写论文式任务所需的深度思考联系更为紧密，而与快速、自动化的测验联系较弱。他们还发现，对于成绩较低的学生，这种联系更为紧密。对于这些学习者，在线活动似乎是他们当前表现的一个更可靠的信号。相比之下，这种联系在学生是否来自弱势背景或是否有残疾方面没有显示出明显的差异，尽管数据不够精确，无法完全排除微小差异的可能性。
尽管有这些发现，研究人员对于声称活动导致了成绩仍保持谨慎。为了测试是否存在他们无法衡量的隐藏因素，他们进行了一项特定的检查。他们询问当前的在线活动是否可以预测一份在当前活动开始之前就已经完成的过往作业的成绩。从逻辑上讲，未来的点击不可能改变过去的成绩。然而，数据显示，即使在进行了所有调整后，在当前窗口内点击更多的学生在之前的作业中确实获得了更高的分数。这一结果表明，仍有未知的力量在起作用。也许有些学生天生更有动力，或者拥有在数字系统之外的更好学习习惯，从而同时驱动了他们的在线活动和成绩。因此，研究人员得出结论，虽然调整后的联系是真实的，但它并不能保证通过干预手段强制增加点击次数就能自动使分数提高到调整后的全额数值。
这项研究为大学如何利用数据来支持学生提供了清晰的教训。学习者留下的数字痕迹是有价值的，但它们并不是一个能直接开启学习的简单开关。活动与成功之间的原始关联很强，但它深受学生身份及其过往经历的影响。当教育工作者使用这些数字来决定谁需要帮助时，他们必须明白，这些数字讲述的是相关性的故事，而不一定是因果关系的故事。一名活动量低的学生可能需要支持，但如果根本问题在于缺乏先验知识或动力，那么仅仅告诉他们多点击几次是不太可能解决问题的。最有效的方法是将这些行为信号作为对话和诊断的提示，认识到活动是一个指向学生状态的指示牌，而不是一个可以通过拉动来强制获得更好结果的杠杆。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。