Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
本研究表明，先前报道的对高等教育毕业情况近乎完美的预测是由于由结果决定的属性所导致的靶向泄漏（target leakage）造成的伪影，并证实了当对加沙地区的行政记录采用修正后的、无泄漏协议时，机器学习模型能够实现高水平但符合现实的准确率（高达89.16%），其中完成学期数是最强的预测因子。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代大学中，每位学生都会留下庞大的数字足迹。从申请的那一刻起，他们的姓名、成绩和出勤情况就会被记录在行政系统中，从而创造出一个庞大的学术历史档案。几十年来，研究人员一直试图挖掘这些数据，以寻找能够预测谁能完成学位以及谁可能会辍学的模式。其目标是及早识别挣扎中的学生，以便学校能在为时已晚之前提供帮助。这一领域被称为教育数据挖掘，它依赖于一个简单但严格的规则：预测必须仅使用在特定时刻已有的信息。如果一个模型使用了在结果发生之后才存在的信息，它就是在利用未来信息。这种错误被称为“目标泄露”（target leakage），它会创造一种虚假的确定感，使模型看起来完美无缺，而实际上它只是在阅读答案解析。
加沙地带巴勒斯坦的一个研究小组致力于利用应用科学大学二十年的记录来测试这一理念。他们检查了 2000 年至 2019 年间学习信息技术的近 4,700 名学生的档案。他们的调查始于一个令人震惊的发现。当他们利用学校系统中存储的数据构建用于预测毕业的计算机模型时，结果完美得令人怀疑。这些模型达到了 100% 的准确率，这意味着它们从未犯过任何错误。这看似是一次胜利，但研究人员意识到模型并没有真正预测未来。它们只是在查看数据库中的两个特定列：学生毕业的年份和最终平均成绩。如果学生已经完成了学位，这些数字才会出现在系统中。通过包含这些数据，模型本质上是在开始测试前就被告知了答案。
一旦研究人员移除了这两个“未来信息”列，情况就完全改变了。这些模型（包括决策树、随机森林和梯度提升算法）必须仅使用学生在学习期间可获得的信息进行工作。在这些诚实的条件下，准确率下降到了一个更现实的水平，维持在 89% 左右。虽然这仍然是一个很强的结果，但远非之前那种不可能的完美。研究人员发现，预测一名学生是否毕业的最强信号不是他们的平均绩点，而仅仅是他们成功完成了多少个学期。一个持续出勤并完成学期的学生，比一个成绩很高但停止出勤的学生更有可能毕业。这表明，坚持比瞬间的学术表现是更强大的成功预测因子。
该研究还探讨了这些预测可以多早做出。当研究人员将模型限制在仅使用学生申请大学时（例如其高中成绩和年龄）所拥有的信息时，准确率降至约 70%。这表明，虽然学校可以在学生到来之前获得风险的总体感知，但真实的图景只有在学生开始其旅程且其出勤历史开始积累时才会显现。研究人员还检查了模型是否公平对待男性和女性学生。他们发现模型并没有歧视；事实上，由于该特定群体中的女性学生具有更高的自然毕业率，模型正确地预测了她们更有可能取得成功。早期版本的研究曾暗示了一个基于性别的不同规则，但那是由于缺陷数据造成的幻象。
这项工作的意义不仅限于加沙的一个大学。它为那些渴望利用人工智能管理学生成功的机构提供了一个警示。研究人员证明，如果一个模型被允许窥视答案，它即使看起来功能强大，也可能是完全无用的。他们为其他学校检查自身数据中是否存在这些隐藏缺陷提供了一种清晰的方法。对于大学顾问而言，修正后的发现提供了一条务实的路径：关注那些停止上课的学生，而不仅仅是那些成绩较低的学生，并将这些预测作为人类对话的触发点，而非自动化决策。研究结论指出，高准确率并不是衡量好模型的唯一标准；一个对自己的认知及其来源保持诚实的模型，对于帮助学生引导其教育过程而言，其价值要大得多。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。