Do Option-Elimination Logs Improve Student Models? A Preregistered Negative Result on EdNet-KT4
这项关于 EdNet-KT4 数据集的预注册研究得出结论，在学生模型中加入选项排除日志对于预测正确性或对讲座消耗进行排序并无统计学上的显著改进，从而论证了不应将它们纳入所评估的模型中。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字教育领域，软件正日益承担起理解学生思维这一微妙任务的重任。这些被称为“自适应学习平台”的系统，依赖于一个“学生模型”——即关于学习者已知知识、难点以及未来表现可能性的数字化快照。为了构建这一快照，软件会观察学生的历史记录：他们答对了哪些问题、答题耗时多久，以及之前学习过哪些主题。多年来，研究人员一直想知道，通过观察学习过程中那些杂乱的、中间状态的时刻，是否能让模型变得更加敏锐。当学生面对一道选择题时，他们通常会在做出最终选择前，先划掉那些他们已知错误的选项。这种排除法的行为在系统的数字日志中清晰可见，它似乎是一个丰富的洞察来源，暗示着学生正在思考、推理，或者可能是在犹豫。如果软件能够看到这些被划掉的选项，它是否能比仅仅通过最终答案更深入地理解学生？
一个研究团队决定通过一项严谨的、预先设计的实验来回答这个问题，并使用了一个包含大量真实学生交互行为的大型数据集。他们关注一种特定的数据类型：即记录了学生划掉错误答案、甚至有时通过恢复选项来改变主意的日志。研究人员提出了一个简单直接的问题：将这些被划掉选项的记录添加到学生模型中，是否真的能提高系统预测未来表现或推荐正确下一课的能力？他们并非凭空猜测，而是构建了一个受控测试，将标准模型与包含排除历史的模型进行对比，确保所有其他因素都保持完全一致。
研究结果非常明确，且在科学发现领域中具有相当的确定性。在分析了来自超过7万名学习者的近两百万个预测点后，研究人员发现，添加排除日志并未改善学生模型。系统预测学生下一题是否能答对的能力几乎没有变化。这种性能差异极小——在标准准确率得分的第五位小数处即可衡量——以至于无法与随机噪声区分开来。事实上，对于推荐学生下一步该观看哪场讲座的任务，包含排除日志的模型表现甚至略逊于忽略这些日志的模型。研究结论指出，对于这类特定类型的学习平台而言，划掉一个选项并不能提供关于学生知识状态的有用的新信息。系统已经通过学生以往正确和错误回答的历史、答题速度以及所面对问题的难度，掌握了足够的知识。
为了确保其负面结果并非由测量工具缺陷导致的错误，研究人员加入了一个内置检查。他们移除了一组他们已知重要的特征——具体来说是学生点击的时机以及答题时长——并观察模型的性能下降情况。性能确实下降了，且下降幅度足以证明系统具有检测真实变化的敏感度。这证实了系统运行正常；它只是无法从排除日志中发现任何价值。这项研究表明，在该平台上，划掉一个选项往往是一种低成本的习惯或常规的界面操作，而非学生思维过程的深度信号。因为这一动作几乎没有成本，也没有惩罚，许多学生在进行时并不经过太多思考，或者其操作方式与他们的实际理解水平并不相关。
规则中存在一个微小的例外。研究人员注意到，对于一小部分频繁划掉答案的学生，排除日志似乎提供了一丝微弱的价值。然而，这一群体规模很小，且当研究人员通过打乱数据以确保这并非是在识别特定类型的学生而非排除行为本身时，这种效应便消失了。主要结论依然成立：对于绝大多数学习者而言，额外的资料并没有帮助。研究还揭示了推荐系统本身存在的另一个结构性问题。他们发现，系统选择推荐讲座的方式过于僵化，以至于无法推荐约三分之一的学生实际会观看的讲座。这种限制源于系统仅推荐与刚刚完成的问题具有特定标签的视频，它是阻碍有效学习的一个更为严重的障碍。
最终，这项研究为未来的教育技术提供了宝贵的指导。它表明，学生留下的每一处数字足迹并不都是有用的。仅仅因为系统可以记录某项操作，并不意味着该操作能帮助它理解学习者。通过证明排除日志未能改善模型，这项研究使其他研究人员免于浪费时间去围绕一个并不存在的信号来设计复杂的系统。它暗示，最有效的学生模型可能需要关注不同类型的数据，或许是在那些学生采取的行为更加刻意且具有成本感，而非在这些只需快速、免费点击的备考应用上。其教训在于精准：在试图通过数据理解人类思维的过程中，有时最重要的发现是知道该忽略什么。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。