A Case Study Reexamining the Cold-Start Problem in Knowledge Tracing Models and Implications for SafeInsights, an Education Research Infrastructure

本研究通过使用 FoundationalASSIST 数据集，对 Zhang 等人 (2021) 关于知识追踪模型中冷启动问题的研究进行了复现与扩展，旨在证明模型性能随学生练习轨迹和题目类型而变化，同时也展示了保护隐私的 SafeInsights 基础设施在促进可复现教育研究方面的效用。

要点

大局观：测试学习的“水晶球”

想象一下，你拥有一个水晶球，可以根据学生过去的家庭作业情况，预测他们在数学题上的表现。在教育技术领域，这被称为知识追踪（Knowledge Tracing, KT）模型。

多年来，研究人员一直在构建这些水晶球。有些是“老派”的（使用简单的数学规则），有些是“现代”的（使用复杂的人工智能）。之前的一项研究发现，现代 AI 模型之所以能更好地预测学生的成功，主要是因为它们在刚开始、即对学生几乎一无所知时，非常擅长做出正确的猜测。这被称为**“冷启动问题”（Cold-Start Problem）**。

这篇新论文提出了两个大问题：

1. 这种情况是否依然成立？ 如果我们使用一个全新的、更大的数据集，AI 模型是否仍然因为在初期表现更好而胜出？
2. 问题的类型重要吗？ 如果学生是在做选择题还是填空题，模型的表现是否会有所不同？

为了回答这些问题，研究人员使用了一个来自数学平台 ASSISTments 的全新大规模数据集，以及一个特殊的安全研究工具 SafeInsights。

---

实验设置：一个新的游乐场

把旧数据集（来自 2009 年）想象成一个规模较小、孩子们玩耍方式非常特定的本地游乐场。而新的数据集（FoundationalASSIST）就像是一个近年来建成规模宏大的现代化主题乐园。它有更多的游乐设施、不同的规则以及更广泛的学生群体。

研究人员想看看为旧游乐场建造的“水晶球”是否能在新的主题乐园中继续发挥作用。他们还想看看，当“游乐项目”是过山车（选择题）或摩天轮（填空题）时，水晶球的表现是否会有所不同。

实验过程：四种水晶球

团队测试了四种不同类型的预测模型：

• 两种老派模型 (BKT & PFA)： 它们就像经验丰富的老师，依赖简单的规则：“如果学生之前答对了两次，那么他们可能掌握了。”
• 两种现代 AI 模型 (DKT & DKVMN)： 它们像是超级聪明的算法，通过观察学生点击和回答的整个历史记录，来寻找复杂的模式。

他们的发现

1. “冷启动”模式是真实存在的（回答问题 1）

结果证实了之前的研究。

• 开始阶段： 当学生开始学习一项新技能时（冷启动），现代 AI 模型在预测结果方面表现得好得多。它们比老派模型拥有巨大的优势。
• 中期和后期： 随着学生练习的不断增加，差距逐渐缩小。一旦学生做了 3 到 4 次该题目，老派模型就追赶了上来。到第 8 次练习时，所有四种模型的表现几乎相同。

类比： 想象一名新学生走进教室。AI 模型就像一名侦探，仅通过观察学生的背包和鞋子就能猜出学生的技能水平（在前几秒钟内）。而老派模型就像一位老师，需要等待学生解决几个问题后才能做出准确的判断。一旦学生解决了多个问题，侦探和老师在预测下一个答案方面就同样出色了。

2. 问题类型至关重要（回答问题 2）

研究人员还观察了问题的呈现方式。他们发现，模型的表现取决于题型：

• 填空题： 模型对这类题目的预测效果普遍最好。
• 多选题（选择所有正确项）： 模型表现尚可，但 AI 模型在这里的优势更明显。
• 单选题（选择一个正确项）及排序题： 模型在这些题型上表现得较为吃力。

类比： 把模型想象成天气预报员。他们很擅长预测降雨（填空题），因为迹象很明显。但如果要预测一个人是否会在多选题中猜中答案，难度就增加了。这就像试图预测一个人抛硬币是否会得到正面。AI 模型虽然在识别这些“硬币翻转”中的模式方面稍强一些，但题型的变化改变了任何模型能够发挥作用的程度。

“SafeInsights” 的秘诀

这篇论文的一个重要部分不仅在于数学，还在于他们如何进行研究。

通常，为了研究学生数据，研究人员需要下载一个包含数千名儿童隐私信息的巨大文件。这既危险又缓慢。

• 旧方法： “把数据发给我们，我们会查看，然后告诉你们我们的发现。”（这对隐私很不安全）。
• 新方法 (SafeInsights)： 研究人员编写了一段计算机程序（代码），并将仅有的代码发送到了安全数据中心。数据始终锁在中心内部。代码在数据上运行，最后传回出来的只有最终结果（例如“模型 A 比模型 B 好”）。没有任何学生姓名或私人细节离开过大楼。

这篇论文是一个“概念验证”。它表明，我们可以进行高质量、可复制的研究，而无需接触私密的学生数据。这就像聘请一位厨师在你的厨房里做饭，但绝不让他离开厨房，也不让他带走任何食材。

总结

1. AI 并不总是更好的： 深度学习模型在学生学习旅程的初始阶段（冷启动）表现出色，但一旦学生进行了大量练习，它们并不一定比简单的模型更具优势。
2. 语境即王道： 你不能简单地说“模型 A 是最好的”。你必须问：“针对什么最好？是针对第一次尝试最好？还是针对多选题最好？”
3. 保护隐私是可能的： 我们可以利用安全的“数据围栏”（如 SafeInsights）进行严谨的大规模教育研究，在保护学生隐私的同时，仍能让科学家测试他们的理论。

简而言之，这篇论文告诉我们，为了构建更好的教育工具，我们需要更深入地观察模型在何时以及何处有效，并且我们需要以保护学生数据安全的方式来进行研究。

技术摘要

技术摘要：重新审视知识追踪模型中的冷启动问题及其对 SafeInsights 的启示

问题陈述
知识追踪（Knowledge Tracing, KT）模型对于预测学生的知识状态至关重要，然而其评估往往依赖于特定的数据集和语境，这引发了对其泛化能力的质疑。此前研究（Zhang 等人，2021）中发现的一个关键问题是“冷启动”问题，即基于深度学习的 KT 模型之所以表现出优于传统模型的性能，很大程度上是因为它们在学生历史记录有限时具有更优的初始预测能力。然而，目前尚不清楚这些发现是否能在具有不同平台设计和题目类型的更新数据集上得到复现。此外，该领域缺乏系统性的基础设施来开展此类复现研究，同时又不损害学生隐私，因为公开数据集往往存在延迟、不完整或缺乏必要的上下文元数据等问题。

研究方法
本研究作为一项概念验证，旨在利用 FoundationalASSIST 数据集（来自 ASSISTments 平台的较新版本，涵盖 2019–2024 年）来复现并扩展 Zhang 等人（2021）的分析。研究方法包括：

1. 数据集准备： 作者使用了 FoundationalASSIST，与旧的 ASSISTments 2009 数据集相比，它包含更丰富的元素（题目主体、类型、实际响应）。研究聚焦于四种高频技能，并筛选了每种技能至少有八次练习实例的学生，最终获得 4,743 名学生和 390,509 次交互。
2. 模型选择： 训练并评估了四种 KT 模型：
   • 传统模型： 贝叶斯知识追踪（BKT）和性能因子分析（PFA）。
   • 深度学习模型： 深度知识追踪（DKT）和动态键值记忆网络（DKVMN）。
3. 实验设计： 采用了五折学生级交叉验证以防止数据泄露。评估指标为受试者工作特征曲线下面积（AUC）。
4. 分析范围：
   • 复现： 追踪前八次练习实例（机会）期间的 AUC，以测试冷启动假设。
   • 扩展： 分析了四种题目类型下的 AUC：填空题、单选题、多选题以及排序题。
5. 工作流标准化： 该分析被实现为一个标准化的、可复现的工作流，旨在可在隐私保护的基础设施（SafeInsights）内运行，仅返回聚合指标而非学生级数据。

主要结果
研究得出了两个主要发现，用以回答研究问题：

• 冷启动效应的复现： Zhang 等人（2021）的发现得到了成功复现。深度学习模型（DKT 和 DKVMN）在最初两次练习实例期间显著优于传统模型（AUC 约为 0.63 对比 0.48–0.50）。然而，在第二次练习之后，性能差距显著缩小，且所有模型都呈现类似的上升趋势。到第八次练习时，AUC 的差异已微乎其微（例如，DKT 为 0.760，BKT 为 0.741）。这证实了深度学习模型的整体优势很大程度上是由其处理冷启动阶段的能力驱动的。
• 题目类型的差异： 模型性能随题目形式的变化而显著不同。填空题在所有模型中均表现出最高的 AUC，而排序题的 AUC 最低。深度学习模型的性能优势在填空题和多选题格式中最为明显。这表明题目形式会影响模型的有效性，这可能是由于标准指标未能完全捕捉到的猜测行为或交互模式的差异所致。

意义与主张
本文将其定位为一个适度的概念验证，并提出了三个主要贡献：

1. 实证验证： 它证实了深度学习 KT 模型的冷启动优势是一个稳健的现象，在不同的时间段和平台设计下依然存在，但也明确了这种优势是特定于语境的（仅限于初始尝试阶段）。
2. 语境细微差别： 它证明了聚合的模型比较可能会掩盖基于题目类型和练习轨迹的性能变化。作者主张应针对特定语境而非仅仅依赖全局指标来评估模型。
3. 基础设施概念验证： 本研究展示了使用标准化分析工作流在 SafeInsights 等隐私保护环境中支持复现研究的可行性。通过开发一个在开放数据集上运行但结构上设计为在安全隔离区内执行的工作流，作者展示了该领域如何向严谨、可复现且符合隐私规范的教育数据挖掘迈进，而无需公开敏感的学生级数据。

作者明确指出，本研究并未评估完整的 SafeInsights 基础设施（因为分析是在开放数据集上进行的），而是建立了未来在这些安全环境中部署所需的标准化工作流。