A Transparent Fuzzy-Inference Layer for Explainable Knowledge Tracing: Why Prerequisite Graphs Must Be Expert-Supplied, and Which T-Norm to Use
本文证明了由于能力与难度的混淆，无法从学生交互日志中可靠地推断出先验知识图谱，并据此提出了一种透明的、由专家提供的模糊推理层，该层在与可复用的局部化审计框架结合使用时，能够确保可解释的知识追踪，且研究证明产品 t-范数在建模先验效应方面是最优的。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代课堂中，技术已成为一种常态化的伴侣，提供了能够追踪学生学习过程并实时调整课程内容的系统。这些被称为“知识追踪”（knowledge tracing）的系统，就像一位数字导师，观察着学生回答数学题或阅读问题的序列。它们在预测学生下一个问题会答对还是答错方面表现得异常出色。然而，这些数字导师通常以“黑盒”形式运行。它们可以发出信号，指出学生在某个特定概念上遇到了困难，却无法解释原因。它们可能会标记出学生在“分数除法”上表现不佳，但无法告诉老师是哪个先前的概念缺失导致了这次失败。对于人类教师而言，了解根本原因至关重要；这是重教当前主题与回到基础进行修补之间的区别。如果没有这种清晰度，最强大的预测也无法转化为实际的干预措施。
研究人员长期以来一直希望通过教计算机自动发现概念之间如何连接的隐藏地图来解决这个问题。其设想是，通过分析数百万个学生的回答，算法可以推导出“分数乘法”是“分数除法”之前的必要步骤，而无需任何人工绘制地图。如果这成为可能，该系统就能毫不费力地扩展到任何学科，仅凭数据本身就能生成自己的解释。然而，一项新研究挑战了这一乐观的前提。通过严格测试是否能从学生日志中构建这些自动地图，研究人员发现，数据本身并不包含必要的线索。研究结论指出，这些地图并非由计算机发现规则，而是必须由人类专家提供；真正的突破在于构建一个透明的系统，利用这些专家地图来解释计算机的预测。
研究人员首先测试了计算机可能用于自主学习这些连接的三种不同方法。他们向算法输入了来自一个流行在线数学平台的海量交互日志，寻找掌握一项技能似乎会导致另一项技能成功的模式。第一种方法寻找信息流；第二种尝试过滤掉优秀学生普遍表现良好的自然倾向；第三种则利用少量已知示例进行推测。尽管采用了不同的数学方法，但这三种方法都失败了。当研究人员将计算机的猜测与一个已知的、经专家验证的包含十六个数学概念的地图进行对比时，结果与随机猜测无异。算法无法区分一个真实的先验条件（prerequisite）与两个仅仅因为被同一批学生回答而凑巧相关的无关技能。
这种失败的原因在于数据中一个微妙但强大的陷阱。在任何课堂中，学生的整体能力各不相同：有些学生天生学习迅速，而另一些则处处受挫。这创造了一个混乱的信号，使得几乎每项技能看起来都与其他技能相关。一名优秀的生会同时做对“分数加法”和“分数减法”，并不是因为前者导致了后者，而仅仅是因为该学生擅长数学。一名较弱的学生也会因为同样的原因同时做错这两项。这种“能力陷象”淹没了真正的因果联系，使得计算机无法仅从日志中学习到地图。研究人员通过在另外两个大规模数据集上测试同一问题证实了这一点，其中一个包含近百万次交互，另一个则超过两千五百万次。在所有案例中，这个陷阱依然存在，证明了局限性并非源于特定的算法缺陷，而是数据本身的一种基本属性。
由于计算机无法构建地图，研究人员将注意力转向了一个不同的问题：如果我们给计算机一个经专家验证的地图，它能否利用该地图以清晰且可靠的方式解释其预测？他们在标准的预测引擎之上构建了一个新的层级，这个系统充当了一个“翻译器”。这个翻译器获取计算机对学生技能水平的内部估计值，并将其与专家地图进行比对。如果计算机预测一名学生会在一个困难概念上失败，翻译器就会查看地图以确定哪些先前的概念是必需的。随后，它会生成一段简洁易读的陈述：“由于该学生对先验技能的理解薄弱，因此面临风险。”至关重要的是，这个翻译器并不进行学习或改变；它是一个固定的规则集，任何人都可以对其进行审计。这种设计确保了解释始终与特定的、可审计的规则挂钩，而不是来自复杂神经网络的神秘输出。
团队随后测试了这种方法是否确实比现今用于解释 AI 决策的标准方法更有效。他们将这个新翻译器与那些试图通过突出显示哪些过往交互最为重要的技术进行了对比。结果令人瞩目。标准方法是不可靠的；它们经常指向错误的过往交互，或者将注意力分散在许多无关的细节上，即使在计算机的预测是正确的情况下，也无法识别出真正的起因。相比之下，由于建立在专家地图之上，新翻译器能够一致地识别出正确的先验条件。无论底层计算机架构如何，它都能表现得同样出色。研究表明，虽然计算机的内部逻辑对于标准的解释工具往往是不透明的，但专家地图提供了一个可靠的指南，翻译器可以毫无差错地遵循该指南。
研究人员还研究了如何最好地结合不同的信息片段以创建这些解释。他们测试了四种不同的数学方法，用以决定何时一个先验条件确实是问题的起因。一种方法非常严格，一种非常宽松，另外两种介于两者之间。通过将他们的选择与计算机模型的实际行为进行对比，他们发现一种被称为“乘积法则”（product rule）的特定方法与现实契合度最高。这种方法仅在先验条件薄弱且当前技能面临风险时才会发出警报，在过于敏感和过于严格之间取得了平衡。这一发现表明，我们组合这些逻辑步骤的方式至关重要，精心的选择可以使解释更加准确。
最终，这项研究为教育技术指明了一条清晰的路径。它证明了试图从学生日志中自动发现知识结构是一条死胡同；数据噪声太大，且连接关系被学生的综合能力所掩盖。相反，最有效的方法是承认人类专家必须提供知识连接的地图。一旦有了这张地图，一个透明的、基于规则的系统就可以利用它，将不透明的预测转化为对教师而言清晰、可操作的建议。这并不意味着计算机的能力下降了；这意味着计算机现在正与人类引导者协同工作，从而提供不仅在统计学上可能成立，而且在逻辑上严密且值得信赖的解释。这项工作的价值不在于开发一种学习更快的算法，而在于提出了一种新的设计原则，即优先考虑清晰度和正确性，而非追求自动发现的幻象。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。