Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices

想象一下，你正在试图追踪一名学习复杂学科（如数学）的学生的学习进度。在“知识追踪”（knowledge tracing）的世界里，科学家们就像侦探一样，试图弄清楚学生在任何给定时刻究竟掌握了什么，以及还不了解什么。他们通过观察学生随着时间的推移如何回答问题来完成这项工作。传统上，许多计算机模型假设学生的知识水平就像一个摇摇欲坠的走钢丝者：随着他们回答的每一个问题而不断剧烈波动、变化和起伏。如果学生答对了一个问题，他们的“知识水平”就会跳升；如果答错了一个，水平就会崩塌。

然而，现实生活并非如此混乱。把学习想象成盖房子。你可能会花一周时间砌砖（学习），然后休息一个周末（遗忘了一点点），但当你下周一回来时，你上周打下的地基大部分仍然在那里。它不会仅仅因为你休息了一下就消失殆 much。大多数现有的计算机模型忽略了这种“间歇性”（intermittent）的本质——即知识在测试期间是相对稳定的，但在不同的测试周期之间可能会发生显著变化。这篇题为《基于知识上下文感知增强 Q 矩阵的间歇性知识状态追踪》的论文，旨在构建一个更聪明的侦探，它能理解这种节奏。它引入了一个名为 INKT 的新模型，该模型不仅是在观察学生，还能理解知识本身的地图，以及学生如何随时间学习和遗忘。

地图与缺失的碎片

为了理解这篇论文的解决方案，我们首先需要看看研究人员使用的工具。想象一张巨大的城市地图，其中每条街道代表一个“知识概念”（如代数或几何），每个建筑是一个“测试题目”。在这座城市里，有些街道直接通向其他街道；你不能在没上匝道的情况下直接开上高速公路。这张地图被称为 Q 矩阵。它是一份清单，告诉计算机哪些概念是回答哪些问题所必需的。

问题在于，人类专家提供的地图往往是不完整的。它们只显示了明显的联系。例如，地图可能会说：“要解决这个微积分问题，你需要知道导数。”但它忘了提到，要了解导数，你还需要知道极限，而要了解极限，你又需要知道函数。计算机看着这张不完整的地图，会认为学生只需要掌握导数。如果学生微积分题做错了，计算机就会归咎于微积分技能，却忽略了学生实际上是忘记了如何处理极限这一事实。

本文作者意识到，要修复这张地图，他们需要观察这座城市的“拓扑结构”——即连接的形状。他们提出了一种“增强”（或升级）Q 矩阵的方法。与其只看直接的链接，他们的算法会追踪知识图谱中的完整路径。如果概念 A 导致概念 B，而概念 B 导致概念 C，那么计算机就会学习到：完成关于 C 的任务也涉及 A 和 B。他们使用了一种称为“拓扑排序”的数学方法，将这些概念按逻辑顺序排列，就像把书从易到难整齐地摆放在书架上一样。通过这样做，他们可以填补“隐藏”的连接，将稀疏、不完整的地图变成一份丰富的、详细的指南，展示出所有概念是如何在秘密层面相互关联的。

“间歇性”侦探

有了更好的地图后，研究人员构建了他们的全新侦探模型——INKT。这里的核心思想是知识状态是“间歇性”的。这意味着在一段较短的测试时间内（比如 30 分钟的测验），学生的知识是相对稳定的。他们不会在测验中途突然忘掉所有东西或学会一个新章节。然而，在两次测试之间——比如相隔一周——学生可能会遗忘一些东西（“遗忘率”），或者学习一些新东西（“学习率”）。

大多数旧模型将每个问题都视为一个全新的事件，学生的知识水平可以在其中剧烈摆动。相比之下，INKT 尊重时间窗口。它假设如果你今天参加测试，你的知识是你昨天的进化版本，只是根据你这段时间学到了多少或遗忘了多少进行了调整。它使用了一个名为**项目反应理论（IRT）**的数学框架，这是一种高级说法，意味着它不仅考虑你是否答对了，还考虑了问题的难度以及该问题区分聪明学生与猜测学生的有效程度。

该模型还考虑了“遗忘曲线”，这是心理学中的一个概念，表明如果我们不使用信息，信息会随时间流逝而丢失。INKT 为每个学生和每个概念计算特定的“遗忘率”，以及学习新知识的速度，即“学习率”。然后，它利用这些速率来预测学生在下次测试时的知识状态，而不是仅仅根据上一个答案进行猜测。

实验结果显示了什么

为了测试这个新侦探是否出色，研究人员在多个数据集上对其进行了测试。他们利用来自中国深圳的一所真实高中的数据，创建了一个名为 MTest 的自定义数据集，涉及 69 名学生、7 次测试和 88 个知识概念。他们还使用了三个公开数据集（Math1、Math2 和 FrcSub），甚至生成了一个大规模的模拟数据集 FMTest，利用形式概念分析法来观察模型如何处理大规模群体。

结果非常令人振奋。当我们将 INKT 与其他模型（其中一些较简单，另一些虽然复杂但没有考虑到学习的“间歇性”本质）进行比较时，INKT 的表现始终更好。

• 在 MTest 数据集上，INKT 在最佳测试场景下的准确率（ACC）达到了约 0.77，而次优的模型仅达到约 0.57。
• 在大规模模拟数据集 FMTest 上，INKT 达到了 0.94 的准确率，显著优于其他在 0.81 左右徘徊的模型。
• 该模型还表现出了极高的稳定性。即使他们改变了学生数量或测试组合，INKT 也并未崩溃；它始终能给出准确的预测。

研究人员还进行了“消融研究”（ablation studies），这就像拆解引擎以观察哪个部件在起作用。他们发现，如果从模型中移除“遗忘率”或“学习率”，性能会显著下降。这证明了追踪学生如何随时间学习和遗忘是至关重要的。他们还发现，使用“增强型”Q 矩阵（即包含隐藏连接的升级版地图）至关重要。当使用旧的、不完整的地图时，模型的预测准确度并不高。

结论

论文得出结论，通过将更聪明的知识地图（增强型 Q 矩阵）与尊重学习和遗忘节奏的模型（间歇性状态追踪）相结合，我们可以更清晰地了解学生实际掌握了什么。作者认为，这种方法比那些假设知识处于不断且剧烈波动状态的模型更符合理性。

然而，作者也谨慎地指出，这并不是一个已经完美解决的问题。他们承认，他们的知识连接“地图”仍然是由人类专家构建的，这可能具有主观性。他们还注意到，该模型假设学生当前的状态仅取决于紧接其前的状态，忽略了可能存在的更复杂的“注意力”机制。他们建议，未来的工作可以包括从数据中自动生成这些知识地图，并使用更先进的注意力机制来使模型更加精准。

简而言之，这篇论文提供了一种既有趣又严谨的方法，让我们不再把学生视为焦虑的走钢丝者，而是将其视为砌砖的建筑师——他们砌砖、休息，然后回来发现自己的地基依然稳固。通过理解课程中隐藏的联系以及记忆自然涨落的规律，INKT 模型为学习之旅提供了一个更真实、更准确的视角。