Tracing Mathematical Proficiency Through Problem-Solving Processes
本文提出了 StatusKT，这是一种新颖的知识追踪框架，它利用三阶段大语言模型流水线从学生的解题过程中提取可解释的数学熟练度指标，从而在最新引入的 KT-PSP-25 数据集上，相比传统方法提升了预测准确性与可解释性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观：“黑盒”问题
想象一下，一位老师正试图猜测一名学生的数学理解程度。传统的知识追踪（Knowledge Tracing, KT）系统就像是保龄球馆的计分员。它们只关注最终结果：球是否撞倒了球瓶（回答正确），还是没撞到（回答错误）？
问题在于，这个“计分员”并不知道学生是如何投球的。他们是瞄准精准但脚滑了？还是靠运气猜对了？亦或是理解了球道的物理原理，却在微小的计算上出了错？因为系统只能看到最终得分，它往往会对学生接下来的表现做出错误的判断。
新思路：观察挥杆动作
本文作者认为，要真正理解一名学生，你需要观察他们的解题过程（Problem-Solving Process, PSP）。这就像教练通过观察高尔夫球员的挥杆动作，而不是仅仅看球落在了哪里。
他们提出了一种名为 KT-PSP（基于解题过程的知识追踪）的新系统。该系统不再仅仅记录“对”或“错”，而是记录学生的书写步骤、计算过程和推理逻辑。
解决方案：“教师-学生-教师”流水线
为了处理这些凌乱的手写笔记，作者构建了一个名为 STATUSKT 的框架。他们利用人工智能（具体为大语言模型）扮演一个三人团队的角色，将学生的涂鸦转化为一份清晰的成绩单。
可以将这个团队想象成一个实时解说团队：
主教练（教师 LLM - 第一步）：
在学生回答之前，主教练会先阅读数学题，并创建一个解决该问题所需的技能清单。- 类比： 如果题目是关于烤蛋糕的，教练会列出清单：“他们是否正确测量了面粉？”“他们是否搅拌了鸡蛋？”“他们是否知道烤箱温度？”这些被称为数学熟练度（Mathematical Proficiency, MP）指标。
实习生（学生 LLM - 第二步）：
实习生阅读学生实际的手写笔记，并尝试根据学生所写的内容来回答主教练的清单问题。- 类比： 实习生看着学生凌乱的笔记说：“学生测量了面粉，但他们忘了提到烤箱温度。”
再次回到主教练（教师 LLM - 第三步）：
主教练审查实习生的答案，并为清单中的每项技能给出最终评分。- 类比： 教练说：“好的，该学生具备概念理解能力（知道要做什么），但缺乏程序流畅性（在搅拌步骤上出错了）。”
结果：知识的“热力图”
STATUSKT 系统不再只是简单地说“学生得了 70 分”，而是生成一张详细的热力图。它能准确告诉我们学生在数学的哪些部分已经掌握，哪些部分还比较薄弱。
- 更精准的预测： 因为系统知道学生为什么答错（例如：他们理解了概念，但出现了计算错误），所以它能比那些只看最终得分的系统更准确地预测其未来的表现。
- 解决“冷启动”问题： 想象一名新学生加入班级。普通系统会因为缺乏历史数据而感到困惑。但在 STATUSKT 中，即使经过一两个题目，系统也能通过分析其解题过程，立即看出该生的擅长之处与薄弱环节。这就像一位教练，仅凭观察新球员的前几次挥杆，就能判断出他是否具有天赋。
数据集：KT-PSP-25
为了训练这个系统，作者创建了一个名为 KT-PSP-25 的新数据集。
- 它是什么： 一个包含真实学生在平板电脑上完成的超过 22,000 道数学题的集合。
- 特别之处： 不同于以往只有“问题 + 答案”的老旧数据集，这个数据集包含了手写步骤（通过特殊的 AI 技术转换为文本）。
- 隐私保护： 他们对学生姓名进行了脱敏处理，并使用 AI 来读取手写内容，确保没有任何个人信息泄露。
研究发现
当我们将 STATUSKT 与传统的“计分员”系统进行对比测试时，发现：
- 它更准确： 它能更好地预测未来的考试成绩。
- 它对新学生更有帮助： 在数据极少的情况下，它的表现优异得多。
- 它具有可解释性： 它不再是一个黑盒，而是可以说明：“我认为学生下次会答对，因为他们在上一个题目中展现了很强的推理能力，尽管出现了一个微小的计算错误。”
总结
这篇论文介绍了一种更智能的学生学习追踪方式。通过从“他们答对了吗？”转向“他们是如何解题的？”，并利用 AI 将凌乱的手写内容转化为清晰的技能报告，他们构建了一个能像人类教师一样理解学生的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。