💬 NLP

Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

本文介绍了 KCGen-KT，这是一个基于大型语言模型的自动化流程，用于为开放式编程问题生成并标注知识组件，并通过广泛评估证明，这些由人工智能生成的组件在预测学生表现和建模学习曲线方面优于传统的人工编写组件。

原作者： Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位老师，正试图弄清楚学生在编程课上究竟哪里遇到了困难。在过去，你必须手动列出一份具体技能清单（例如“知道如何使用循环”或“理解如何相加”），然后逐一检查每一份作业，标记出每道题考察了哪些技能。这就像图书管理员为大型图书馆中的每一本书手动编写卡片目录：耗时极长、容易出错，而且极其枯燥。

本文介绍了一种利用人工智能（具体而言是大语言模型，即 LLMs）的新颖自动化方法，但有一个关键转折：它适用于开放式编程问题，即学生从头编写自己的代码，而不仅仅是从多项选择题列表中挑选答案。

以下是他们所做工作的简要说明，辅以简单的类比：

1. 问题：“开放式”的混乱

在多项选择题中，通常只有一个正确答案，因此很容易推断出考察的是哪项技能。但在编程中，学生可以用十种不同的方式解决同一个问题。一名学生可能使用“for 循环”，而另一名学生则使用“正则表达式”。两者都得出了正确答案，但运用的技能却不同。

类比：想象你让人们搭建一个鸟屋。如果你给他们做多项选择题测验，你就能确切知道他们学到了什么。但如果你让他们去搭建它，一个人可能用锤子和钉子，另一个人则用胶水和木头。仅通过观察成品鸟屋，要准确判断每个人具体使用了哪些技能，是非常困难的。

2. 解决方案：AI“技能侦探”

作者构建了一个三步自动化流程，充当“技能侦探”的角色：

第一步：调查（生成）：他们将编程题目和大量不同的学生解决方案（包括正确和错误的）输入给 AI。AI 像侦探一样阅读代码，并指出：“啊，要解决这个问题，你需要知道如何使用‘条件语句（If statement）’以及如何‘进行绝对值运算’。”它会生成一份技能清单（称为知识组件，即 KCs）。
第二步：分拣帽（聚类）：AI 可能会为同一项技能生成 100 个略有不同的名称（例如"If-Else"、“条件逻辑”、“决策制定”）。该系统将这些相似的概念归为一组，就像把一堆混杂的袜子按配对整理一样。
第三步：标签制作器（总结）：最后，AI 审视每一组相似的技能，并为它们赋予一个清晰、人类可读的名称（例如“条件逻辑”）。随后，它用这些新的、规范的标签为每道题目进行标记。

3. 结果：更智能的辅导系统（KCGen-KT）

一旦 AI 获得了这些技能标签，研究人员便构建了一个新的“知识追踪”系统（一种追踪学生学习进展的方法），称为KCGen-KT。

工作原理：该系统不再仅仅猜测学生下一题会做对还是做错，而是审视学生在特定技能上的历史表现。它会问：“这名学生在‘循环’方面是否挣扎，但在‘变量’方面却表现优异？”
神奇之处：该系统将学生的技能水平转化为 AI 可以读取的“软标记”（soft token，一种数字信号）。这使得 AI 不仅能预测学生是否会失败，还能预测他们下一段代码会是什么样子。

4. 验证：它奏效了吗？

研究人员在两个包含数千份学生编程提交记录的真实数据集上测试了该方法（一个是 Java，一个是 Python）。

优于人类：令人惊讶的是，AI 生成的技能标签在预测学生表现方面，实际上比人类专家编写的标签更准确。
优于旧 AI：新系统击败了此前未使用这些特定技能标签的最先进 AI 模型。
“学习曲线”检查：他们验证了该系统是否符合“练习定律”（即人们练习得越多，表现就越好）。AI 生成的技能显示出清晰的模式：随着学生练习特定技能的次数增加，他们的错误率随之下降。这证明了 AI 识别出了真实且有意义的技能。
人类认可：当研究人员将 AI 的工作成果展示给实际的计算机科学教师时，教师们一致认为 AI 生成的技能描述清晰、易懂且准确。

总结

简而言之，这篇论文指出：“我们教会了 AI 自动识别学生在编程作业中具体使用了哪些技能。随后，我们利用这些 AI 生成的技能标签，构建了一个更智能的系统，用于预测学生未来的表现。它的效果优于人类专家，也优于以往的 AI 方法，并以一种清晰、可解释的方式帮助我们理解学生的学习情况。”

他们未声称的内容：

他们并未声称这将取代教师；他们明确指出其目的是支持教师。
他们尚未在数学或科学问题上测试此方法（仅限于编程）。
他们并未声称它是完美的；他们指出，由于 AI 是逐个分析问题的，有时会遗漏跨题目共享的技能。

技术摘要：编程问题中的自动化知识组件生成与可解释知识追踪

问题陈述
在学生建模中，知识组件（KCs）对于评估细粒度的技能掌握、提供个性化反馈以及驱动自适应学习系统至关重要。传统上，KCs 由人类领域专家精心制作并标注到问题中，这一过程劳动密集、易受偏见影响且难以扩展。虽然先前的工作已探索了针对多项选择题的自动化 KC 生成，但开放性问题——尤其是编程领域——仍研究不足。开放式的编程问题呈现出独特的挑战：学生回答表现出显著多样性，错误可能以无数种方式发生，且可能存在多种有效的解决方案，每种方案涵盖不同的 KC 集合。现有的自动化方法往往无法捕捉这种复杂性，或依赖于不适合多样化学生提交的刚性语法结构。

方法论
作者提出了一个两部分框架：一个利用大语言模型（LLMs）自动生成和标记 KCs 的自动化流程，以及一种利用这些生成 KCs 的新型知识追踪（KT）方法，即KCGen-KT。

自动化 KC 生成流程：
- 初始生成： 对于每个编程问题，系统选择一组多样化的代表性正确学生代码提交（通过 CodeBERT 嵌入进行聚类以确保多样性）。它使用少样本示例和思维链推理提示 GPT-4o，以识别解决问题所需的细粒度 KCs，将现有的主题标签转换为自然语言描述。
- 聚类与抽象控制： 为了管理粒度，使用 Sentence-BERT 对生成的 KCs 的文本描述进行嵌入。应用层次凝聚聚类（HAC）来合并语义相似的 KCs。通过调整聚类数量，系统控制抽象级别，从具体的函数级技能扩展到更广泛的概念分组。
- 标记： 提示 GPT-4o 将每个聚类总结为一个单一的信息丰富的标签（要么选择现有的 KC，要么合成新的描述）。最后，通过建立每个问题与其对应的总结 KCs 的映射来构建 Q 矩阵。
KCGen-KT（知识追踪框架）：
- 架构： 该模型使用 Llama 3（80 亿参数）作为多任务学习的骨干网络，预测下一个学生提交的二元正确性以及逐 token 的实际代码。
- 学生状态建模： 标准 LSTM 根据过去的题目文本、代码和正确性更新学生的潜在知识状态（ $h_t$ ）。该状态被投影为掌握向量（ $m_t$ ），代表对每个独特 KC 的熟练程度。
- 软 Token 转换： 为了将掌握水平整合到 LLM 的输入空间中，模型将离散的掌握值转换为“软 Token"。KC $j$ 的掌握水平 $m^j_t$ 被转换为“真”和“假”Token 嵌入的加权组合： $s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + (1 - m^j_t) \cdot \text{emb}_{\text{false}}$ 。这使得在训练期间梯度能够通过掌握参数流动。
- 可解释性： 该模型采用补偿模型将各个 KC 的掌握水平聚合成总体掌握分数，确保特定 KC 上的更高知识与正确回答的更高概率相关联。
- 训练目标： 系统最小化一个组合损失函数，包括代码生成损失（交叉熵）、正确性预测损失（二元交叉熵）以及用于强制 KC 掌握与正确性之间单调性的正则化损失。

主要贡献

首个面向开放式编程的自动化流程： 本文提出了首个基于 LLM 的流程，能够专门为开放式编程问题生成和标记 KCs，解决了学生代码提交的多样性和复杂性。
基于软 Token 的可解释 KT： 作者引入了 KCGen-KT，该模型显式地对文本 KC 描述上的学生掌握情况进行建模。新颖的软 Token 转换机制允许 LLM 将连续掌握水平作为输入，弥合了潜在学生状态与文本生成之间的差距。
实证验证： 该框架在两个包含数千份学生提交记录的真实世界数据集（CodeWorkout 和 FalconCode）上进行了评估。

结果

性能： KCGen-KT 优于现有的最先进 KT 方法（包括 TIKTOC 和 Code-DKT）以及使用人工编写 KCs 的基线。具体而言，使用 LLM 生成 KCs 的版本在两个数据集上的 AUC、F1 分数、准确率和 CodeBLEU（针对代码生成）方面均取得了具有统计显著性的提升。
粒度分析： 改变 KCs 抽象级别的实验表明，过于抽象的 KCs（高层聚类）会降低性能，而中等至低抽象级别（更细的粒度）能产生最佳结果。这表明足够的细节对于准确的学生建模至关重要。
学习曲线： 与人工编写的 KCs 相比，生成的 KCs 更好地符合练习幂律（错误率随练习次数增加而降低），在拟合学习曲线模型时实现了更高的加权 $R^2$ （0.21 对比 0.18）。
人工评估： 教师对 LLM 生成的 KCs 的可解释性评价很高（98.6% 对比人工基线的 94.6%），并发现问题-KC 映射具有高精确度（93.2%）和覆盖率（96% 的案例具有等于或高于人工基线的覆盖率）。

意义与主张
本文主张，高质量、自动生成且准确标记的 KCs 对于提高下游学生建模性能至关重要。作者证明，LLMs 能够有效识别开放式编程任务中的细粒度技能，其预测能力和与认知学习原则的一致性往往超越人工编写的标签。

由于数据可用性限制（需要大规模、纵向的开放式学生回答数据），该工作的范围适度局限于计算机科学教育。作者承认，其流程目前依赖于上下文示例，未来的工作应探索人机回环优化、针对学习曲线拟合的直接优化，以及将其应用于数学和科学等其他领域。他们强调，其方法旨在通过减少人工劳动来支持教育工作者，而非取代人类判断，并建议在真实教育环境中部署前进行专家审查。

1. 问题：“开放式”的混乱

2. 解决方案：AI“技能侦探”

3. 结果：更智能的辅导系统（KCGen-KT）

4. 验证：它奏效了吗？

总结

技术摘要：编程问题中的自动化知识组件生成与可解释知识追踪

类似论文