💬 NLP

Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

该论文提出了一种利用大语言模型自动从学生代码中细粒度标注知识组件正确性的框架，通过引入时序感知的代码 - 知识组件映射机制，有效解决了开放编程任务中知识组件标签缺失的问题，显著提升了学习曲线拟合度与预测性能。

原作者： Zhangqi Duan, Arnav Kankaria, Dhruv Kartik, Andrew Lan

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhangqi Duan, Arnav Kankaria, Dhruv Kartik, Andrew Lan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何更聪明地给学生的编程作业打分的故事。

为了让你更容易理解，我们可以把“学习编程”想象成学习做一道复杂的菜（比如“宫保鸡丁”）。

1. 现在的痛点：只给“整道菜”打分

在传统的编程教学系统里，当学生提交代码时，系统通常只给一个总评：要么“做对了”（全对），要么“做错了”（全错）。

比喻：这就好比学生做了一道宫保鸡丁。
- 如果学生把鸡丁切得很好，但忘了放糖，系统就判定这道菜“完全失败”。
- 如果学生把鸡丁切得很烂，但糖放得刚好，系统也判定“完全失败”。
问题：这种“一刀切”的打分方式太粗糙了。它掩盖了学生其实已经掌握了“切菜”（对应编程中的某个知识点），只是没掌握“调味”的事实。这就导致老师无法知道学生具体哪里学会了，哪里还没学会，就像医生只看体温计发烧，却不知道是感冒还是肺炎一样。

2. 论文的核心方案：用 AI 当“特级评委”

作者们提出了一种新方法，利用大语言模型（LLM，也就是像 ChatGPT 这样的超级 AI）来给代码做**“成分分析”**。

什么是“知识组件”（KC）？
- 在编程里，KC 就是一个个微小的技能点。比如：“会写循环”、“会提取字符串”、“会计算长度”。
- 回到做菜比喻：KC 就是“切鸡丁”、“炒花生”、“调酱汁”、“控制火候”这些具体步骤。
AI 怎么工作？
- 以前，系统只能看到“菜做坏了”。
- 现在，AI 评委（论文中用的是 GPT-4o 或 Qwen3）会像一位特级大厨一样，仔细检查学生写的每一行代码。
- AI 会问：“这个学生切鸡丁了吗？切得对吗？”（是/否）“他放糖了吗？放对了吗？”（是/否）。
- 最终，AI 会给每个微小的技能点（KC）打上独立的标签：“切菜技能：掌握 ✅"，“放糖技能：未掌握 ❌"。

3. 他们是怎么让 AI 变聪明的？

为了让 AI 分得更准，作者们设计了两套“独门秘籍”：

让 AI“边想边说”（思维链 CoT）：
- 不让 AI 直接给答案，而是让它像老师改作业一样，先写出推理过程：“学生用了循环，但是循环次数多了一次，所以这个技能点算错。”
- 比喻：就像考试时，老师不仅看答案对不对，还要看解题步骤。这样 AI 就不容易“瞎蒙”，打分更靠谱。
看“最终版本”来定策略（时空感知映射）：
- 学生写代码通常会改很多次。第一次提交可能是一团乱麻，最后一次提交可能接近完美。
- 作者发现，看学生最后一次修改的代码，能最清楚地看出他原本想用什么“解题策略”（比如是想用递归还是循环）。
- 比喻：就像看学生最后交上来的试卷，能看出他真正掌握了哪些解题思路。然后，AI 再拿着这个思路去检查他第一次提交的代码，看看他当时是不是真的掌握了这些思路。这样能更公平地评估他最初的学习水平。

4. 结果怎么样？

作者们在真实的编程数据集上做了实验，发现：

学习曲线更真实：以前那种“全对全错”的打分，画出来的学习曲线是乱跳的（忽高忽低）。现在用 AI 细粒度打分，画出来的曲线非常平滑，完美符合“练习越多，错误越少”的学习规律（幂律）。
预测更准：系统能更准确地预测学生下一次能不能做对题。
人类专家也点头：作者找了两名人类专家来打分，发现 AI 的打分和专家的打分高度一致（就像两个经验丰富的厨师，对同一道菜的评价差不多）。

5. 这对我们意味着什么？

这项研究不仅仅是为了“打分”，它的终极目标是让教育更个性化。

以前的系统：学生做错了，系统说“你错了，再练一遍这道题”。（可能学生其实切菜很厉害，只是忘了放盐，再练一遍切菜是浪费时间）。
未来的系统：系统说“你切菜很棒，但调味有问题。请专门练习一下‘放糖’这个技能”。
价值：这能避免学生做无用功，也能让老师精准地知道该帮谁、帮什么。

总结

这篇论文就像给编程教育装上了一副**“显微镜”**。它利用强大的 AI，把原本模糊的“做错了”拆解成一个个清晰的“哪里对了，哪里错了”。这不仅让学习数据的分析更科学，更重要的是，它能真正帮助每个学生找到适合自己的学习路径，不再被粗糙的“及格/不及格”标签所埋没。

这是一份关于论文《Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems》（利用大语言模型对开放式编程问题进行知识组件级别的正确性标注）的详细技术总结。

1. 研究背景与问题 (Problem)

核心概念：知识组件（Knowledge Components, KCs）是细粒度的技能或概念单元，是学生建模和学习分析的基础。准确建模 KC 级别的学生掌握情况对于个性化学习、诊断反馈和课程设计至关重要。
现有挑战：
- 数据缺失：在真实世界的数据集中，通常只有“问题级别”（Problem-level）的正确性标签（即整个题目做对或做错），缺乏细粒度的"KC 级别”正确性标签。
- 现有方法的缺陷：
  - 粗粒度传播：许多现有研究简单地将问题级别的正确性标签传播给所有关联的 KC。这忽略了“部分掌握”（Partial Mastery）的情况（即学生可能掌握了部分 KC 但其他部分失败），导致学习曲线拟合度差，无法遵循认知科学中的“练习幂律”（Power Law of Practice）。
  - 传统自动化方法的局限：基于抽象语法树（AST）的方法主要捕捉表面语法节点，往往忽略更高层的算法逻辑 KC，且解释性较差。
  - 人工标注成本：在开放式编程任务中，由于解决方案多样且涉及多个 KC 的同时应用，人工标注 KC 正确性极其耗时、易出错且难以扩展。
研究目标：开发一种自动化的框架，利用大语言模型（LLM）直接从学生编写的代码中生成细粒度的 KC 级别正确性标签，以解决上述问题。

2. 方法论 (Methodology)

论文提出了一种基于 LLM 提示（Prompting）的自动化框架，主要包含以下三个核心组件：

2.1 提示策略 (Prompting Strategy)

模型选择：使用 GPT-4o 和 Qwen3 Coder 30B。
思维链（Chain-of-Thought, CoT）：采用思维链提示策略，结合少样本（Few-shot）示例。
输入：问题陈述、学生代码提交、映射到该问题的 KC 集合。
推理过程：引导 LLM 逐步推理：
1. 判断学生代码中是否使用了特定的 KC。
2. 如果使用了，判断该 KC 的应用是否正确。
3. 如果问题要求使用某 KC 但代码中未出现，则标记为错误。
输出：为每个 KC 生成二进制的正确性标签（正确/错误）。

2.2 自动化 KC 生成 (Automated KC Generation)

为了覆盖多样化的解题策略，框架不仅使用人工定义的 KC，还利用 LLM 自动生成 KC。
流程：
1. 对正确答案进行聚类（基于 CodeBERT 嵌入），提取多样化的解决方案。
2. 利用这些示例提示 GPT-4o 生成候选 KC。
3. 对生成的 KC 进行聚类和摘要，形成精炼的 KC 集合。
目的：解决人工 KC 集合可能遗漏某些解题策略或覆盖度不足的问题。

2.3 时间感知代码-KC 映射 (Temporal Context-Aware Code-KC Mapping)

问题：自动生成的 KC 集合通常包含该问题所有可能的解法，但单个学生的代码通常只使用其中一部分。直接映射会导致不匹配。
解决方案：
1. 收集每个学生在该问题上的第一次尝试（First Attempt）和最后一次尝试（Last Attempt）。
2. 利用 CodeBERT 计算“最后一次尝试”的嵌入，并将其与代表正确解法的代码嵌入进行余弦距离匹配，找到最接近的正确代码。
3. 逻辑假设：最后一次尝试通常包含学生意图使用的完整策略（即使有 bug），而第一次尝试可能过于简略。
4. 映射：将找到的最接近正确代码所关联的 KC 子集，映射回该学生的第一次尝试代码上进行正确性标注。
5. 原因：学习曲线分析通常基于第一次尝试，以反映学生的初始掌握情况，而非调试后的结果。

3. 关键贡献 (Key Contributions)

首创性应用：据作者所知，这是第一项系统性地探索利用 LLM 对开放式编程问题中的学生代码进行 KC 级别正确性标注的研究。
新框架设计：提出了结合 CoT 提示策略和时间感知映射机制的自动化标注框架，能够处理细粒度的技能评估。
理论验证：通过实验证明，该方法生成的标签比传统的“问题级别传播”方法更符合认知科学理论（即学习曲线更符合练习幂律）。
可扩展性与通用性：框架不仅适用于人工定义的 KC，也适用于 LLM 自动生成的 KC，且在不同 KC 集合下均表现稳健。

4. 实验结果 (Results)

实验基于 CodeWorkout 数据集（10,834 份 Java 代码，246 名学生，50 个编程问题）。

学习曲线拟合 (Learning Curve Fit)：
- 使用 LLM 生成的 KC 标签（GPT-4o 和 Qwen3）在均方根误差（RMSE）和 $R^2$ 指标上显著优于基线（将问题正确性直接作为 KC 正确性）。
- 结果表明，LLM 生成的标签能更好地捕捉学生错误率随练习次数增加而下降的趋势（符合幂律）。
预测性能 (Predictive Performance)：
- 在加性因子模型（AFM）中，使用 LLM 标签训练的模型在预测学生未来表现时，AUC 指标也优于基线。
消融实验 (Ablation Study)：
- 引入思维链（CoT）提示比直接输出标签的方法效果更好，证明中间推理步骤对于理解代码结构和生成准确标签至关重要。
人工评估 (Human Evaluation)：
- 两名人类专家与 GPT-4o 的标注结果对比，Cohen's Kappa 系数为 0.74（实质性一致），两名人类专家之间的一致性为 0.86。这证明了 LLM 标注的高可靠性。
案例研究：
- 可视化显示，使用 LLM 标签的学习曲线呈现清晰的下降趋势；而基线方法（问题级别标签）的曲线在初期下降后停滞甚至反弹，无法拟合幂律。

5. 意义与影响 (Significance)

理论层面：为学习分析提供了更符合认知科学原理的数据基础，解决了长期存在的 KC 级别标签缺失问题，使得学习曲线分析更加可信。
应用层面：
- 自适应学习系统：精确的 KC 掌握度估计能驱动更精准的反馈和教学内容排序。
- 避免误诊：防止因粗粒度标签导致的“过度干预”（提供冗余帮助）或“干预不足”（跳过必要的练习）。
- 可扩展性：提供了一种可扩展的替代方案，替代昂贵且难以扩展的人工标注，使得大规模教育数据挖掘成为可能。
未来方向：研究指出了将问题难度纳入标注过程、结合测试用例预测以及模拟学生错误模式等潜在的未来工作方向。

总结：该论文成功证明了利用大语言模型进行细粒度的教育数据标注是可行且高效的。它通过结合先进的提示工程和代码语义映射技术，显著提升了学生建模的准确性和可解释性，为智能教育系统的优化提供了强有力的技术支持。